Desde su aparición, los intentos de generar escalas clasificatorias de instituciones complejas en base a algunos indicadores simples han sido objeto de análisis comparativos refinados^[1] y de duras críticas por diversos académicos. Expondremos lo que en nuestra opinión son los ejes más relevantes de cuestionamiento a los rankings universitarios internacionales.

4.1. La imposible evaluación de objetos institucionales diversos

El solo intento de rankear en orden descendente a miles de instituciones universitarias de diferentes países implica ocultar la principal característica de las universidades: que son normalmente grandes, complejas y que articulan una extraordinaria diversidad de tradiciones universitarias y disciplinarias. A su vez, las universidades pueden tener algunas disciplinas con fuerte tradición en investigación y otras en transferencia, o en calidad de la docencia.

Un caso notable por su dimensión, que permite ejemplificar esta cuestión, es el de la Universidad de Buenos Aires (UBA). Desde su constitución es en realidad una Federación de Facultades de gran tamaño, con unos 300.000 estudiantes. La Facultad de Ciencias Económicas, por ejemplo, tiene 55.000 estudiantes, cifra que está por encima de la gran mayoría de las universidades del mundo. En esta Universidad hay facultades como la de Ciencias Exactas o la de Naturales con un peso importante de profesores de dedicación completa, muchos de ellos investigadores de primer nivel del CONICET y con un relativamente bajo número de estudiantes. Con el apoyo del Ministerio de Ciencia y Tecnología se desarrollan aquí muchos proyectos de investigación de alto nivel, con alumnos becados como auxiliares de investigación. En la misma Universidad, la Facultad de Ciencias Sociales, con una gran cantidad de estudiantes (25.000) y un número reducido de docentes de dedicación completa y bajos recursos de investigación, ofrece un contraste notable.

Cuando los rankings internacionales miden con sus parámetros a la UBA, toman un promedio de situaciones extremadamente diversas. Arrastrada por algunas disciplinas, la Universidad aparece entonces con altos niveles en materia de investigación entre las universidades latinoamericanas, pero su promedio general se cae fuertemente al incluirse dimensiones como la relación entre alumnos y docentes de dedicación completa, o el número de doctores sobre los profesores, aspecto que en la tradición argentina no ha sido valorizado hasta épocas recientes porque sólo corresponde a las disciplinas de aquellas con menor peso relativo (Exactas, Naturales, Humanidades) frente al gran peso de las carreras profesionales que privilegian los títulos de grado u otros títulos de postgrados (especializaciones en Medicina y Derecho, maestrías en Administración y Ciencias Sociales). Esquemas organizativos similares se encuentran en la Universidad Nacional Autónoma de México (UNAM), la más grande de América Latina, con sedes a lo largo del territorio mexicano y en Canadá y Estados Unidos.

Emprendimientos institucionales de esta magnitud son imposibles de evaluar en términos comparativos en su globalidad. Las universidades argentinas de gestión estatal con ingreso irrestricto y sin costo matricular, con centenares de miles de estudiantes y decenas de miles de docentes, no pueden compararse en términos agregados con algunas universidades privadas con examen de ingreso, alto costo de matrículas, escaso número de estudiantes, docentes de dedicación full time y máximo título académico, instalaciones académicas de alto nivel y concentradas en pocas carreras académicas preferentemente de postgrado, o con universidades estatales brasileñas con rasgos similares salvo que no cobran aranceles.

4.2. El concepto de calidad subyacente o de modelo universitario implícito

Los rankings internacionales más difundidos parten abiertamente de un “determinado tipo ideal” de universidad, y los indicadores que se utilizarán son finalmente desagregaciones de los rasgos de este. A la capa superior de estas instituciones se las denomina actualmente “universidades de rango mundial” (Salmi, 2009). Si bien quienes las analizan sostienen que no necesariamente deben tratarse de universidades de investigación, es evidente que los rankings internacionales, al seleccionar las instituciones, privilegian abiertamente aquellas que muestran altos nivel en materia de investigación.

El ranking más influyente desde esta mirada, elaborado por la Universidad Jiao Tong de Shangai, se apoya en indicadores objetivos que tanto en materia de publicaciones como en la composición del personal docente y de los alumnos, refiere a los indicadores de más alta calidad internacional en materia de producción de ciencia. Los indicadores objetivos del THES y el de la consultora QS asignan un papel destacado a la investigación y sus formas de medir la calidad de la enseñanza son muy pobres (relación entre profesores de dedicación exclusiva con número de alumnos). El hecho de que se sumen indicadores subjetivos de opinión de académicos y empleadores introduce factores poco controlables ya que supondría un conocimiento del sistema universitario internacional por los encuestados que no existe, y por ende las opiniones están sesgadas por diverso tipo de imágenes (impactos publicitarios, difusiones en medios, acción orientada de las propias instituciones evaluadas que pueden sugerir a los evaluadores, etc.), que en todo caso permiten apreciar distancias con los indicadores más duros, sobre todo a medida que se desciende en las escalas de las universidades rankeadas. De todos modos, las posiciones de elite están reservadas a las universidades de investigación de gran tamaño.

Los indicadores subjetivos recogen las opiniones de los académicos consultados sobre la calidad de las instituciones. Esta forma de recoger información ha sido ampliamente criticada por distintos especialistas, ya que es imposible que los informantes tengan nociones precisas de la calidad de las instituciones más allá de los saberes de su propia disciplina. E incluso en su propio campo no necesariamente están actualizados de nuevos desarrollos y además los criterios son afectados por razones de competencia, lo que suele estar muy presente en el mundo académico donde se disputan espacios de prestigio y de recursos.

En cuanto a las opiniones de los empleadores, otros estudios señalan que en realidad las decisiones de contratación por las empresas están asociadas a las cualidades personales del candidato, tales como aptitud de trabajo en equipo, creatividad, capacidad de resolver problemas, habilidades de comunicación, y otras. Cualidades que pueden ser evaluadas directamente por los empleadores, y donde la institución en la que estudió el egresado e incluso el carácter de su título de postgrado es un factor que se tiene en cuenta pero que no define su ingreso. Esto explica, en el caso de Argentina, la mayor demanda de profesionales con especialidades y maestrías que de doctorados.

En relación a los indicadores que aparecen como “objetivos”: cantidad de profesores con título de doctorado, impacto de la producción científica en las revistas con referato en inglés, publicaciones por académico, repercusión de las actividades de la universidad en las mediciones realizadas en los sistemas informáticos (web), cantidad de alumnos por profesores, tienen varias dificultades. La primera tiene que ver con los porcentajes asignados arbitrariamente a cada rubro. La segunda se relaciona con la diversidad de situaciones dentro de algunos indicadores que dependen de la disciplina y cuya divergencia no expresa necesariamente calidad diversa. Así, en las carreras más profesionales la dedicación de los docentes es más baja, y ello tiene que ver con su mayor inserción en actividades profesionales que son una condición necesaria para elevar la calidad de los conocimientos transmitidos en estas áreas. Los indicadores en realidad están construidos sobre los criterios de calidad fijados desde su origen en las universidades norteamericanas de investigación.

4.3. La medición de la producción científica limitada por el idioma y un único medio de publicación

Las mediciones de las publicaciones académicas se restringen a una de las formas de circulación del conocimiento científico: las revistas con referato. Notablemente ello afecta a la otra forma esencial de producción científica que es dominante en las Ciencias Sociales y Humanidades: los libros. Para ciertas disciplinas, claramente no es comparable la importancia de una publicación en revistas con un libro, que no es la mera suma de artículos sino una obra integral del conocimiento, de otra valía. Lateralmente, también han perdido la importancia que merecen los artículos en libros, que suelen ser relevantes de acuerdo al académico que opera de compilador. Su pérdida relativa de importancia en relación a los artículos en las revistas no tiene que ver con razones de calidad, sino con unas estrictamente pragmáticas: las posibilidades de estandarizar cuantitativamente niveles de comparabilidad.

Ya hemos señalado la alta conexión existente entre algunas consultoras o revistas internacionales productoras de rankings y el control que las mismas empresas ejercen sobre la sistematización de las publicaciones en revistas con referato y en las citas que se derivan de estas. Los rankings de Jiao Tong de Shangai y el THES utilizan la frecuencia con que aparecen mencionados los artículos científicos elaborados por los profesores de las universidades, en las bases de datos Thomson conocidas bajo las siglas SCI (Science Citation Index Expanded) y SSCI (Social Science Citation Index). Habíamos señalado que Thomson Reuters es ahora una de las grandes compañías que proporcionan información para empresas y profesionales sobre diversos temas y mercados. Su plataforma proporciona a los académicos y administradores universitarios acceso a bases de datos del mundo de 12.000 de las revistas de mayor impacto académico y más de 110.000 resúmenes de congresos.

La otra gran alianza a nivel privado en materia de rankings, se desarrolla entre la revista norteamericana pionera del sistema, U.S. News, y la consultora inglesa QS con la empresa Elsevier a través de la utilización de la base de datos bibliográfica y de resúmenes y citas de artículos de revistas científicas denominada Scopus. Esta base cubre unos 18.000 títulos de más de 5.000 editores internacionales, incluyendo la cobertura de 16.500 revistas con referato de las áreas de Ciencias Exactas y Naturales, Tecnología, Medicina, Ciencias Sociales, Artes y Humanidades. Elsevier es una empresa refundada en 1880, pero tomó su nombre de una tradicional editorial holandesa creada en 1580.

Las revistas son organizadas jerárquicamente a escala internacional a través de dos mecanismos. Aquellas que son editadas y publicadas por sociedades científicas reconocidas internacionalmente, y aquellas cuyos procesos de edición, publicación y comercialización se realizan a través de grandes empresas trasnacionales.

La producción científica mundial está dominada por el conocimiento generado en los países de alto desarrollo económico, lo que se expresa también en el dominio del procesamiento y la difusión de la información científica. La suma de publicaciones registradas en todos los campos de la ciencia que considera el Institute for Scientific Information (ISI), que generó el grupo de los siete (Estados Unidos, Reino Unido, Japón, Alemania, Francia, Canadá e Italia) en el período 1981-2002, fue de 9.869.717. En cambio, los seis países iberoamericanos más productivos (España, Brasil, Argentina, México, Chile y Venezuela) registraron un total de 520.155 publicaciones en el mismo período, es decir 19 veces menos.

Si bien en los últimos años se ha expandido la cantidad de publicaciones latinoamericanas con reconocimiento internacional, los puntos de partida son extremadamente disímiles y las tendencias de reproducción del sistema difíciles de equilibrar. Ello se agrava porque siendo el inglés el idioma por excelencia en el mundo de la ciencia, los científicos angloparlantes ignoran el contenido de la literatura redactada en otros idiomas, lo que explica, en gran parte, el menor acceso que tienen los trabajos publicados en otras lenguas a la comunidad científica internacional, lo que tiene a su vez otro efecto rebote: las publicaciones nacionales orientadas a temas aplicados, cuyo público corresponde esencialmente a comunidades científicas o de utilización en estas áreas, son editadas en el idioma local y las temáticas son también esencialmente de interés específico.

De la mano de lo anterior está el otro gran desafío: enfrentar las mediciones actuales de la producción científica, centralizadas en torno al Instituto para la Información Científica (Institute for Scientific Information) (ISI), que fue fundado por Eugene Garfield en 1960. Posteriormente fue adquirido por Thomson en 1992 y a partir de 2008 es parte de la fusión entre Thomson y Reuters. ISI ofrece servicios de bibliografía. Está particularmente especializado en el análisis de citación. Mantiene una base de datos de citaciones que cubren miles de revistas, conocida como Science Citation Index (SCI), que es posible consultar on line a través del servicio Web of Science (WOS). Esta base de datos permite a los investigadores identificar qué artículo ha sido citado más frecuentemente, y quién lo ha citado.

ISI también tiene una publicación anual, el Journal Citation Report, que lista el “factor de impacto” de cada una de las revistas que controla. Dentro de la comunidad científica el factor de impacto juega un enorme y controvertido papel en determinar el reconocimiento atribuido a las publicaciones científicas. El factor de impacto se calcula generalmente con base en un periodo de dos años. Por ejemplo, el factor de impacto en el año 2011 para una determinada publicación puede calcularse como sigue:

A = Número de veces en que los artículos publicados en el periodo 2009-2010 han sido citados por las publicaciones a las que se les da seguimiento a lo largo del año 2011.

B = Número de artículos publicados en el periodo 2009-2010.

Factor de impacto 2011 = A/B.

El factor de impacto mide la calidad de las revistas o su importancia. Esas revistas son de solvencia contrastada y de referencia en cada especialidad, y cada una tiene un factor de impacto (FI) calculado a partir del número de veces que los artículos publicados en ella son citados después en otros artículos. Como el número de citas que recibe un artículo indica el interés que suscita, el FI deviene un referente del prestigio de la revista donde se publican. Por lo demás, el FI de esas revistas (unas 8.000) es muy dispar, variando entre 0,01 y 49,79.

Este tipo de indicadores facilita las evaluaciones de los patrocinadores (privados o estatales) de grupos de investigación para dar cuenta de la productividad de las inversiones realizadas, por ello existe una demanda por medidas como esta. Tiene cobertura internacional amplia y es fácil de utilizar. También mide a las propias revistas y define financiamientos al respecto. Sin embargo, el factor de impacto ha sido cuestionado desde diversos ángulos:

• El número de las citas no mide realmente la calidad de la publicación, sino la cantidad de publicaciones.
• El periodo de cálculo base para citas es muy corto. Los artículos clásicos son citados frecuentemente aún después de décadas.
• La naturaleza de los resultados en distintas áreas de investigación produce distinta cantidad de publicaciones y a diferente ritmo, lo que tiene un efecto en el factor de impacto. Generalmente, por ejemplo, las publicaciones de la Física tienen un período muy corto para ser citados, de uno o dos años, mientras que las del campo de la Medicina tienen un factor de impacto más bajo, incluso dentro del campo médico es mucho más alto el impacto de las publicaciones en cardiología que en el resto de las especialidades.

La arbitrariedad del período de dos años fijados por el ISI para calcular el factor de impacto, la limitada cantidad de revistas incluidas en la base de datos del ISI, el contar “revisiones” citadas con mayor frecuencia que un artículo original, no tomar en cuenta el efecto que producen las “auto-citas” para el cálculo de este índice o presumir una relación directa entre citaciones y calidad de un artículo, son algunas de las razones que han motivado innumerables críticas al uso del factor de impacto como indicador de la producción científica sin poder impedir su utilización mecánica en la evaluación de los investigadores y en el apoyo a los proyectos.

En la Segunda Sección realizamos un análisis detallado del origen del ISI y de la aplicación del factor de impacto en los procesos de evaluación científica.

4.4. Las dificultades en la medición de la calidad de la enseñanza en los rankings internacionales

Una de las mayores dificultades con que tropiezan quienes elaboran los rankings internacionales es medir la calidad de la enseñanza y hacer estas mediciones comparables. Por ello suelen asignarse representaciones proporcionales menores a esta dimensión. En un artículo publicado en octubre de 2011, Phyl Baty, el principal responsable de la metodología del ranking del Times, señaló la pobreza de uno de los indicadores utilizados: la cantidad de profesores a tiempo completo por estudiante. Se supone que si hay una baja proporción de estudiantes por docente esto mejora la calidad de la enseñanza. La evidente debilidad del indicador le llevó al propio Baty a señalar: “After all, you cannot judge the quality of the food in a restaurant by the number of waiters employed to serve it” (Después de todo, no puedes juzgar la calidad de la comida de un restaurant por la cantidad de mozos empleados para servirla). Este indicador es directamente inaplicable como promedio de diferentes tradiciones disciplinarias que conllevan también diferentes relaciones docente-alumno, pero se usa.

Para las universidades argentinas, sobre todo para las de gestión estatal, este indicador es globalmente negativo, dado que el sistema de ingreso irrestricto en las universidades estatales y el importante tamaño de algunas universidades privadas con ingresos irrestrictos o con limitaciones relativamente débiles, determinan un cociente muy alto comparado con buena parte de las otras universidades latinoamericanas, particularmente de Chile y Brasil.

Otro indicador que se utiliza es la cantidad de doctores por docentes totales. El sistema tradicional argentino de grado largo y gran peso de especialidades y maestrías, ha hecho que en las disciplinas de mayor tamaño la cantidad de doctores sea muy escasa, y aunque existen incentivos continuos del Estado en esta dirección a través de becas, los cambios en esta temática tomarán décadas y no siempre arrojan resultados linealmente positivos.^[2] Ello también contrasta fuertemente con países como Brasil, donde el doctorado después de grados cortos y maestrías académicas cortas está estructurado ascendentemente desde 1964. El peso de la comunidad académica brasileña en los rankings de QS está explícitamente planteado por los directivos de la consultora en diversos artículos y ello se aprecia en haber sumado este indicador que da un 10% de puntaje en las mediciones recientes para América Latina, rubro no contemplado en el ranking internacional de QS.

Finalmente existen análisis muy refinados sobre la inconsistencia en los porcentajes asignados, y particularmente en el gran peso de los factores subjetivos en los ranking del Times y de QS, donde la mitad de los puntajes se asignan a consultas necesariamente arbitrarias a las comunidades académicas y a los empleadores que sólo pueden dar respuestas acotadas a las disciplinas que conocen directamente y en ningún caso a las universidades en su conjunto, lo que requeriría sofisticados mecanismos de evaluación y tiempos que exceden ampliamente a una consulta puntual.

Las comunidades académicas que elaboraron el CHE y el MESALC, basadas en una filosofía diferente a la de los rankings internacionales y promotoras de bases de información multivariables no valorativas se extendieron ampliamente en estas críticas. Las comunidades académicas que habían impulsado estos procesos a nivel nacional intentaron no quedar asociadas a estos tropezones internacionales.

---