Las tramas institucionales

Los rankings a escala planetaria son una manifestación de cambios en los contextos en los que se desempeñan las instituciones de educación superior. Se vinculan con tres transformaciones recientes:

1. La creciente internacionalización de la educación superior.
2. Los procesos de mercantilización de la educación universitaria ligados a la constitución de mercados de alcance global o regional de estudiantes y de académicos. (Véase Barsky, O. et al., 2004).
3. Los cambios en las modalidades de gestión de las instituciones universitarias que destacan las vinculaciones con distintos tipos de actores interesados. Lo que conlleva la necesidad de la provisión por parte de estas de información adecuada y accesible sobre su desempeño.

3.1. Rankings formales de universidades

3.1.1. Academic Ranking of World Universities (ARWU)

El primer ranking mundial de universidades históricamente reconocido por la comunidad internacional es el publicado por la universidad Jiao Tong de Shanghái desde el año 2003: el Academic Ranking of World Universities (ARWU). La universidad depende directamente del Ministerio de Educación y de la municipalidad de la ciudad de Shanghai y sus orígenes se remontan a 1896, con la fundación de la escuela pública Nan Yang. Es una institución reconocida por su destacado papel en las ciencias y en las ingenierías y entre sus numerosos institutos de investigación el Instituto de Educación Superior es el que ha construido la metodología y elabora anualmente este ranking de universidades.

Este ranking de universidades de todo el mundo está basado esencialmente en indicadores cuantitativos de producción científica. Su creación estuvo estrechamente asociada a la decisión del sistema científico y universitario chino, fuertemente centralizado bajo la órbita estatal de tener un modelo a replicar para el avance de la formación de científicos en China. El modelo escogido fue el de las universidades, donde buena parte de las nuevas camadas de científicos chinos se han formado. Preferentemente las llamadas “universidades de investigación”, de gran relevancia en Estados Unidos: unas 125 entre las 4.000 universidades y colleges que integran el sistema de educación superior de este país, pero de alto impacto en el proceso internacional de desarrollo científico. La lógica central de este ranking es la de la política estatal de una nación que privilegia fuertemente el desarrollo de la ciencia y que toma como modelo ideal al vigente en los países capitalistas más avanzados.

Desgraciadamente, la denominación genérica de este ranking introdujo de entrada una gran confusión sobre estas clasificaciones. La lista de clasificación que Shanghai utiliza se basa en un multi-indicador compuesto casi exclusivamente por indicadores ligados a la máxima producción científica mundial: premios Nobel y premios Field (Matemáticas) obtenidos por profesores y alumnos, artículos publicados en las revistas Nature y Science, papers y citas correspondientes a los indexados en Science Citation Index y Social Science Citation Index del Institute for Scientific Information (ISI), totalizan el 90% de la evaluación. Articulados con estos, la dedicación de recursos humanos con antecedentes a tiempo completo mide la función de la enseñanza. Las ponderaciones entre los indicadores son arbitrarias aunque debido a la dominancia de los vinculados con investigación el rendimiento en cada indicador tiende a correlacionarse estrechamente con el desempeño en los otros indicadores.

Se trata entonces de un ordenamiento de este perfil de universidades en que se rankean unas 500, que representan el 2% del total mundial. Así se registran 149 universidades norteamericanas (con Harvard como el máximo referente), con 17 sobre las 19 primeras, completadas por las británicas Oxford y Cambridge. De Latinoamérica solo aparecen cuatro universidades brasileñas, una argentina, una mexicana y una chilena, todas a partir de la escala 100-150. Si bien aparecen 29 universidades chinas, ninguna lo hace antes del puesto 151-200, lo que revela con toda crudeza la importante diferencia entre el nivel de la calidad de estas universidades y el modelo ideal escogido, además de la honestidad intelectual con que fue elaborada la clasificación, sujetándose rígidamente a los indicadores escogidos.

Claramente entonces, con los indicadores seleccionados, esta clasificación es estrictamente parcial y mide esencialmente la función de investigación en las universidades de acuerdo a los parámetros dominantes en ciertas comunidades académicas. No mide directamente los niveles de internacionalización ni los recursos, ni en forma autónoma la enseñanza.

Al haber sido la primero internacionalmente aceptada, goza de prestigio en el perfil de las universidades de investigación, dado que además los datos son generados externamente y sólo el número de profesores equivalentes a tiempo completo está sujeto a la manipulación de las universidades.

3.1.2. Los rankings ligados al negocio de la evaluación universitaria

En los países desarrollados de economía de mercado los procesos de mercantilización de la educación universitaria ligados a la constitución de mercados de alcance global o regional de estudiantes y de académicos incluyen también al enorme negocio de la evaluación universitaria. No podía escapar a ello el tema de los rankings universitarios. En el siguiente caso que presentamos, no sólo aparece con claridad este entramado sino también el tamaño de los grandes jugadores de este mercado y las disputas abiertas de intereses mercantiles sobre esta temática.

Con variantes metodológicas, en el año 2004, el periódico The Times, de Londres, difunde el segundo ranking de impacto internacional. El ranking Times Higher Education (THE) fue originalmente publicado por el suplemento de educación superior del periódico. A partir de 2007 estos rankings fueron compilados por la consultora de temas educacionales Quacquarelli-Symonds (QS), dirigida por Nunzio Quacquarelli. Esta clasificación jerarquiza a universidades de todo el mundo a partir de una combinación de indicadores de producción científica y calidad de la enseñanza, presencia internacional de docentes y estudiantes y, en gran medida, opinión de empleadores y académicos seleccionados con relativa arbitrariedad por la consultora.

En el año 2009 Times Higher Education cortó sus vínculos con QS y firmó un acuerdo con Thomson Reuters. Esta es una enorme empresa de información generada por la compra que hizo The Thomson Corporation del Reuters Group Limited (más conocido como Reuters), una tradicional agencia de noticias con sede en el Reino Unido, conocida por suministrar información a los medios de comunicación y a los mercados financieros. El 15 de mayo de 2007, The Thomson Corporation llegó a un acuerdo con Reuters para combinar las dos empresas. El 17 de abril de 2008, la nueva compañía fue creada bajo el nombre de Thomson Reuters, asentada legalmente en Canadá.

Thomson Reuters es ahora una de las grandes compañías que suministra información para empresas y profesionales sobre diversos temas y mercados. Su plataforma proporciona a los académicos y administradores universitarios acceso a bases de datos del mundo de 12.000 de las revistas de mayor impacto académico y más de 110.000 resúmenes de congresos. Abarca las Ciencias Exactas y Naturales, las Ciencias Sociales, Artes y Humanidades y una cobertura retrospectiva que se remonta al año 1900. Tiene su sede en Nueva York, con sucursales en Londres y Eagan (Minnesota), opera en más de 100 países y emplea unas 50.000 personas.^[1]

A pesar de la larga experiencia y tradición norteamericana en evaluación (o quizás justamente por ello), las revistas de este país se limitaron inicialmente a la evaluación de carreras de grado y postgrados locales o disciplinas específicas pero también locales. Actualmente, la pionera del sistema, U.S. News, ha incorporado el ranking mundial de QS asociándose con la consultora inglesa, pero sin generar su propia metodología o tabla.

Luego de la ruptura con The Times, la consultora Quacquarelli Symonds (QS) continuó publicando su ranking mundial sobre universidades (QS World University), avanzando sobre mediciones por disciplinas y por regiones, con una metodología más abarcativa. Esta estrategia le permitió incorporar a un número mayor de universidades medibles, clientes potenciales para los avisos comerciales que ayudan a sumar ingresos a la consultora además de las alianzas mencionadas. Este ranking se difunde directamente como QS o, como dijimos, a través de U.S. News & World Report de los Estados Unidos. Hay que señalar que la ruptura mencionada con el Times no fue por cierto amigable y ambos grupos se critican duramente en sus documentos y compiten fuertemente por sus posiciones en el mercado de evaluación. Además, QS basa su información sobre revistas científicas en su asociación con la base de datos de Scopus, del grupo editorial Elsevier, creado en el año 2004, mientras que The Times se asoció con Thompson Reuters, lo que muestra la importante batalla económica por el monopolio del suministro de la información que está detrás de estos procesos supuestamente académicos.

3.1.3. Las respuestas ligadas a la tradición rusa en ciencias

La clasificación del ranking ARWU –que como se mencionara más arriba fue creada por la Universidad Jiao Tong de Shangai en el año 2003– tuvo un fuerte impacto a escala internacional. En una comunidad académica de gran tradición como la rusa y de otras naciones que integraban la Unión Soviética, los criterios utilizados dejaban en niveles muy bajos a sus comunidades universitarias. En el año 2003 la primera universidad que aparecía ranqueada, la Universidad de Moscú, figuraba en la posición 102-151. Ello provocó un gran malestar en las universidades rusas,^[2] lo que está estrechamente asociado a la larga tradición en los estudios sobre organización de la ciencia en Rusia, temática que se desarrolla en la Segunda Sección de este libro.

La respuesta fue la creación del Global Universities Ranking-Reitor (Peümop), elaborado por la agencia Reitor y la Universidad estatal Lomonosov de Moscú. Los primeros resultados fueron publicados en el año 2009. Su nacimiento partió del diagnóstico de que los rankings internacionales difundidos no reflejaban adecuadamente las realidades de las universidades rusas. Su ranking se diferencia bastante en los indicadores de calidad utilizados hasta ese momento. Además del análisis de las universidades recogidas por los otros rankings analizados más arriba se agregan aquí las casas de altos estudios de mejor nivel de la Federación Rusa e instituciones de los países que formaron la Unión Soviética. Se reformulan y amplían considerablemente los indicadores.

Además de otros tradicionales utiliza indicadores como:

• Número de programas de estudio por nivel (licenciatura, especialista, etc.).
• Número de estudiantes ganadores de concursos académicos internacionales.
• Número de publicaciones de funcionarios que no sean artículos de revistas o monografías científicas; es decir, libros de texto, manuales y otros.
• Número de certificados sobre descubrimientos y las patentes de invención obtenidas por la universidad y por los funcionarios de investigación y académicos.
• Valor total de los servicios de formación y de laboratorio de las universidades.
• Número de investigadores que han sido investidos doctor Honoris Causa por universidades extranjeras.
• Número de profesores que son miembros de las academias nacionales e internacionales de ciencias.
• Características socialmente significativas de las actividades de los graduados en el campo de la cultura, los negocios, la política, o como funcionarios o directivos de organizaciones gubernamentales internacionales. (Fuente: Ministerio de Educación y Ciencia de la Federación Rusa).

3.2. Rankings sobre la productividad en la función de investigación (sean o no universidades)

Después de realizar importantes críticas a las metodologías de los rankings existentes, señalando la necesidad de restringir estas mediciones a actividades específicas como la enseñanza o la investigación y a espacios territoriales e institucionales homogéneos, el Centro para la Ciencia y Estudios Tecnológicos de la Universidad de Leiden, Suiza, elaboró el Leiden Ranking, una lista de clasificación que se basa exclusivamente en indicadores bibliométricos. A principios de 2007 clasificó a las 100 universidades europeas con mayor número de publicaciones científicas. Sus indicadores son el volumen de artículos científicos, el volumen de citación de estos, las citas por artículo, el número de trabajos publicados en el 10% superior de tasas de citación en el campo respectivo y la proporción de artículos de la universidad en esta categoría. Utiliza los datos de Thompson-ISI. Los datos son utilizados por los especialistas en la política de investigación y en menor medida están asociados a la reputación de la universidad, como en el caso de los otros rankings señalados.

The Taiwan Higher Education Accreditation and Evaluation Council Ranking rankea las performances de los papers científicos publicados por 500 universidades a nivel mundial usando la información proporcionada por SCI (Science Citation Index) y SSCI (Social Sciences Citations Index) de Thomson Reuters midiendo la productividad de las investigaciones, el impacto de estas y su excelencia. Se publica desde el año 2007.

El Ranking Iberoamericano de SCImago Institutions Ranking (SIR) rankea a las instituciones universitarias iberoamericanas en base a los datos cuantitativos de publicación y citación de trabajos de investigación. Se vale para ello de la base de datos Scopus perteneciente a Elsevier, que agrupa a las revistas científicas seleccionadas por los criterios por ella establecidos, algo menos restrictivos que los del ISI. En el año 2012 presentaba información sobre 1.401 universidades de España, Portugal y América Latina. SCImago es un grupo de investigación dedicado a la evaluación de la ciencia mediante análisis, representación y evaluación de la información contenida en bases de datos. Los miembros del grupo SCImago pertenecen al Consejo Superior de Investigaciones Científicas (CSIC) y a las Universidades de Granada, Alcalá de Henares y Carlos III de Madrid, Extremadura, Oporto (Portugal), Universidad Nacional de la Plata (Argentina) y Pontifica Universidad Católica de Valparaiso (Chile).

3.3. Utilización de indicadores y clasificaciones sin el propósito de generar listados o rankings

El impacto de la difusión de los rankings internacionales de universidades produjo una fuerte reacción de las comunidades académicas de distintas regiones del mundo. Ya hemos visto lo que sucedió en Rusia y en los países que componían la Unión Soviética con otra historia de tradiciones científicas e instituciones, tema que se desarrolla en la Segunda Sección de este volumen. Pero también en Europa y América Latina se objetaron fuertemente estas mediciones tal como se formularon e instrumentaron. En el año 2008, el Directorio General para la Investigación de la Comisión Europea creó un grupo de trabajo para la Evaluación de la Investigación Universitaria, que en 2010 publicó un documento que mostraba la gran complejidad de clasificar a las actividades de investigación de las universidades dadas sus diversas tradiciones disciplinarias e instrumentos de validación de la calidad elaborando una matriz de indicadores multidimensional.

Paralelamente, el German Centre for Higher Education Development (CHE), de Alemania, comenzó en 1998 a publicar un conjunto de indicadores rankeados, pero sin trasladar este ordenamiento a las instituciones. La idea central es que los estudiantes puedan construir su propio perfil de universidad a la que se aspira. Universidades austríacas y suizas se sumaron a esta iniciativa dándole un perfil internacional. A partir del año 2007 se comenzó a publicar el CHE Excellence Ranking sobre Ciencias Naturales. Desde 2009 se extendió a la ciencia política, economía y psicología. Metodológicamente, no se trata de construir un ordenamiento global simple sino un análisis detallado que evite agregar datos parciales para producir un puntaje global. Esto se basa en la idea de que no existe una institución o modelo de institución universitaria que se pueda considerar “la mejor”, ya que cada una puede ser más relevante en ciertos campos disciplinarios o en ciertos aspectos (docencia, investigación, transferencia de conocimiento). En lugar de decretar a un presunto ganador universal ofrece un ordenamiento multidimensional. Las ubicaciones de las instituciones en cada dimensión y en cada disciplina a su vez las ubica dentro de un grupo: alto, medio o bajo. Las diferencias son consistentes entre cada grupo pero no entre instituciones dentro de estos, que sólo son ubicadas en orden alfabético.

El proyecto The U-Map, creado por la Unión Europea, es desarrollado por el Centre for Higher Education Policy Studies (CHEPS) de la Universidad de Twente de Holanda. Presenta un conjunto de indicadores en porcentajes y rangos de manera de hacer muy dificultoso construir tablas ordenadas de instituciones, ya que su propósito es sólo ofrecer información. Inicialmente fueron publicados datos sobre Noruega, Holanda y Bélgica.

Como una continuidad de los dos anteriores se crea el European Multidimensional University Ranking System (U-Multirank), que es un proyecto financiado por la Unión Europea y ejecutado por The Centre for Higher Education Policy Studies at Twente University de Holanda y el Zentrum für Hochschulentwiclung (CHE) de Alemania. Está destinado a crear un sistema mundial de información sobre las universidades, que debería permitir superar los principales inconvenientes de los actuales rankings mundiales de universidades y se apoya en los avances del proyecto CHE. En materia de enfoque multidimensional cubre las distintas misiones de las universidades: enseñanza, investigación, innovación, internacionalización, impacto en la sociedad y empleabilidad de los egresados. No proporciona tablas de ordenamiento jerárquico y no realiza ponderaciones de los indicadores, ya que los estos pueden ser independientes. Ello permite a los usuarios elegir sus propios criterios y ponderaciones al hacer comparaciones. Se reduce así fuertemente el rol de la agencia encargada de la elaboración de los rankings con índices unificados.

En la misma dirección metodológica, América Latina y el Caribe (ALC) lograron unificar criterios y decidieron adoptar la propuesta del Mapa de Educación Superior en América Latina y el Caribe (MESALC) impulsada por el Instituto Internacional de la UNESCO para la Educación Superior en América Latina y el Caribe (UNESCO-IESALC). Esta herramienta profundiza los conocimientos sobre la educación superior, desarrollando y promoviendo la cultura de la información como una alternativa regional que trascienda las esferas de comparación que proponen los rankings universitarios. La decisión fue tomada como parte de la celebración del IV Encuentro de Redes Universitarias y Consejos de Rectores de América Latina y el Caribe, el 6 de mayo de 2011. El MESALC es un sistema de información de libre acceso que contiene datos estadísticos de las diferentes instituciones de educación superior (ES) de América Latina y el Caribe, que surge de la necesidad de conocer cómo se comporta la educación superior en la región y cuáles son sus principales características, fortalezas y debilidades.

El MESALC se define como un sistema de información en línea, creado por UNESCO – IESALC, cuyo propósito es promover la articulación de los sistemas nacionales de información sobre ES en la región, contemplando la creación de estos espacios en aquellos países carentes de la infraestructura necesaria. MESALC busca profundizar el conocimiento de la ES y promover la cultura de información, para ello cuenta con un articulado de descriptores, variables e indicadores orientados al diagnóstico de la situación académica de cada nación; acompañado por un Glosario de la ES que permite identificar y definir los conceptos básicos utilizados en la implementación del proyecto. Las categorías y los datos estadísticos comprenden una base de información en escala, lo que permite al usuario ubicarse en tres perspectivas: regional, nacional e institucional. La creación y desarrollo del proyecto depende de cada país e institución de educación superior (IES) involucrado; por lo tanto parte del enriquecimiento nacional, adaptándose a las políticas públicas que promueven el desarrollo de la ES.

A diferencia de los rankings, el Mapa permite al usuario final conocer tanto las dimensiones de la ES en las distintas IES de ALC, como la comparación libre de variables e indicadores de su preferencia, haciendo del proceso selectivo un espacio transparente que otorga al interesado la libertad de realizar criterios de búsqueda en áreas y aspectos específicos de su interés. Actualmente el Proyecto MESALC se encuentra en fase final de desarrollo e implementación de la plataforma tecnológica. Esta sugiere un alto nivel de apertura y flexibilidad ante la compleja diversidad de los sistemas de recolección de información de la ES presentes en la región.

En esta misma línea, y con el fin de promover la internacionalización del proyecto, MESALC, en el año 2010 se asocia al proyecto INFOACES, financiado mayoritariamente por la Comisión Europea, dentro del programa ALFA III, que aglutina a un total de 32 socios de 22 países diferentes (17 de América Latina y 5 de Europa), todos ellos coordinados por la Universitat Politècnica de València, a través del Centro de Gestión de la Calidad y del Cambio. Este tiene como objetivo principal crear indicadores de segunda y tercera misión con el fin de establecer las tipologías de un grupo diverso de IES de América Latina y con miras a expandir el proyecto a la totalidad de instituciones de la región. UNESCO – IESALC, como miembro del Comité Ejecutivo de INFOACES, ha propuesto el trabajo en sinergia con MESALC, con el fin de que ambos puedan complementarse y nutrirse con la información levantada.

INFOACES contempla los mismos principios del MESALC pero con un objetivo diferente: mientras que el MESALC busca en primera instancia resaltar y conocer la realidad de cada IES y de cada Sistema Nacional de Educación Superior (SNES), INFOACES se orienta a estudiar la dinámica y la interacción de estas realidades. El sistema de indicadores se plantea en dos niveles. El primero estará constituido por un Sistema Básico de Indicadores (SB), referidos a la estructura (recursos y procesos), resultados (producto) y datos externos (contexto) de las Instituciones de Educación Superior. En base a estos indicadores se construye la definición de tipologías, válidas no sólo para las instituciones participantes sino para todas las instituciones de América Latina. En un segundo nivel, INFOACES incluye un Sistema Estratégico de Indicadores (SE), que recogerá aquellos que están orientados a la gestión, evaluación y benchmarking de las instituciones.

Por cierto, existe una importante discusión sobre las dificultades de la utilización de indicadores en la evaluación de la educación superior, aunque su utilización esté muy extendida. Por eso, a distintos autores les gusta citar a Nicholls (1992): “los indicadores son valores numéricos que se utilizan para medir algo difícil de medir”. Pérez Rasetti (2011: 13-14) destaca estas dificultades cuando al criticar metodológicamente a los rankings señala:

Lo primero que hay que descartar es la ponderación entre indicadores, especialmente porque es la operación que simplifica y reduce la información y también porque depende de una construcción poco sustentada, arbitraria y prejuiciosa. Es decir, presupone un modelo de excelencia previamente adoptado; en el caso del ranking de Shangai, es bastante evidente que se trata del modelo de universidad de investigación norteamericana y deja afuera todo otro modelo institucional de educación superior. Por otra parte, algo nos enseñan los rankings sobre los criterios para la selección de los indicadores. Estos deben estar adaptados a la mostración del universo que se quiere abarcar y no nos serán de gran utilidad aquellos de ocurrencia excepcional, como sería el caso de los premios Nobel para nuestra región.

Una de las dificultades de la construcción del MESALC y del proyecto INFOACES es precisamente la rigidez en la utilización de ciertos indicadores válidos para ciertas disciplinas, pero mecánicamente extendidos por las comunidades científicas dominantes al conjunto del universo del conocimiento, reproduciendo así parte de los problemas que se busca evitar al abandonar la utilización de los rankings internacionales.

3.4. Rankings de páginas web

En el año 2004 aparece el Webometrics Ranking of World Universities, que es producido por el Cybermetrics Lab (CCHS), un grupo de investigación perteneciente al Laboratorio de Cibermetría del Consejo Superior de Investigaciones Científicas (CSIC) de España, en alianza con diversas universidades de este país y de Portugal. Webometrics clasifica a más de 20.000 universidades de todo el mundo a partir de la presencia de sus páginas web, y 12.000 son incluidas en sus listados.

Se considera que la importancia que ha adquirido Internet es tal que se puede apreciar qué tan buena es una universidad analizando la presencia que tiene en la web la producción de sus académicos y la frecuencia con la que se consultan los productos respectivos y, en general, la página institucional. En consecuencia, la unidad de análisis en este caso es el dominio web institucional, por lo que sólo son tenidos en cuenta los centros de investigación y universidades con un dominio web independiente. Se diseñaron cuatro indicadores a partir de los resultados cuantitativos obtenidos de los principales motores de búsqueda (Google, Yahoo, Live Search y Exalead).

El Factor de Impacto Web (WIF, por sus siglas en inglés) combina el número de enlaces externos entrantes con el número de páginas web de un dominio, siguiendo una relación 1:1 entre visibilidad y tamaño. Esta relación se usa para hacer el ranking, añadiendo los otros dos indicadores: el número de archivos ricos que contiene un dominio web, y el número de publicaciones incluidas en la base de datos de Google Scholar. Por su relevancia en las actividades académicas y de publicación y su volumen de uso, se consideran archivos ricos al número de Adobe Acrobat, Adobe PostScript, Microsoft Word y Microsoft PowerPoint con terminaciones .pdf, .ps, .doc y .ppt.

3.5. Ranking de universidades por un aspecto específico

En el año 2007, la École Nationale Supérieure des Mines de Paris organiza el Professional Ranking of World Universities. Se clasifican aquí a universidades de todo el mundo por la presencia de sus egresados como CEO de las empresas listadas en la revista Fortune 500. Lo interesante es que en este ranking, dentro de los primeros cinco lugares, e incluso dentro de los primeros 28, Japón encabeza el listado, seguido de Estados Unidos, Francia, Gran Bretaña y aparecen con presencia Corea y Brasil, lo que mostraría una diferencia importante en relación a los ordenamientos basados en la calidad de las instituciones que miden otros rankings, aunque obviamente la propiedad nacional de las empresas está en muchos casos asociada a la de sus CEO.

---