7.1. La organización institucional

Como sabemos, los orígenes de los modernos sistemas de evaluación universitaria están asociados a las características de la expansión del sistema universitario norteamericano. Las iniciativas privadas y de los estados federales determinaron la creación de una importante cantidad de colegios y universidades en los que un pequeño sector de alta calidad y tradición convivía con gran cantidad de nuevas instituciones en expansión. El modelo estadounidense tiene una tradición antigua en el manejo de un sistema educativo heterogéneo, que desde su origen se basó en la competencia, el alto peso de la educación privada y un importante grado de descentralización del sector estatal a través de los estados federales, por lo que requirió estructurarse tempranamente mediante organismos de coordinación, de acreditación y de control de calidad.

Desde fines del siglo XIX las asociaciones de universidades establecieron estándares mínimos de calidad y las asociaciones profesionales pasaron a controlar los procesos de acreditación para el ejercicio de estas. Las universidades existentes obtienen una licencia de los estados federales para otorgar grados académicos. Luego, las asociaciones regionales de universidades organizan la evaluación de las universidades, que es obligatoria cada diez años para mantener su acreditación. Los procesos son conducidos por el Council of Graduate Schools y por el American Council of Education. La acreditación institucional es por diez años y la acreditación de programas por cinco.

En Europa hay fuerte tradición estatal en el control de los procesos universitarios y son los estados nacionales los que organizan los procesos de evaluación, generalmente a través de un organismo intermedio y especializado entre el gobierno y las universidades, estableciendo estándares y procedimientos. El actual modelo europeo de convergencia hacia un área de educación superior europea, por la integración de los países y la creciente articulación con el mercado, lleva a complejos sistemas de evaluación y de integración (reconocimiento de créditos, etc.), que se suman a formas de control previas de cada estado.

En América Latina hay una gran superposición de las distintas tradiciones académicas internacionales. El peso del liberalismo de fines del siglo XIX impulsó con gran relevancia a las universidades estatales, que establecieron el monopolio de la acreditación automática de la calidad en sus títulos y la habilitación profesional directa. En algunos países, las universidades católicas –algunas desde la época colonial-primero, y otras universidades de gestión privada después–, fueron complejizando el sistema institucional.

El gran crecimiento y masificación del sistema universitario, la expansión de un sistema de postgrados basado en tradiciones de distinto origen y con asignación de valor diferencial a los diversos títulos, debilitaron el “sello de fábrica” de los títulos universitarios. Las crisis presupuestarias de los estados latinoamericanos en las décadas de 1980 y 1990 plantearon la necesidad del control de los presupuestos universitarios. Aparece con fuerza la acción del “Estado evaluador”, con programas de evaluación de la calidad universitaria, un hecho inédito para las universidades latinoamericanas.^[1]

En la región, estos procesos toman fuerza en Brasil con la acción de la CAPES (Coordinación y Perfeccionamiento del Personal de Nivel Superior), que impulsó procesos de evaluación de los sistemas de postgrado con consecuencias en la adjudicación de recursos estatales a dichas actividades. En México la adjudicación de recursos estatales se fue asociando a procesos de evaluación de los académicos y de las instituciones.

En Argentina, la evaluación institucional ha sido introducida en la agenda universitaria recién hacia 1990. La necesidad de la evaluación institucional había sido expresada por la comunidad universitaria a través de encuentros, talleres y actividades organizados con el fin de facilitar un debate democrático sobre una temática nueva y compleja como ésta. Pero fueron las políticas impulsadas por la Secretaría de Políticas Universitarias del Ministerio de Cultura y Educación (a través de la ley de Educación Superior 24.521 sancionada en 1995) las que dieron un impulso decisivo a estos procesos. La resistencia del sistema universitario estatal estaba asociada a una mirada autosuficiente y autocomplaciente y al control político de las autoridades de las universidades estatales de los procesos académicos. Se asociaba también a esta resistencia el temor del sistema privado por el control de la evaluación estatal en relación a sus actividades.

La ley le dedica una sección completa a la evaluación institucional y a la acreditación, y en su artículo 44 plantea:

Las instituciones universitarias deberán asegurar el funcionamiento de instancias internas de sistemas de evaluación institucional que tendrán por objeto analizar los logros y dificultades en el cumplimiento de sus funciones, así como sugerir medidas para su mejoramiento. Las auto-evaluaciones se complementarán con evaluaciones externas, que se harán como mínimo cada seis años, en el marco de los objetivos definidos por cada institución.

La obligatoriedad fue justificada hasta que se consolidara una cultura de la evaluación, por la escasa propensión de las instituciones a la evaluación externa.

En base a la experiencia institucional francesa se crea la CONEAU (Comisión Nacional de Evaluación y Acreditación Universitaria), aunque se intenta asimilar también la experiencia norteamericana y se admite como complementarias bajo la supervisión de la CONEAU a las Agencias Privadas de Evaluación reconocidas por el Ministerio de Educación.^[2] Los procesos bajo supervisión de la CONEAU son: a) la evaluación institucional externa de las universidades; b) la evaluación del proyecto institucional para la creación de nuevas universidades estatales; c) la evaluación para la autorización provisoria o el reconocimiento definitivo de las universidades privadas y d) la acreditación de las carreras de grado y de postgrado.

7.2. La evaluación de las instituciones universitarias

Respeto a la evaluación institucional, el sistema que adoptó Argentina fue inspirado en el modelo francés de evaluación (aunque el francés no incluye acreditaciones). Se basa en una autoevaluación y en una evaluación externa. La diferencia es que en el caso francés el proceso de evaluación es estructurado, a partir de una serie de indicadores elaborados por un Comité Nacional de Evaluación (CNE) y de un cuestionario detallado. En el caso argentino, si bien hay lineamientos generales para el desarrollo del proceso, la autoevaluación no es estructurada y su elaboración depende de los equipos o comisiones que se organicen en las instituciones. No se cuenta con financiamiento que permita que el resultado de las recomendaciones reciba recursos adicionales externos.

En 1997, la CONEAU elaboró un documento denominado “Lineamientos para la evaluación institucional”. Allí se incluía una ejemplar carta de su presidente, el destacado educador Emilio Mignone, a la que llamó “Criterios básicos para la autoevaluación universitaria desde el punto de vista de la evaluación externa”. En el texto se señalaba que tanto la autoevaluación como la evaluación externa deben realizarse, según lo prescribe la cláusula citada, en el marco de los objetivos definidos por cada institución. Y agregaba que estos, por lo general, se encuentran explicitados en los fines y funciones establecidos en los estatutos de las universidades nacionales y en los proyectos fundacionales de las universidades privadas, además de los propósitos y metas contenidos en planes de desarrollo, memorias anuales, políticas y reglamentaciones aprobadas por sus órganos de gobierno.

Esta definición sitúa el contexto de la evaluación y resalta con nitidez lo inadecuado de las metodologías de los rankings, que son una evaluación institucional abstracta con indicadores genéricos que justamente prescinden de las características específicas de las instituciones universitarias y de su accionar definido por sus objetivos institucionales. Y explicitaba:

En cuanto a la autoevaluación resulta imprescindible señalar que su ejecución es de responsabilidad exclusiva de las instituciones universitarias en el marco de las normas reseñadas. Esto surge del carácter autónomo y autárquico de las universidades nacionales y provinciales, según lo establecen los artículos 75 inciso 19 de la Constitución Nacional y 48/61 y 69 de la ley 24.521; y la personería jurídica de las privadas, reconocida y reglamentada por los artículos 62 a 68 inclusive del mismo ordenamiento legal. El marco antedicho, exponente de una vigorosa tradición argentina, exige a la Comisión Nacional de Evaluación y Acreditación Universitaria un cuidadoso respeto hacia el proceso de autoevaluación encarado por los establecimientos. La CONEAU entiende que no es atribución suya la imposición de modelos ni metodologías en la materia.

La riqueza del principio de autoevaluación de las universidades que planteaba la CONEAU, y que se llevó adelante en los procesos de evaluación institucional de muchas universidades de gestión estatal y privada del país, debe ser rescatada para contrastarla con la pobreza informativa en que se basan las metodologías de los rankings, tanto en materia de los escasos indicadores utilizados como de las fuentes de información. Señalaba así el documento de CONEAU:

    La autoevaluación debe ser necesariamente participativa, con la intervención de todos los actores de la comunidad universitaria, utilizando las competencias que puedan resultar útiles provenientes de las distintas disciplinas y metodologías. Es aconsejable igualmente la consulta de sectores ajenos, pero vinculados con los objetivos y las tareas de la universidad.

La autoevaluación debe contener información cuantitativa y cualitativa suficiente como para permitir una interpretación y un juzgamiento objetivo de la realidad. Esto no implica una acumulación abusiva de estadísticas 
–que a veces ocultan los hechos y dificultan el análisis– pero si de elementos fácticos respecto a los alumnos (número, categorías, ingreso, actuación, dedicación, evaluación, desgranamiento, período de graduación, etc.); a carreras, cursos, exámenes, promoción, correlatividades, etc.; al personal docente (títulos académicos, ingreso, carrera, evaluación, curriculum vitae actualizados, dedicación, concursos, consagración a la investigación, dedicación, publicaciones, etc.); personal no docente (número, clasificación, ingreso, capacitación, evaluación, etc.); programas de extensión y bienestar estudiantil; edificios, infraestructura, bibliotecas, laboratorios, equipos, informática, presupuesto, etc.

Toda evaluación, en cualquiera de sus fases, implica la utilización de medios cuantitativos y cualitativos, que son complementarios y de ninguna manera exclusivos ni aislados. Los aportes cualitativos (entrevistas, encuestas, análisis de la historia, de los objetivos, los niveles de gobierno y gestión, la cultura y el clima organizacional, los programas de transferencia, los recursos y el contexto socio-económico y cultural que rodea a la institución, como así también el estudio de la producción educativa y de investigación, la reinterpretación de los datos numéricos, el examen de resultados del aprendizaje y de la investigación, etc.) son en definitiva los instrumentos capaces de subrayar y ponderar los datos cuantitativos y, sin desvirtuarlos, permitir arribar a conclusiones válidas y útiles.

La autoevaluación de las instituciones universitarias tiene que terminar con recomendaciones y propuestas que satisfagan lo establecido por la ley de Educación Superior en su artículo 44: analizar los logros y dificultades en el cumplimiento de sus funciones, así como sugerir medidas para su mejoramiento. A ese respecto convendrá distinguir entre las propuestas de mejoramiento que pueden y deben llevarse a cabo con los actuales recursos y aquéllas que exigirán aportes adicionales.

Es también importante concebir la autoevaluación a partir de la concepción de la universidad como una unidad de análisis, teniendo en cuenta su perspectiva contextual e histórica y cubriendo la totalidad de las funciones que desempeña. En otros términos, debe concluir con un informe final que no debería escindir los diversos componentes, ya sea funcionales o disciplinares, sino que tienda a resaltar la unicidad de la institución.

Como se aprecia, había una excelente guía para que las evaluaciones institucionales tuvieran alto impacto en la mejora de la calidad de las instituciones universitarias, ya que se aplicaban las mejores tradiciones internacionales de evaluación. En la medida, además, en que la evaluación externa realizada por pares evaluadores de alta calidad ayudara a profundizar en la detección de los problemas que obstaculizaban un mejor desarrollo institucional y a precisar objetivos de mejora que pudieran ser internalizados por los académicos y las autoridades universitarias.

7.3. El debilitamiento de las evaluaciones institucionales, los procesos de acreditación y los sesgos en la evaluación de la función de investigación

Las condiciones políticas en que se impulsó la instalación de la CONEAU y de las funciones de evaluación y acreditación fueron extremadamente complejas. De hecho la Universidad de Buenos Aires, la mayor del país, se resistió durante años a participar en estos procesos y aún hoy algunas comunidades académicas ponen trabas a estas actividades. En ese contexto, las acreditaciones de postgrados primero y de grado (carreras del artículo 43 de la ley de Educación Superior) después, adquirieron creciente relevancia por las consecuencias punitivas previstas para el funcionamiento de estas carreras. Ello hizo que las universidades dieran prioridad a estas actividades en detrimento de las evaluaciones institucionales, dada la falta de consecuencias de una evaluación negativa.

Por otra parte, al no haber un uso del Estado de los resultados de las evaluaciones institucionales para el diseño y el desarrollo de políticas sectoriales, ni para la distribución presupuestaria, ni para gestionar el funcionamiento del sistema universitario, no se asentó socialmente la importancia de los dictámenes de evaluación de las universidades, que en otros países tienen alto impacto social y consecuencias en la gestión estatal. Este vacío de legitimidad externa de estos procesos ha dejado un espacio crecientemente aprovechado por la difusión mediática de los rankings internacionales.

Los procesos de acreditación han tenido gran impacto y han determinado cambios significativos en las instituciones universitarias. Dadas las consecuencias institucionales que determinaban la posibilidad de funcionamiento de los postgrados o que ponían en riesgo las carreras de grado alcanzadas, las instituciones y las comunidades académicas prestaron particular atención a esta problemática. Dentro de estos adquirió gran relevancia el rol de la función de investigación en las universidades. Esto tuvo que ver con los sistemas preexistentes de evaluación de los investigadores dentro del Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET). El prestigio en esta área de la institución y de sus investigadores determinó que, al conformarse los listados de los comités de pares en la CONEAU, una gran parte de estos fueron escogidos en todas las disciplinas entre personal científico del CONICET. Estos investigadores trasladaron a las comisiones asesoras de la CONEAU su visión sobre la calidad en materia de investigación.

El primer problema asociado a lo anterior, es que la práctica de evaluación en el CONICET era sobre los becarios e investigadores de carrera, mientras que en el caso de la CONEAU no se trataba de juzgar la actividad de determinadas personas sino procesos integrales que permitieran obtener calidad en materia de formación educativa, tanto en carreras de grado como de postgrado. En ese sentido la función de investigación debía aparecer subordinada a este objetivo superior. Esta confusión fue generada desde la propia CONEAU, donde los formularios de acreditación demandan acciones de investigación en el sentido tradicional, al tiempo que se pedían acciones en este terreno a los postgrados como si se tratara de entidades autónomas y no de espacios educativos formativos que pueden a través de la docencia integrar conocimientos de investigación generados en distintas entidades, en muchos casos diferentes de aquella donde se desarrolla la actividad. Esto se agravó en el caso de los postgrados profesionales.

El segundo problema es que en la transmisión de los criterios del CONICET para la evaluación de la investigación, se encuentra, por su historia institucional, una fuerte predominancia de las tradiciones que se han ido construyendo en el área de las ciencias básicas, tradiciones que corresponden a un sistema internacional homogéneo en este aspecto y definido por el desarrollo disciplinar llevado adelante en los países desarrollados. La Física, la Química, las Matemáticas, la Biología desarrollan procesos de conocimiento en materia de investigación de carácter universal y así son evaluadas.

Diferente es el caso de las disciplinas asociadas al estudio de las realidades locales desde el lado de las Ciencias Sociales y las Humanidades, como aquellas vinculadas con áreas aplicadas como las ingenierías, la Arquitectura y otras. Sin embargo, la predominancia de los criterios de las ciencias básicas, con el modelo dominante de papers publicados en revista de referato internacional subordinó a los otros procesos. ¿A qué se debió esto en la Argentina?

En primer lugar a las características del desarrollo científico local. Argentina, al igual que la mayor parte de los países de menor desarrollo, destina el peso esencial de sus recursos (particularmente estatales) al financiamiento de las ciencias básicas. Ello es exactamente al revés de los países de mayor desarrollo económico y científico donde el peso esencial de la inversión se realiza en el desarrollo experimental y en las tecnologías aplicadas. Esto tiene que ver a su vez con el gran peso en los países desarrollados de la inversión de las empresas privadas, la que es particularmente débil en Argentina.

Esta situación de fondo, más el peso de la formación del CONICET a fines de la década de 1950, determinó que las corporaciones de las ciencias básicas capturaran el grueso de los recursos estatales a través del control de esta institución pero también de la Secretaría de Ciencia y Tecnología devenida recientemente en Ministerio.

Es tan notable el peso de esta predominancia, que esto ha llevado a conflictos relevantes dado que los investigadores del CONICET asentados en las instituciones del sistema científico (el INTA, el INTI, la CONEA, etc.) que llevan adelante importantes proyectos de desarrollo aplicado, son evaluados negativamente en el CONICET por no ajustarse al esquema tradicional de la publicación de papers, lo que muestra cómo el sistema de evaluación se ha vuelto profundamente no funcional a las necesidades de desarrollo del país.

Finalmente, esta deformación del sistema de evaluación se convirtió en una traba para el funcionamiento de las instituciones de ciencia y tecnología en Argentina. Frente a ello, el Ministerio de Ciencia y Tecnología (MINCYT) realizó el 8 de septiembre de 2011 un taller cuyas conclusiones centrales fueron:

• la no pertinencia de aplicar criterios de evaluación del personal dedicado a la investigación básica al personal dedicado a la investigación aplicada y al desarrollo tecnológico y social;
• la diferencia existente entre las distintas disciplinas y la forma en que cada una evalúa a su personal;
• la dualidad entre la evaluación de trayectorias individuales y trayectorias colectivas; y
• la distancia entre criterios de calidad académica y criterios de relevancia y/o pertinencia organizacional.
• En el año 2012 se dicta la resolución MINCYT 007/12, que crea la Comisión Asesora sobre Evaluación del Personal Científico y Tecnológico.

La Comisión aborda una de las iniciativas prioritarias de trabajo para el MINCYT como es profundizar el desarrollo de instrumentos de evaluación que permitan una ponderación más equilibrada entre lo que se denomina ciencia básica y las actividades orientadas al desarrollo tecnológico y social. Se trata de la elaboración de pautas de evaluación dirigidas a superar el esquema de medición tradicional basado en el modelo lineal de producción de conocimiento. En este marco se apunta a revisar las modalidades de evaluación del personal científico y tecnológico entendiendo que su definición inviste un carácter político. Las decisiones respecto de su implementación son orientativas para el personal evaluado ya que se encuentran en estrecha vinculación al esquema de incentivos y estímulos que éstos reciben.

La resolución realiza el siguiente diagnóstico sobre la evaluación del personal científico y tecnológico:

1. La dualidad institucional que suponen aquellos casos en los que los investigadores son financiados por CONICET pero su lugar de trabajo es otro de los organismos de ciencia y tecnología o las universidades. Esta situación genera, en algunos casos, una duplicación en la evaluación y una contradicción en los requerimientos de las distintas instituciones.
2. La Carrera del Investigador Científico establecida por el CONICET ha contribuido a la estabilidad y el prestigio del sistema científico. Sin embargo, se resalta que esto ha tenido como consecuencia la adopción de sus instrumentos de evaluación por parte de otras instituciones que no están necesariamente guiadas por los mismos objetivos.
3. Respecto al sistema de evaluación actual, se observa la preeminencia de indicadores que consideran a los investigadores en su trayectoria individual fundamentalmente a partir de su producción bibliométrica y la insuficiente utilización de criterios que consideren también su inserción y desempeño en equipos de trabajo. Un cambio en esta modalidad permitiría evaluar mejor los aportes que los investigadores hacen a la misión específica de las instituciones en las que se desempeñan.

Este giro copernicano en los criterios de evaluación del personal científico tiene pendiente otros debates, que también involucra afectar decisiones institucionales del sistema científico institucional argentino. Uno es el de extender explícitamente estos criterios desarrollados para las ciencias aplicadas a la evaluación de las Ciencias Sociales y Humanidades. Otro cambio profundo es el de la evaluación de los títulos académicos, particularmente la absolutización de los doctorados como sinónimo de calidad máxima en todas las disciplinas, haciendo abstracción de sus tradiciones que difieren en las distintas ramas del conocimiento. Absolutización que determinó la adjudicación plena del financiamiento de las actividades de postgrado por parte del MINCYT, generando un desarrollo artificial de estas actividades en disciplinas sin esta tradición, y desprotegiendo a las otras modalidades de formación académica y profesional.

---