Otras publicaciones:

9789871354894_frontcover

9789877230482-frontcover

Otras publicaciones:

9789877230017_frontcover

12-3876t

1 Introducción

Evaluando la evaluación

La universidad se ha erigido durante años como una de las instituciones esenciales en la formación de las sociedades y en la construcción de las naciones. Su rol ha sido vital en la educación de aquellos profesionales que lideran el Estado, el mercado y la sociedad civil. En su seno han nacido diversas ideologías, han convivido en paz o conflicto pensamientos opuestos, se ha dibujado el transcurso de la historia de los hombres y las comunidades. Esta institución sobrevivió gracias a su propia complejidad, lo que le permite adaptarse a los cambios y repensarse una y otra vez, sin perder su principal objetivo: forjar ideas y transmitirlas de generación en generación.

En los últimos años la universidad ha tenido que reflexionar sobre su propia identidad y repensarse en la nueva sociedad del conocimiento. En un contexto caracterizado por la aceleración y profundidad de los flujos de comunicación y de factores de producción, las fronteras se vuelven porosas, la competencia funciona como herramienta de regulación en todos los aspectos de la vida de las personas, y el hombre busca cómo lograr mayor cooperación en este escenario tan homogéneo y tan distinto a la vez.

En la década del 90, en respuesta al surgimiento de las nuevas exigencias del mercado laboral y científico, surgió la problemática del consumismo académico. Este fenómeno condujo al incremento desarticulado de las ofertas de posgrado. El título de grado dejó de funcionar como un nivel máximo a alcanzar para la promoción profesional y se convirtió solo en una condición para entrar en carrera. Las empresas, las universidades y los organismos públicos buscan profesionales con posgrados que puedan responder a la hiperespecialización del mundo contemporáneo.

Ahora bien, ¿qué consecuencias ha conllevado este consumismo académico de posgrados específicamente? En este contexto se comienza a cuestionar la función de la universidad, y los mecanismos de coordinación entre universidad, Estado y sociedad. La confianza brindada a las instituciones de educación superior ya no se construye de forma tácita, sino que ahora debe ser explicitada a través de evaluaciones de calidad. Estas auditorías tienen la función, por un lado, de aportar mejor información para la distribución de fondos públicos a las universidades. Pero, por otro lado, también se ocupan de “purificar” el sistema de educación superior con datos precisos para la sociedad sobre qué programas cumplen con estándares mínimos de calidad. Las acreditaciones se convierten concretamente en información que ayuda a la demanda (los profesionales) frente al incremento desmedido de la oferta educativa.

Sin embargo, esta garantía de calidad que –en la mayoría de los países– el Estado aporta a la sociedad y al mercado debe estar respaldada por procesos de medición de la calidad que sean válidos y confiables. Por lo tanto, no solo es necesario realizar una evaluación de la calidad de los programas académicos, sino que también se requiere evaluar la calidad de los procesos de evaluación de la calidad. Solo en esta medida las acreditaciones podrán cumplir el rol principal de garantes de la calidad de los posgrados.

En Argentina, la Comisión Nacional de Evaluación y Acreditación Universitaria (CONEAU) se ha erigido como el organismo acreditador oficial de carreras de grado de interés público[1] y de carreras de posgrado, entre otras funciones. Teniendo en cuenta que esta política promueve la mejora de la calidad en las instituciones de educación superior a través de diferentes mecanismos de evaluación, es importante evaluar estos mismos procesos de evaluación de la calidad. Una evaluación de la propia evaluación garantizará mayor transparencia al sistema. En este sentido, por un lado, la definición conceptual de calidad debería traducirse en indicadores empíricos, asegurando la validez de la medición a través de la consistencia entre el plano teórico y empírico. Pero, por otro lado, los procedimientos utilizados para aplicar dichos indicadores también deben garantizar la confiabilidad del proceso.

Esta investigación se propone analizar posibles amenazas a la validez y confiabilidad de la medición de la calidad en la etapa de autoevaluación que se lleva a cabo en los procesos de acreditación de posgrados realizados por la CONEAU. Para ello se utilizó un diseño cualitativo basado principalmente en el análisis de fuentes documentales. Además, se realizaron algunas entrevistas[2] a actores que participaron en estas evaluaciones de la calidad.

1.1. ¿Por qué evaluar las evaluaciones de calidad?

Si la CONEAU ya se ha consolidado a través de los años como organismo oficial evaluador de la calidad universitaria, ¿por qué es importante evaluar sus procedimientos? Una de las condiciones para que esta consolidación se mantenga y fortalezca es que la construcción y aplicación de los instrumentos utilizados en sus mediciones pasen por una revisión periódica. El uso de instrumentos válidos y confiables proveerá mayor transparencia al proceso y promoverá la instalación de una cultura de la evaluación en las instituciones de educación superior más allá de la exigida por ley a través de la acreditación. En cambio, ante la falta de validez y confiabilidad en los procedimientos, las universidades pueden responder burocratizando el proceso de acreditación que necesitan para ser reconocidas en el mercado educativo. La evaluación se convierte entonces en meras normativas administrativas y la política pública pierde su sentido. En este caso, la evaluación perdería su misión principal: contribuir al mejoramiento de la calidad universitaria.

Una evaluación de las evaluaciones de la calidad pondrá de manifiesto la posible existencia de problemas administrativos, organizativos, contextuales y metodológicos que pueden surgir durante la implementación de una política pública de aseguramiento de la calidad. Esta publicación propone evaluar una etapa del proceso de acreditación de posgrados con el objetivo de iluminar aquellos aspectos del proceso de medición que estén presentando amenazas a la validez y confiabilidad, y que por lo tanto atenten contra los objetivos de la política pública de acreditación. Dado que la acreditación analiza una realidad educativa que es dinámica y con particularidades específicas, la evaluación de los propios sistemas de evaluación se vuelve entonces una exigencia para mantener el reconocimiento social que se ha construido desde su surgimiento.

1.2. Estrategia metodológica

En la presente investigación se realizó un estudio exploratorio sobre las posibles amenazas a la validez y confiabilidad que pueden influir en el proceso de medición. Se trató de un primer acercamiento a la temática de la evaluación de la evaluación, dado que se identificaron los aspectos más importantes que hacen al problema de la medición de la calidad. Por lo tanto, la estrategia metodológica fue lo suficientemente flexible como para permitir el descubrimiento de las principales amenazas a la calidad de la evaluación desde diferentes perspectivas.

Como objetivo general nos propusimos analizar las eventuales amenazas a la validez y confiabilidad de la medición de la calidad en los procesos de acreditación de posgrados realizada por la CONEAU, con foco en la etapa de autoevaluación, en el sistema universitario argentino en la actualidad. En esta línea, se establecieron como objetivos específicos:

  1. Analizar la presencia de amenazas a la validez de los instrumentos de evaluación: Guía de Autoevaluación; presentación de la carrera (PC); presentación institucional (PI); fichas de investigación, de transferencia, de docente, curriculares, de tesis.
  2. Identificar si existen factores que amenazan la confiabilidad de los instrumentos y su aplicación.

La investigación se encuadró dentro de la metodología cualitativa, utilizando como principal técnica de recolección de datos el análisis documental. De manera complementaria se realizaron entrevistas en profundidad a partir de las cuales se indagaron las percepciones de los evaluados sobre la validez y confiabilidad del proceso de acreditación, consultando especialmente sobre las dificultades que han tenido y la forma en que las han sorteado. Dado que el objetivo de las entrevistas se concentró en encontrar amenazas a la validez y confiabilidad de los instrumentos de medición, se seleccionaron actores que se hubieran desempeñado en cargo de coordinación durante algún proceso de acreditación y que hubieran tenido que completar las guías, instructivos y fichas.

Para conocer la validez y confiabilidad de un proceso fue necesario analizar tanto el plano conceptual como el instrumental, dado que la garantía de calidad de una medición depende de esta diversidad de aspectos. Por esta razón, tanto los documentos como las entrevistas fueron analizados inicialmente en estos dos planos.

En el orden conceptual se intentaron responder cuestiones tales como: ¿Existe una definición conceptual y operacional de calidad? ¿Qué lineamientos se proveen sobre los niveles de calidad esperados? ¿Qué lineamientos se difunden para la realización de la autoevaluación? Si no existiera una definición conceptual de la variable a medir, la medición sería inválida porque no habría claridad sobre el fenómeno en cuestión.

En el orden instrumental se tuvieron en cuenta cuestiones referidas al orden técnico: ¿Cómo están ordenados los indicadores de las diferentes dimensiones? ¿Son las preguntas pertinentes? ¿Son las categorías incluidas en los indicadores excluyentes y exhaustivas? ¿Se solicita la misma información en diferentes preguntas? ¿Qué soportes tecnológicos se requiere para cumplimentar el proceso?, y otras referidas al orden psicológico: ¿Los instrumentos producen algún efecto reactivo sobre los participantes? Si estas cuestiones no se hubieran tenido en cuenta, la medición sería inválida y poco confiable.

Al analizar ambos órdenes, hay que considerar asimismo la dimensión epistemológica e indagar si se tuvo en cuenta que los posgrados pertenecen a determinadas disciplinas, por lo tanto: ¿Son los estándares e instrumentos de medición adecuados para todo el universo de unidades de análisis? ¿Los instrumentos fueron construidos teniendo en cuenta esta diversidad? Si así no fuera, la medición sería inválida porque dejaría de captar una parte del universo.

1.3. Estructura de la investigación

La investigación comienza con un capítulo introductorio (capítulo 1) a la problemática de la calidad de los posgrados y al tema de estudio de la presente investigación. El capítulo 2 describe el marco sociopolítico en el cual surgieron las evaluaciones de calidad en el mundo y los diferentes modelos de sistemas de evaluación que se han desarrollado. Se analiza la preocupación de los Estados desde la década del 90 por garantizar la calidad de las diversas propuestas educativas. Comenzó a gestarse desde entonces una nueva relación entre ciudadanía, gobiernos nacionales y las instituciones de educación superior, a partir de la cual se cuestiona a la universidad en sus tareas académicas y función social. Gradualmente surgen los sistemas de aseguramiento de la calidad, encargados de evaluar tanto a las instituciones como a los programas académicos que se ofrecen. Siguiendo las tendencias internacionales, los Estados comienzan a organizar sus sistemas de aseguramiento de la calidad basándose en diversos modelos de evaluación a cargo de agencias públicas (dependientes o autónomas del Estado) y privadas.

Dado que la evaluación de la calidad ha surgido en diversos Estados con problemáticas comunes pero sistemas de educación superior diferentes, este tema se ha investigado desde distintos enfoques. En el capítulo 3 se describen algunos trabajos sobre la temática. El recorrido académico demuestra que son diversos los estudios sobre origen y descripción de los sistemas de evaluación o sobre su impacto, pero faltan estudios que se concentren en analizar la implementación y el proceso de acreditación en sí mismo: la medición de la calidad y la construcción y aplicación de sus instrumentos.

En el capítulo 4 se establecen los objetivos de la investigación, surgidos a partir de esta exploración inicial del estado del arte, y se describen las estrategias metodológicas que se utilizaron para evaluar la validez y confiabilidad de la medición en la etapa de autoevaluación del proceso de acreditación de posgrados.

En el capítulo 5 se plantea conocer la cultura y estructura universitaria, como así también sus mecanismos de funcionamiento, a modo de paso preliminar para evaluar el éxito de las políticas públicas aplicadas a las instituciones de educación superior y, específicamente en esta producción, como paso previo para evaluar la validez y confiabilidad de los instrumentos de medición que utiliza esta política de evaluación. La universidad es definida como una institución compleja en donde conviven diversas culturas organizacionales, principalmente la disciplinaria y la del establecimiento (Clark, 1983; García de Fanelli, 2005). Esta complejidad propia de la universidad como institución debe ser el primer aspecto a tener en cuenta a la hora de planificar e implementar políticas públicas. Particularmente, respecto a las políticas de evaluación de la calidad académica, es importante que los instrumentos de medición consideren a la universidad como un todo, teniendo en cuenta la diversidad de actores y formas de funcionamiento.

Una vez conocido el objeto al que se dirigirá la política pública, en este caso la universidad, la investigación continúa con el capítulo 6, dedicado a la reconstrucción histórica de la política pública de acreditación en Argentina. Se presenta asimismo en este capítulo la naturaleza institucional de la CONEAU y una descripción del proceso de acreditación de posgrados, para luego poder concentrarnos en un análisis de la validez y confiabilidad (condiciones de la calidad de la evaluación) en la etapa de autoevaluación.

En el capítulo 7 se desarrollarán los temas de evaluación y medición. Toda evaluación implica en principio el análisis de una acción respecto a objetivos previamente definidos. Por lo tanto, la evaluación es en sí misma una medición, dado que asigna un juicio de valor dentro de una escala a determinado fenómeno. Las tareas de toda medición incluyen la decisión de la variable a medir, sus dimensiones y su operacionalización a través de indicadores y estándares que sean públicamente conocidos y aceptados por aquellos participantes de la evaluación y la construcción e implementación del instrumento de medición. Todo este proceso debe asegurar su propia validez y confiabilidad para poder cumplir el objetivo de garante de la calidad académica. La validez nos brinda información acerca de si se está midiendo aquello que se desea y la confiabilidad brinda información sobre la precisión de las medidas.

Dado que la validez depende directamente de la claridad de la definición del concepto a medir, es necesario indagar sobre este concepto en general, y luego cómo lo implementa el propio organismo. Todo acto de medición implica la traducción de un concepto teórico en uno empírico. En el capítulo 8 se presenta un recorrido sobre la conceptualización de “calidad” en el ámbito de la educación superior, desarrollando los diversos enfoques que puede adquirir el término. Sobre esta base teórica se indaga entonces sobre el concepto específico de calidad que se toma en cuenta en la acreditación de posgrado, cuyas principales nociones se encuentran establecidas en la Resolución del Ministerio de Educación de la Nación N.º 160 de 2011 (en adelante, RM 160/11), normativa que presenta los lineamientos de calidad esperados.

En el capítulo 9 se presenta el análisis de la validez y confiabilidad del proceso de medición desde un doble enfoque: conceptual e instrumental, con el objetivo de identificar amenazas que puedan estar restando precisión al acto público otorgado por la acreditación de la CONEAU y afectando la misión con la cual nacieron los sistemas de aseguramiento de la calidad: proveer garantía de la calidad del sistema de educación superior.

Finalmente, en el capítulo 10 se presentan la discusión y conclusiones de la investigación. Primero, una vez que las eventuales amenazas a la validez y confiabilidad han sido individualmente identificadas, se propone analizar cómo afectan al proceso de implementación en su integralidad. Por último, se exponen las conclusiones derivadas del análisis y posibles líneas de investigación abiertas para futuros estudios.


  1. De acuerdo al artículo 43 de la Ley de Educación Nacional N.° 24.521, las “carreras de grado de interés público” son aquellas cuyos títulos están regulados por el Estado dado que su ejercicio compromete el interés público poniendo en riesgo la salud, la seguridad, los derechos, los bienes o la formación de los habitantes.
  2. Descripción de entrevistados: Entrevistado N.° 1: director ejecutivo de un programa de especialización en el área de ciencias sociales de una universidad de gestión privada. Además, participó de la acreditación de un programa de maestría. Entrevistado N.° 2: responsable de acreditación de un programa de especialización y maestría en el área de ciencias de la salud en una universidad de gestión privada. Entrevistado N.° 3: director de un programa de maestría en el área de humanidades de una universidad de gestión privada. Entrevistado N.° 4: coordinador del área de evaluación institucional y acreditación de una universidad de gestión privada. Entrevistado N.° 5: secretario académico del área de posgrado de una universidad de gestión pública. Entrevistado N.° 6: coordinador académico de un programa de maestría en el área de ciencias sociales de una universidad de gestión privada.


Deja un comentario