Otras publicaciones:

9789877230758-frontcover

tapa_estrada_final

Otras publicaciones:

9789877230581-tapa

isaacson

9 Discusión y conclusiones

9.1. La implementación de una acreditación con amenazas de fallas en la medición

La implementación de una política pública es un proceso constante de negociación entre los diversos actores involucrados. Esta negociación no se terminó con la toma de decisión sobre una de las alternativas propuestas, sino que se continúa luego en los debates sobre cómo implementar dicha decisión en el campo de juego. En el caso de la acreditación de posgrados, la Ley de Educación Superior N.º 24.521 se encargó de proveer en principio las condiciones iniciales para la implementación de las evaluaciones de calidad, dado que sancionó la obligatoriedad de acreditar carreras de posgrado y creó un organismo oficial responsable de dicha tarea. No obstante, luego de estas condiciones iniciales, es necesario continuar trabajando por mantener el compromiso de todos los actores con la política pública. Por lo tanto, la etapa de implementación de la política pública se complejiza al tener dos misiones principales: concretar la decisión y velar por el convencimiento de los involucrados que la decisión está cumpliendo con su objetivo original. La implementación de la política de acreditación entonces debería efectivamente dar fe pública de la calidad de los posgrados mediante la evaluación que realiza la CONEAU, pero también debe trabajar para que los actores reconozcan en el resultado favorable o desfavorable de la acreditación una garantía de calidad académica. Son diversos los factores que pueden influenciar en estas dos tareas, uno de los principales, la cantidad de actores intervinientes. Cuanto mayor sea la multiplicidad de jugadores en el tablero, mayores serán las eventuales amenazas a la validez y confiabilidad de la medición (muchas de las cuales ya fueron identificadas en el capítulo 9) en las distintas etapas del proceso de implementación.

Un tablero con múltiples jugadores

La implementación de una política pública se vuelve más difícil cuanto mayor es la cantidad de actores que tienen algún rol en ella, dado que aumenta la cantidad de jugadores en la negociación. Esta dificultad deriva de la cantidad de decisiones que son necesarias para cada acción de implementación, pues en ellas se requiere de la cooperación de todos los participantes. Es decir, por más que la decisión de implementar la acreditación puede ser una decisión unilateral tomada por el ápice estratégico de una institución de educación superior para cumplir con la obligatoriedad de evaluación que demanda el Ministerio de Educación, para que la acreditación no pierda su real sentido durante la implementación hay que contar con el apoyo de todos los que participan en el juego. Si no hay decisiones tomadas de forma conjunta implícita o explícitamente, la implementación queda amenazada de interrupción o desvío de los objetivos iniciales.

En relación a la política de acreditación de posgrados, es importante destacar que existe una multiplicidad de actores que tienen intereses en la cuestión y que, por lo tanto, influyen en la implementación de esta evaluación. Por un lado, por parte del Estado, juega un papel importante el Ministerio de Educación de la Nación dado que a través de su capacidad resolutiva es en última instancia el encargado de establecer los criterios y estándares de acreditación. Además, los técnicos y miembros de CONEAU son los principales responsables de llevar adelante las evaluaciones. Por otro lado, también tenemos a las instituciones de Educación Superior, agrupadas en organizaciones como el CRUP o el CIN, o actuando individualmente. Y, por último, están cada uno de los sujetos que conviven dentro de una universidad: alumnos, docentes e investigadores, gerentes, personal administrativo… Por lo tanto, la implementación de la política de acreditación deberá considerar esta diversidad, lo cual complejiza la cooperación requerida para el éxito de la política.

Incluso, dentro de la propia universidad, las exigencias de la CONEAU respecto a los procesos de evaluación institucional y acreditación de carreras también requieren de fuerzas unificadoras, dado que se necesita para dichas instancias la participación y colaboración activa de los diferentes sectores de la estructura universitaria, cada uno con su propia cultura profesional que va más allá de la pertenencia institucional. En este sentido, los procesos de evaluación demandan del trabajo conjunto de los dos tipos de mecanismos que tiene la universidad para realizar sus tareas generales: mecanismos administrativos de gestión y mecanismos académicos de producción y transmisión del conocimiento. Ahora bien, dado que los procesos de evaluación analizan a la universidad o la carrera como un todo, es necesario tener una visión amplia de la unidad o del programa que involucre a todas las partes de la estructura, ya que el trabajo requiere tanto de habilidades administrativas como académicas.

Considerando esta multiplicidad de actores que participan durante la etapa de autoevaluación de la acreditación, aumentan las posibilidades de que se generen vicios en este proceso si no se subsanan eventuales amenazas a la validez y confiabilidad de la medición en sus tres órdenes:

  1. En el orden conceptual: si no existe una concepción expresa de calidad y sus estándares son poco claros, pueden surgir tantas interpretaciones como actores en el escenario. Además, desde la dimensión epistemológica, estos actores que participan de la acreditación definen su identidad de acuerdo a la institución a la que pertenecen y a la disciplina en la que se desempeñan. A medida que aumenta la tendencia a la mayor especialización del saber, mayores son las diferencias que surgen entre carreras de disciplinas y subdisciplinas diferentes, por lo que mayor es la cantidad de actores.
  2. En el orden instrumental: si los instrumentos no están construidos respetando las buenas prácticas de una medición de calidad, las posibilidades de mala interpretación, dudas y error respecto a la aplicación de los instrumentos se multiplicarán cuantos más actores participen.

Por lo tanto, las amenazas a la validez y confiabilidad detectadas en el capítulo precedente pueden aumentar si se considera la gran cantidad de jugadores que participan de los procesos de acreditación. ¿Puede este factor llevar al fracaso de la política pública de acreditación?

¿Por qué puede fracasar la implementación de la acreditación?

Son múltiples los factores que pueden incidir en la implementación de una política pública, conduciéndola al fracaso. El fracaso de un programa por una u otra explicación concluye en diferentes efectos negativos que erosionan el poder inicial que tenía la política para solucionar una cuestión problematizada (Tamayo Saez, 1997). De hecho, puede haber vicios en cada una de las etapas anteriores que corrompan el proceso desde su inicio. Por ejemplo, puede haber errores en la problematización de la situación que lleve a la necesidad de una política pública, puede haber errores en la formulación de la misión y principales objetivos de la misma, o incluso en algunos aspectos de la propuesta seleccionada. En este caso concreto, la política pública no presenta vicios de origen, dado que el estado de situación que llevó a la necesidad de instalar las evaluaciones de la calidad son un escenario descripto, comprobado y públicamente aceptado a nivel nacional e internacional: el aumento desmedido de la cantidad y diversificación de la oferta de posgrados. Tampoco hay vicios en los propósitos derivados de esta situación, ya que la necesidad de crear y consolidar un organismo oficial cuya función sea garantizar la calidad de los posgrados ha sido finalmente aceptada por todos los participantes (incluso por las propias universidades, quienes en un principio veían en esta decisión una amenaza a su autonomía histórica). Por lo tanto, las condiciones iniciales para la implementación de la política pública estaban dadas.

No obstante, el proceso puede viciarse durante la propia etapa de implementación cuando los procedimientos o instrumentos utilizados no dan lugar a una medición válida o confiable en su totalidad. En este sentido, la implementación de la política pública de acreditación se ve viciada por amenazas en el orden conceptual e instrumental. Debido a estas amenazas identificadas en la medición de la calidad, se pueden perder las energías de los participantes debido a sentimientos de incertidumbre, pues pueden provocar inseguridad sobre la precisión de la garantía de calidad que ofrece la CONEAU. Y esta pérdida de confianza tendrá efectos directos sobre el objetivo de la política pública: la ley se cumple formalmente pero no alcanza la misión de garantizar la calidad.

Políticas top-down y bottom-up

Frente a las amenazas a la validez y confiabilidad identificadas en el proceso de medición de la calidad, ¿cómo se podría consolidar la acreditación y así cumplir su objetivo de garante de la calidad?

El proceso de acreditación está pensado en esencia a partir de métodos que combinan diversas fuentes y evaluadores, triangulando la información. Se incluye en principio un primer intento de triangulación a partir de la realización de una autoevaluación y otra evaluación externa. De esta manera, la primera se alimenta de datos que pueden ser comprobados en la segunda y permite que los propios evaluados participen como sujetos activos en la auditoría. Nicoletti (2013) define a la autoevaluación como un informe escrito que da cuenta del funcionamiento, procesos, recursos y resultados del objeto de evaluación. Para poder realizar una verdadera autoevaluación entonces se necesita no solo la voluntad manifiesta de las máximas autoridades de la institución, sino también la participación activa de todos sus integrantes (directivos, alumnos, docentes, administrativos, graduados). Por lo tanto, la autoevaluación es en sí misma una forma de triangulación que se utiliza para “contrastar desde diferentes perspectivas, para apreciar acuerdos y desacuerdos y elementos que permitan decidir sobre la credibilidad de la información, permitiendo eliminar el sesgo que puede suponer la utilización de una única fuente de información” (Nicoletti 2013: 190). Este proceso de triangulación le provee mayor confiabilidad a la acreditación. No obstante, el proceso de medición ya se ha visto originalmente contaminado por la falta de conceptualización de la variable central a medir. Por lo tanto, por más que exista triangulación de fuentes y de evaluadores, los conceptos originales de estos sujetos serán diferentes según la interpretación que hagan de los lineamientos que tienen sobre el concepto calidad. En síntesis, primero y ante todo es necesario saber qué se entiende por este concepto para asegurar la calidad del resto del proceso.

Además, el sistema de evaluación de la calidad en educación superior se afianzará también a medida que permita a los diferentes sujetos con intereses participar del diseño e implementación de los instrumentos de medición. Esto implicaría comenzar a introducir mayores instancias bottom-up, sin descartar que ciertas acciones tienen por sí mismas una naturaleza top-down. Es decir, la obligación que tienen todos los programas de posgrados de presentarse a los procesos de acreditación, de cuya aprobación depende su funcionamiento, es una decisión top-down exigida por el Estado para desarrollar en las instituciones progresivamente una cultura de la evaluación. No obstante, esta cultura de la evaluación solo se consolidará si los actores con intereses participan de la política pública: los diferentes sectores académicos y administrativos de las instituciones de educación superior, las organizaciones que agrupan universidades, los consejos profesionales, entre otros. Asimismo, habría que incluir a especialistas en metodología para aportar sus conocimientos en la definición de la variable (no desde el punto de vista conceptual, sino metodológico) y en la construcción y aplicación de los instrumentos de medición.

Si no se trabaja en la acreditación evaluando el mismo proceso de implementación de la medición de la calidad, los procesos de acreditación se seguirán llevando a cabo (ya que se trata de una exigencia legal) pero sus procedimientos pueden burocratizarse, olvidando el objetivo inicial de trabajar por la mejora continua de la oferta académica.

9.2. Conclusiones

Toda intervención sobre escenarios en los que juegan diversos actores requiere de una constante revisión sobre los instrumentos utilizados para solucionar los problemas. Trabajar con actores sociales, como es el caso de la educación, implica trabajar sobre escenarios dinámicos, dado que los sujetos y las organizaciones que estos conforman cambian en forma constante. Los procesos de medición aplicados sobre estos contextos necesitan entonces de una continua evaluación para asegurar la validez y confiabilidad de los procedimientos y de los datos elaborados. En última instancia, cualquier decisión que se tome sobre la base de información mal producida pierde legitimidad.

Conclusiones sobre los objetivos específicos

En esta investigación se propuso indagar sobre las eventuales amenazas a la validez y confiabilidad de la medición de la calidad en la etapa de autoevaluación de los procesos de acreditación de posgrados que realiza la CONEAU. Siguiendo este objetivo general, y a partir de un análisis documental y de entrevistas a algunos evaluados, se llegó a la conclusión de que existen factores conceptuales e instrumentales que atentan contra la validez y fiabilidad de esta medición.

Las conclusiones de esta investigación se pueden resumir respondiendo a los objetivos específicos propuestos al inicio de la investigación:

1) Análisis de eventuales amenazas a la validez de los instrumentos de evaluación

La inexistencia de una definición explícita de calidad académica es la primera y principal amenaza a la validez del proceso de medición, dado que no se dispone de una conceptualización a partir de la cual determinar las acciones para medirla.

La CONEAU es solo un organismo ejecutor, no es el responsable en definir qué se entiende por calidad académica. Es el Estado a través del Ministerio de Educación en consulta con el Consejo de Universidades quien se encargó de determinar los parámetros de calidad en la RM 1168/97, actualizada por la RM 160/11. Por lo tanto, este texto legal se convierte en una guía imprescindible para la propia CONEAU (son los lineamientos con los que cuenta para diseñar los instrumentos de evaluación), para los evaluados (a partir de ella entienden qué estándares mínimos deben alcanzarse), y para los evaluadores (técnicos y pares, a quienes esta resolución provee información sobre los criterios a tener en cuenta para juzgar las presentaciones). Sin embargo, es un documento que presenta los aspectos de la variable calidad, como así también algunos parámetros, pero no se encuentra fundamentado en una definición conceptual ni organizado propiamente como una definición operacional. Lo dicho constituye una amenaza a la validez del constructo, ya que pueden surgir problemas de consistencia entre el instrumento empleado y el referente. Solo a partir de una definición conceptual explícita se pueden diseñar instrumentos apropiados a los escenarios bajo análisis, permitiendo a todos los actores involucrados interpretar la realidad con los mismos criterios.

Pero, además de estar claramente explicitado, este referente de la variable calidad debe captar todas las propiedades del objeto de estudio. El referente implícito de calidad académica debe considerar entonces la disciplina y la profesión, las diferencias surgidas dentro de las universidades entre el mundo académico y el administrativo, y la influencia de actores que se encuentran fuera de la órbita de la universidad pero tienen intereses en ella. En este sentido, tanto la definición conceptual como la implementación de los instrumentos de medición de la calidad de los posgrados deben adaptarse a las cualidades de la institución universitaria y al contexto específico que enmarca a cada institución (es decir, tendencias nacionales e internacionales). De lo contrario, si los instrumentos de medición no estuvieran cubriendo toda la amplitud del referente, hay probabilidad de que surjan amenazas a la validez de contenido.

En esta línea, Krotsch introduce como un aspecto fundamental que los “métodos de evaluación deben poder iluminar a la institución en sus aspectos oscuros, organizacionalmente difíciles de reconocer” (2002: 174). Para esto, la evaluación debe investigar tanto a las propiedades formales como informales, visibles e invisibles, de la institución: “En los sistemas educativos y en particular en la universidad, como institución especialmente opaca a la mirada externa, es preciso partir de una concepción del objeto que privilegie los aspectos no manifiestos vinculados a ese motor institucional que es el conflicto, aquellos aspectos de los que justamente el organigrama y los documentos no dan cuenta, pues estos aspectos –a diferencia de lo que sucede en la empresa– son los que predominan en instituciones de este tipo” (Krotsch, 2002: 175).

La CONEAU ha diseñado los mismos instrumentos de medición para todos los posgrados e instituciones por igual. En este sentido, por más que la RM 160/11 especifica que los estándares se aplicarán de forma diferenciada según ciertos factores, esta diversificación no se traduce en los instrumentos. Consecuentemente, no hay instrumentos o lineamientos diferentes según disciplina o antigüedad del programa de posgrado (si se trata de una carrera nueva o en funcionamiento). Por lo tanto, por más que el referente que se toma de calidad afirma que hay diferencias regionales, institucionales, disciplinares y profesionales, estas mismas no se toman en consideración al momento de operacionalizar la variable.

2) Identificación de factores que amenazan la confiabilidad
de los instrumentos y su aplicación

El primer factor que amenaza la posibilidad de que diversos evaluadores lleguen a conclusiones similares se encuentra en que, dado que no hay una definición explícita de calidad, cada sujeto realiza su propia interpretación de esta variable.

En el orden técnico, se encuentran amenazas a la confiabilidad en la gran cantidad de preguntas que contienen las fichas, instructivos y Guía de Autoevaluación, muchas de las cuales hacen que el instrumento sea repetitivo; en la vaguedad de las preguntas realizadas, en las cuales no queda claro qué tipo de información se está solicitando; en la falta de un orden lógico en algunas secciones del cuestionario; en la redacción confusa de las preguntas; en la existencia de preguntas abiertas con poco espacio para ser respondidas; en la existencia de preguntas cerradas con ítems que no son excluyentes ni exhaustivos; en la irrelevancia de alguna información solicitada. Anteriormente también surgían amenazas ante la dificultad de utilizar el Servidor Unificado de CONEAU y los problemas tecnológicos propios del programa; y ante los cambios en los instrumentos de medición, durante el período mismo en que las instituciones los están respondiendo. Asimismo, hay cambios en los respondientes producidos por las fallas en los acontecimientos ambientales, como aquellas surgidas por los cambios en la situación personal de los evaluados, explicadas por la falta de dinamismo y claridad de los procesos de acreditación, entre otros.

En el orden psicológico encontramos aquellos efectos producidos por la redundancia o la dificultad para la comprensión del léxico, que produce que los respondientes no reconozcan la seriedad y dedicación que el proceso requiere. Estos aspectos afectan la confiabilidad del proceso. Ya sea debido a las fallas en la precisión del instrumento o a los efectos reactivos que la aplicación de estos tiene sobre los participantes, un dato mal construido redunda en conclusiones diferentes respecto a la calidad de los posgrados.

9.3. La importancia de evaluar la calidad de las evaluaciones de calidad

La principal idea que ha sostenido esta investigación se resume en la importancia de evaluar la implementación de las políticas públicas, dado que el dinamismo de escenarios con diversos intereses en juego rápidamente puede viciar o desactualizar las herramientas o desviarlas de su objetivo inicial.

En un principio surgieron las acreditaciones como una forma de asegurar la calidad en el marco del incremento desmedido de programas de posgrados. En los años recorridos desde la creación de la CONEAU, el organismo se ha consolidado en su función de ente acreditador y todas las instituciones de educación superior han acatado la obligatoriedad de evaluación establecida por ley. Actualmente el nuevo desafío para la consolidación de este sistema reside en asegurar la calidad de sus procesos de medición. Es decir, habiendo consolidado los principios que fundamentan la ley, hay que trabajar por el cumplimiento real, y no solo formal, de los objetivos de acreditación. Y estos procedimientos ganarán mayor calidad a medida que permitan a los diferentes actores del sistema universitario, cada uno con diferentes especialidades e intereses, participar en su diseño e implementación.

En conclusión, los hallazgos de esta investigación se convierten en información que puede alimentar el proceso de acreditación para mejorar su implementación y consolidar la cultura de la evaluación tanto en la CONEAU como en las instituciones de educación superior. La disponibilidad de datos bien producidos es un material imprescindible para la toma de decisiones, por lo tanto, es esencial que los procesos de medición de la calidad sean evaluados y gocen de la validez y confiabilidad necesarias para otorgar legitimidad a la política pública en cuestión.

9.4. Futuras líneas de investigación

A partir de los hallazgos sobre amenazas a la validez y confiabilidad en la medición de la acreditación de posgrados, quedan abiertas futuras líneas de investigación que se enfoquen en el mejoramiento de todo el proceso, atendiendo tanto a las necesidades conceptuales y epistemológicas, como las metodológicas. Para ello es necesario trabajar sobre la base de consensos de todos los participantes del proceso, tanto evaluados (las instituciones de educación superior) como evaluadores (la CONEAU), y con el soporte de especialistas en medición y en las diferentes disciplinas.

Trabajar por el mejoramiento de los procesos de medición en el ámbito nacional permitirá abrir la acreditación a futuros desafíos de la educación en un mundo en el cual aumenta progresivamente la movilización de estudiantes y profesionales entre los países: ¿cómo garantizamos la calidad de las carreras a nivel internacional? Se requerirá aquí sumar un elemento más de influencia a la hora de definir la variable y construir y aplicar los instrumentos de medición: las diferencias entre los países.

En conclusión, la instalación de una cultura de la evaluación es una puerta ya abierta, pero con un largo camino aún por recorrer para su consolidación.



Deja un comentario