Otras publicaciones:

9789871867738_frontcover

9789871867509-frontcover

Otras publicaciones:

9789871867721_frontcover

9789877230031_frontcover

3 Los sistemas de aseguramiento de la calidad en la literatura académica

Los procesos de aseguramiento de la calidad en educación han sido un tema muy debatido en la literatura académica desde diversos enfoques, como las ciencias políticas, ciencias de la educación o metodología de la investigación. Se han buscado estudios sobre evaluación de la calidad a nivel nacional e internacional, principalmente empíricos, que puedan aportar antecedentes para esta investigación sobre validez y confiabilidad de dichos procesos. En este capítulo no se pretende presentar exhaustivamente todos los antecedentes bibliográficos, sino sólo aquellos que han aportado antecedentes y han ayudado a construir un estado de situación bibliográfico sobre la temática. Como producto de esta búsqueda, se puede concluir que la mayoría de los estudios se concentran en investigaciones sobre descripciones históricas acerca del surgimiento de los procesos de evaluación y acreditación, otros se enfocan en el impacto que éstos han tenido sobre diferentes procesos y sujetos involucrados, y unos pocos estudios reflexionan metodológicamente sobre la medición de la calidad.

3.1. Las investigaciones descriptivas acerca del surgimiento y consolidación de procesos de acreditación

Muchas de las investigaciones realizadas en el contexto latinoamericano son de carácter más descriptivo que explicativo. En general se proponen analizar la evolución de los diferentes sistemas de evaluación de la calidad en cada Estado, exponiendo diferentes proyectos e iniciativas que llevaron a la creación y consolidación de la CONEAU y su integración con otros sistemas de aseguramiento de la calidad. Tal es el caso de estudios como: “Sistemas de acreditación y evaluación de la educación superior en América Latina y el Caribe” de Pires y Lamaitre (2008), “Semejanzas y diferencias en las políticas de educación superior en América Latina: cambios recientes en Argentina, Brasil, Chile y México” de Alcántara y Silva (2006), “Calidad, evaluación institucional, acreditación y sistemas nacionales de acreditación” de Tunnermann Bernheim (2003), “Evaluación de la educación. Procesos de evaluación y acreditación de la calidad de la educación superior en América Latina. Los casos de Argentina, Brasil, Uruguay y Paraguay y la convergencia en el ámbito del Mercador” de Barreyro y Lagoria (2010), “Evaluación y acreditación en América Latina” de Villanueva (2008), “Modelos y sistemas de evaluación y acreditación de la educación superior. Situación y perspectivas para el mejoramiento de la calidad y la integración regional” de Fernandez Lamarra (2008), entre otros. Las discusiones a las que arriban se dirigen más hacia la exposición de problemáticas, como la falta de consenso en la definición de calidad o los inconvenientes derivados de la falta de participación en las universidades en la planificación de dichos procesos. Estas investigaciones dan cuenta del largo proceso que implica la instalación de una cultura de la evaluación a nivel nacional, regional e internacional.

3.2. Las investigaciones sobre el impacto de procesos de acreditación

La literatura académica estadounidense, australiana y europea se ha concentrado especialmente en estudiar los sistemas de evaluación y acreditación universitaria a partir de estudios de casos y estudios comparados en relación al impacto que produjeron estas exigencias en las instituciones de educación superior. Se estudia especialmente el impacto sobre la relación entre Estado y universidad, el impacto interno sobre la institución universitaria, y el impacto sobre los resultados obtenidos en diferentes disciplinas. A continuación, se mencionan algunos textos sobre esta temática:

Impacto sobre la relación entre Estado y universidades

Algunos autores analizan el rol del uso de determinados indicadores para diferentes funciones y su impacto en la relación entre universidades y gobierno. Por ejemplo, Sizer, Spee y Bormans (1992) realizan en “The Role of Performance Indicators in Higher Education” un estudio comparativo sobre el desarrollo y uso de indicadores de performance en Dinamarca, Holanda, Noruega, Suecia y el Reino Unido. Los autores afirman que el rol de estos indicadores dependerá de la cultura política, el sistema de financiamiento y los procedimientos para aseguramiento de la calidad. En este sentido, se expone la idea de que para reducir la desconfianza en el uso de indicadores de performance no alcanza solamente con garantizar la validez y confiabilidad de estos, sino que además hay que atender a la selección de indicadores que se realizó. Los indicadores de performance cumplen diferentes funciones como monitoreo, evaluación, diálogo, racionalización y distribución de recursos. Ahora bien, algunas de las lecciones que los autores sugieren para mejorar la cooperación entre Estado e instituciones en relación a la confianza en el uso de este tipo de indicadores son los siguientes: que el gobierno se tome su tiempo para especificar y comunicar claramente sus objetivos y políticas antes de debatir sobre el desarrollo y uso de los indicadores de performance, y que se invierta tiempo y recursos en un trabajo conjunto entre el Estado y las instituciones de educación superior para definir la naturaleza, objetivos y limitaciones de estos indicadores

Vidovich (2002) investiga en “Quality assurance in Australian higher education: Globalisation and steering at a distance” específicamente el caso australiano en el contexto de la globalización. El argumento más importante del estudio es que la política de aseguramiento de la calidad en la educación superior australiana se ha convertido en un mecanismo efectivo para promover la rendición de cuentas de las instituciones hacia el gobierno. En este contexto, las autoridades centrales aumentan el control sobre los resultados, pero no evalúan los procesos o medios para alcanzarlos.

Impacto sobre la universidad como institución

Un trabajo que vale la pena mencionar es el de Dill (1999), “Academic Accountability and University Adaptation: The architecture of an Academic Learning Organization”. Se investiga los cambios producidos en las universidades al estar sujetas a determinados procesos de rendición de cuentas. Las mismas deben aprender entonces a generar conocimiento sobre la mejora de los procesos de enseñanza-aprendizaje y, si es necesario, cambiar su comportamiento para demostrar esta nueva habilidad requerida. Es decir, se deben convertir en “organizaciones de aprendizaje académico” (academic learning organizations) que les permitan sobrellevar la presión externa impuesta por los procesos de evaluación. Las características identificadas de estas “organizaciones de aprendizaje académico” son la cultura de la evidencia, mejor coordinación de las unidades de enseñanza, aprendizaje a partir de experiencias similares, coordinación del “aprendizaje” a todo el espectro de la institución universitaria y transferencia de conocimiento. Las universidades, por lo tanto, han tenido respuestas adaptativas a los sistemas de rendición de cuenta que impactaron sobre su estructura organizacional, lo que incluye reestructuración interna, mejoras en la calidad académica, promoción de investigaciones interdisciplinarias y desarrollo de habilidades gerenciales.

Impacto sobre las diferentes disciplinas

Kekale (2000) afirma en “Quality Assessment in Diverse Disciplinary Settings” que las diferencias disciplinarias deberán ser tomadas en cuenta para la planificación de evaluaciones de la calidad. Esto se explica porque las disciplinas se diferencian en diversos aspectos, tales como formas de investigación, propósitos y objetivos, valores sociales, perspectivas, patrones de comportamiento, o expectativas, entre otros. El estudio concluyó que en las ciencias blandas (como historia y sociología) es mucho más lento e incierto asegurar la calidad que en las ciencias duras (como física). El riesgo entonces es que se usen los mismos criterios para asegurar la calidad tanto en unas como en otras. A pesar que hay una creciente aceptación en las exigencias de accountability a las instituciones de educación superior, el gran desafío es convertir estos procesos en menos demandantes en términos de tiempo y recursos, por lo que es necesario mantener una pluralidad y tolerancia básicas en el juicio de las evaluaciones.

Ghedin y Aquario (2006) realizan un estudio similar al analizar las evaluaciones de la enseñanza en cuatro facultades de Italia: Humanidades, Psicología, Ciencias de la Educación y Matemática y Ciencias Naturales. En la investigación se sostuvo que las diferencias entre las facultades requieren de indicadores con dimensiones diferentes. Por ello es importante desarrollar modelos participativos que involucren tanto a docentes como a estudiantes en la formulación de los instrumentos de evaluación. De hecho, no existe una definición absoluta de buena enseñanza, sino que depende de concepciones particulares. En este sentido, los enfoques top-down y bottom-up son necesarios para asegurar la confiabilidad del modelo de evaluación y, por ello, que todos los actores estén directamente involucrados en la planificación de la evaluación. De hecho, los autores concluyen que una evaluación debería tomar en consideración aspectos independientes del contexto (transversales a las disciplinas) y aspectos dependientes del contexto (específicos de cada facultad).

Por último, otro de los estudios que resaltan las diferencias entre disciplinas es el de Moses (1990). La autora se sitúa en el contexto del sistema de educación superior australiano, en el cual las universidades deben presentar sus “perfiles educativos” (eductional profiles) describiendo sus fortalezas en enseñanza e investigación a través de indicadores de performance (número de publicaciones, número de becas en investigación, número de graduados en doctorado, etc.). A partir de estos perfiles el gobierno federal distribuye recursos entre las universidades. El trabajo se enfoca en estudiar las diferencias que pueden surgir en cuatro disciplinas (química, ingeniería, lengua y literatura y humanidades) y cómo impactará en los resultados de estos indicadores. La conclusión que se expone es que no se pueden utilizar los mismos indicadores para medir disciplinas diferentes, dado que el desarrollo de cada una se da en climas de enseñanza e investigación con cualidades distintas.

En el ámbito regional latinoamericano, y especialmente en Argentina, hay también múltiples estudios sobre el impacto que han generado los procesos de acreditación. De hecho, la propia CONEAU ha llevado a cabo investigaciones que se proponen reflexionar sobre los resultados derivados de sus funciones y perspectivas futuras de trabajo: “La educación transnacional” de Ana M. García de Fanelli (1999), “Procesos de acreditación en las carreras de Ingeniería: ¿Mejoramiento en la calidad o adaptación a las normativas?” de Emilce Moler (2006), “La evaluación por pares en el escenario actual de aseguramiento de la calidad de la educación superior. Un estudio comparativo de seis casos nacionales” de Mónica Marquina (2006), “El proceso de acreditación de carreras de grado de Ingeniería Agronómica y su impacto en la mejora de la calidad educativa” de Carmen Viale y María Eugenia Martínez (2011).

Otros autores que también han investigado el impacto de los procesos de acreditación sobre las universidades son Krotch, Camou y Pati (2007), quienes coordinaron las investigaciones que se incluyen en la obra Evaluando la evaluación: políticas universitarias, instituciones y actores en Argentina y América Latina. Los trabajos compilados se orientan al análisis de la relación entre las políticas públicas de evaluación de la calidad y la respuesta de los actores involucrados respecto a la dinámica institucional de la universidad y las estrategias utilizadas por los evaluados (específicamente por autoridades y docentes-investigadores). Se afirma que el impacto no es homogéneo dado que se encontraron diferentes tipos de reacciones. Los actores han respondido formal o informalmente basándose en tres estrategias que van de la cooperación al conflicto: adopción, adaptación y resistencia. Pero la respuesta desde la institución no se resume en la suma de las respuestas individuales, sino que se concluye que han surgido procesos y prácticas que son autónomos y que se han internalizado en el diseño de la institución.

Corengia (2010) lleva a cabo un trabajo en el cual se pregunta cuál ha sido el impacto de la política y los procesos de evaluación institucional y de acreditación de carreras de grado y posgrado en las funciones de docencia, investigación, extensión y gestión en las universidades argentinas y en los actores institucionales. La autora concluye que, en el caso de posgrados, el impacto sobre las funciones es menor que en el grado, dado que se aplican estrategias adaptativas para responder a las evaluaciones de los pares académicos. En el caso del impacto sobre los actores, Corengia propone tres categorías diferentes de percepciones: adopción plena, adopción pragmática y resistencia pasiva.

Uno de los estudios más recientes sobre la temática lo llevó a cabo Marquina (2012), en el cual estudia el funcionamiento del sistema de acreditación desde sus orígenes hasta la actualidad buscando los sentidos de esta política pública y los problemas que ha tenido que atravesar desde la mirada de diversos actores participantes en las acreditaciones de grado y posgrado. Para ello analiza tres tipos de tensiones que se dan en el sistema: las tensiones internas de la CONEAU como producto del accionar de técnicos y miembros, las tensiones en el ámbito académico como producto del accionar de los pares evaluadores y las tensiones en las universidades o unidades académicas como producto de su propio accionar para responder a las exigencias de esta evaluación.

Por último, recientemente se publicó la obra Evaluación y acreditación universitaria. Actores y políticas en perspectiva (San Martín ed., 2014), que incluye siete trabajos que analizan el impacto de la acreditación sobre diversos procesos, sujetos e instituciones, como así también los futuros escenarios que habrá que enfrentar en el área de acreditación. En este libro Marquis analiza el impacto de los procesos de evaluación a través de los informes de pares evaluadores en cuatro universidades que debieron repetir su evaluación externa. Otros autores se enfocan en el impacto sobre los actores, como Marquina, quien indaga las percepciones de miembros y técnicos de la CONEAU, los pares evaluadores y las autoridades de las carreras acreditadas. En esta misma línea, Corengia se concentra en las percepciones que tienen directivos de universidades públicas y privadas respecto al funcionamiento de la CONEAU y el impacto sobre las instituciones, y Trotta y Atairo, desde otra perspectiva, se enfocan en la mirada de los estudiantes universitarios, quienes adoptan una determina posición sobre las políticas universitarias implementadas. Por otro lado, Pugliese dirige su mirada hacia las distintas iniciativas surgidas ante los resultados de las acreditaciones para solventar los planes de mejora. La obra también incluye la presentación del Programa de Evaluación Institucional de los Organismos de Ciencia y Técnica, iniciativa independiente de la acreditación, pero que complementa la evaluación institucional que realiza la CONEAU. Finalmente, Unzué analiza desde un plano más teórico los conceptos de pertinencia y calidad y su vinculación.

Las obras latinoamericanas, y especialmente argentinas, sobre el impacto de los procesos de acreditación se han enfocado más en el efecto sobre actores y procedimientos, y no tanto en la relación con el Estado o en la relación con disciplinas diversas. No obstante, no se han encontrado muchos estudios que analicen la implementación de los instrumentos de medición desde una perspectiva metodológica, análisis que podría realizar un aporte a la superación de los diversos obstáculos identificados en los estudios de impacto.

3.3. Algunos análisis sobre la validez y confiabilidad
en los instrumentos de medición de la calidad académica
en educación superior

Las investigaciones sobre validez y confiabilidad de la evaluación son escasas. Algunos de los estudios de este tipo los llevaron a cabo Barcos (2008), Ríos (2001) y Gallardo (2011).

Barcos estudia las mediciones de la calidad en educación y afirma que estas políticas de evaluación requirieron el desarrollo de sistemas de información constituidos por indicadores predictores de resultados. Las organizaciones educativas han establecido sistemas automáticos de información “capaces de facilitar tareas mecánicas y rutinarias, evitar errores y mejorar controles” (2008: 222). Sin embargo, estas cualidades no son suficientes para responder a la preocupación permanente de las instituciones educativas por mejorar la gestión. La validez y confiabilidad de los sistemas de información se ven amenazados por diversos factores. En principio, Barcos menciona que se gestionan por separado los procesos de comunicación institucional, los sistemas de información que se implementan y el procesamiento de los datos. El divorcio entre los diversos procesos se ve dificultado además por el atraso tecnológico de los sistemas, la falta de un diseño apropiado de recolección de información, la inadecuada participación de los usuarios y la falta de capacitación de los involucrados en los procesos de evaluación (Barcos, 2008).

Para asegurar la validez en el diseño de los sistemas de información y evaluar la utilidad en su funcionamiento, Barcos provee una serie de requisitos a considerar (2008): economía y costo: implica la comparación entre los costos de producir la información y los beneficios de utilizarla; utilidad: es el criterio que intenta evitar la creación de instrumentos de recolección de información que no se justifiquen; oportunidad: se refiere a que la información se debe recabar en un lapso adecuado, teniendo en cuenta los tiempos que se necesita para su procesamiento y respuesta; corrección: es la precisión de la información en relación a la decisión que se desee tomar; relevancia; se trata de la significación que la recolección de los datos debe tener para la toma de decisiones; excepción; la información debe permitir trabajar sobre las distorsiones para corregir y orientar los procesos; comparatividad: los sistemas de información deben producir datos que sean comparables respecto a las unidades de análisis (uniformidad) y período de tiempo (periodicidad); flexibilidad: hace referencia a la adaptación de los sistemas según las necesidades de información que se requiera; comprensibilidad y claridad: la información que no se comprende tiende a desecharse o rechazarse; confiabilidad: evitar introducir errores en la recolección de los datos primarios; disponibilidad: posibilidad de acceso a los datos siempre que fuera necesario; seguridad: hace referencia no solo a la seguridad física de la información, sino también al cuidado frente a posibles usos fraudulentos; confidencialidad y protección de la intimidad de las unidades de análisis.

Si los sistemas de acreditación implementados en el nivel superior se basaran en sistemas de información que tuvieran en cuenta estos requisitos, las decisiones tomadas estarían justificadas entonces por datos válidos y confiables. No obstante, los instrumentos de recolección de información no solo deben cumplir con las exigencias técnicas especificadas por Barcos, sino que también deben convertirse en la traducción operativa de ciertos conceptos, como el de calidad académica. Para ello es necesario que las instituciones educativas reciban lineamientos claros sobre qué se entiende por calidad educativa, para que luego puedan traducir estos conceptos en indicadores apropiados.

Tomando en cuenta los conceptos de validez y confiabilidad, Ríos (2001) y Gallardo (2011) analizan los instrumentos de medición de la calidad en educación superior en diferentes contextos. Ríos hace un estudio comparativo entre las instituciones de acreditación en México y Estados Unidos. En este último caso, la autora explica que hay seis agencias acreditadoras regionales y cuarenta organizaciones que acreditan programas específicos. Debido a la multiplicidad de agencias acreditadoras, Ríos afirma que las instituciones solo pueden responder a sus exigencias si reciben direcciones claras sobre lo que es considerado importante para la mejora del proceso de enseñanza y aprendizaje. El gran problema de la acreditación en Estados Unidos es que cada agencia sostuvo una postura diferente, por lo que es esencial que cada agencia acreditadora pueda desarrollar “ejemplos específicos de la documentación o evidencia requerida y/o sugerida para demostrar cumplimiento con los indicadores” (2001: 5). De lo contrario, cada institución construirá sus propios indicadores, pero en última instancia dependerá del juicio del equipo visitador para decidir si la evidencia bajo revisión es suficiente. Idealmente, el concepto de calidad y los indicadores que se utilicen para su evaluación deben surgir del acuerdo entre las instituciones en lugar de ser establecidos externamente (Ríos, 2001).

Gallardo también se refiere a la necesidad de describir de forma más extensa los criterios de logro de la calidad en los procesos de evaluación. En su artículo “Midiendo calidad en educación superior: análisis de confiabilidad y validez de una encuesta de certificación de calidad del pregrado, versión estudiantes” (2011) realiza un análisis cuantitativo de la confiabilidad y validez del constructo de la escala de certificación de calidad educativa para estudiantes implementada por la Comisión Nacional de Acreditación (CNA) de Chile. El autor sostiene que la fase de autoevaluación de los procesos de acreditación constituye la base del proceso de aseguramiento de la calidad, dado que es fuente de información fundamental para identificar debilidades y fortalezas, revisar avances y pensar mejoras. La encuesta para estudiantes es uno de los instrumentos aplicados en la autoevaluación. No es un instrumento obligatorio, sino que es provisto por la CNA como ejemplo. Gallardo considera que la no obligatoriedad puede explicar que nunca se hayan evaluado sus propiedades métricas o los criterios utilizados. Sin embargo, “dada la importancia del proceso de autoevaluación en el proceso de aseguramiento de la calidad, es necesario contar con instrumentos de evaluación que sean confiables y válidos” (2011: 111). Y, si bien hubo avances importantes en control, aseguramiento y fomento de la calidad educativa en Chile y en todo el continente latinoamericano, son pocas las investigaciones que evalúan los instrumentos utilizados. Gallardo finalmente concluye que las dificultades actuales del sistema de acreditación “poseen problemas relacionados con la vaguedad de definiciones y criterios que permiten a los revisores confiar de manera excesiva en lo que ellos definen como calidad” (2011: 120).

Otro de los documentos que aportan algún conocimiento sobre validez y confiabilidad de los instrumentos de medición son las propias evaluaciones que la CONEAU voluntariamente ha decidido llevar a cabo para revisar su naturaleza y procedimientos. En 2002 la CONEAU publicó el documento “Contribuciones para un análisis del impacto del sistema de evaluación y acreditación”, el cual sintetizaba los resultados de una autoevaluación realizada para rendir cuentas al Banco Mundial. En 2003 se publicó la visión de los beneficiarios de CONEAU en el informe “Evaluación del grado de satisfacción por parte de los usuarios / beneficiarios de las acciones de la CONEAU”, elaborado por el Dr. Aldo Isuani. Un tiempo más tarde, en 2006, la CONEAU realizó voluntariamente una evaluación institucional llevada a cabo por IESALC – UNESCO. Finalmente, en 2011, el organismo publicó el informe “Avances de Gestión desde la Evaluación Institucional”, que contiene una rendición de cuentas sobre los avances realizados en base a las recomendaciones hechas por IESALC – UNESCO en 2006. En base a todas estas evaluaciones, Marquina sintetiza como principal resultado la legitimación de la CONEAU dentro del sistema universitario, “dado que las discusiones ya no se centraban sobre sus propósitos ni su utilidad, sino sobre los modos de evaluar” (2012: 134). En los informes también identifican algunas debilidades tales como la falta de articulación entre la evaluación institucional y las acreditaciones, la sobrecarga de trabajo del equipo de CONEAU (problema que disipa la capacidad de autorreflexión de los participantes sobre los propios procesos por falta de tiempo, e impacta también en la morosidad de los trámites), falta de planificación en las agendas de trabajo del organismo y amenaza de rutinización de los procesos de evaluación y acreditación (Marquina, 2012). Se reconoce que estos aspectos impactan sobre las evaluaciones de la calidad en forma negativa, viciando los procesos de acreditación.

3.4. La necesidad de evaluar la implementación de los procesos de acreditación

Ante los diversos estudios sobre impacto de los procesos de acreditación que se han desarrollado, surge la necesidad de evaluar las causas que explican dichas consecuencias. Son pocos los estudios que se han realizado sobre este tema específico desde una perspectiva metodológica. En este sentido, esta investigación se enfoca en el análisis de las amenazas a la validez y confiabilidad de los instrumentos de medición en la etapa de autoevaluación realizada por la CONEAU durante las acreditaciones de las carreras de posgrado. Es decir, el propósito es buscar en esta etapa de ejecución de la política pública aquellos elementos que pueden influir sobre los resultados mediatos e inmediatos de la política pública.

Para ello se tomó como principal antecedente la investigación de Corengia (2005), “Estado, mercado y universidad en la génesis de la política de evaluación y acreditación universitaria argentina (1991-1995)”, en la cual se analizó la génesis de la instalación del tema y formulación de la política pública: ¿qué actores participaron durante esta etapa y cómo lo hicieron? ¿cuál fue el rol de los organismos internacionales de crédito? ¿qué opciones se presentaron y cuál fue la decisión final?, entre otros interrogantes. De hecho, la autora afirma que “estos antecedentes sugieren la importancia de continuar indagando sobre la temática pero desde análisis que profundicen en la formulación e implementación de estas políticas y en el grado de participación de los distintos actores según el escenario propio de cada país” (2005: 11). Estas investigaciones adicionales que continúen estudiando la política en todas sus etapas harán un aporte para reducir las miradas extremas que consideran la evaluación y acreditación como una política que atenta contra la autonomía del sistema de educación superior. Además, ayudarán a consolidar los sistemas de aseguramiento de la calidad a partir de la reflexión sobre su propio funcionamiento y las maneras de mejorar su propia calidad. Para ello, es importante profundizar el conocimiento sobre la universidad como institución para luego poder comprender cómo fue la implementación de una política pública dirigida a evaluar las funciones de esta organización tan compleja.



Deja un comentario