Fernando Jaime y Penélope Vaca Ávila

Resumen

Si bien, en la historia reciente, los casos paradigmáticos de vinculación entre evidencia y política pública se encuentran en el New Labour británico (Libro Blanco de 1999) y en un conjunto de gobiernos locales de Estados Unidos, el puntapié inicial de la idea de que el conocimiento científico y el quehacer político deberían ir de la mano es de larga data. El presente artículo intenta desentrañar de qué se habla al referirse a políticas basadas en evidencias (PBE). Para eso explora los distintos conceptos que emergieron de la literatura especializada y dieron lugar a distintas experiencias de implementación de este tipo de política. También pretende poner de relieve el contorno de los actuales debates respecto de la definición de PBE, los principales métodos para la determinación de la evidencia y los principales riesgos de utilizar esta propuesta en forma acrítica.

Por otro lado, la experiencia comparada reciente muestra que es posible diferenciar distintas prácticas en torno a las PBE. Para eso, este trabajo lleva adelante un análisis de las dos experiencias pioneras, la británica y la estadounidense, a partir de distintas dimensiones: las características del entorno y del contexto histórico de surgimiento, las áreas de intervención y priorización (criterios, actores y procesos), las estructuras institucionales y los arreglos de coordinación; el tratamiento de la evidencia (estándares de control, relevamiento y validación), la interpretación e incorporación al proceso de las políticas públicas y los incentivos institucionales. Para terminar realiza una evaluación de los resultados de la iniciativa, las lecciones aprendidas y las mejores prácticas.

El objetivo de este análisis es intentar alcanzar una definición normalizada de las PBE que permita repensar nuevas rutinas burocráticas en las administraciones latinoamericanas.

1. Introducción

La evidencia es cada vez más importante para la decisión, el diseño y la implementación de la política pública. En la historia moderna, algunos casos paradigmáticos de vinculación entre evidencia y política pública los encontramos en la administración nacional británica a partir de la llegada del New Labour y, más recientemente, en un conjunto de gobiernos locales de Estados Unidos. Sin embargo, la idea de que el conocimiento científico y el quehacer político deben ir de la mano tiene una larga tradición. En realidad es una vuelta a la idea de posguerra de que el diseño de la política pública puede ser mejorado cuando se vuelve más científico (Laswell, 1950).

En los años ochenta, Campbell ya proponía explícitamente el concepto de “sociedad de la experimentación”:

Los Estados Unidos y otras naciones modernas deberían estar preparadas para abordar la reforma social desde un punto de vista experimental, que permita ensayar programas nuevos para solucionar problemas específicos, saber si estos programas son o no efectivos y retener, imitar, modificar o desechar dichos programas sobre la base de su aparente efectividad (Campbell, 1984)^[1].

Con este artículo se pretende llamar la atención sobre el hecho de que, crecientemente, en la práctica gubernativa y en las ciencias que estudian la capacidad de gobernar se ha vuelto prioritario el problema de la eficacia directiva de las administraciones públicas. Y que esa preocupación ha llevado a focalizar en el hecho de que la eficacia de gobernar pone en juego componentes no solo político-institucionales, sino también científico-técnicos. En la persecución de este objetivo también hay una renovada búsqueda de mejorar la relación de la administración pública con los ciudadanos.

En este marco, en algunas administraciones públicas europeas y norteamericanas ha surgido un progresivo interés por las PBE, las cuales sin embargo son entendidas de modo diverso a ambos lados del Atlántico. Estas prácticas han dado lugar a incipientes debates académicos que describen los rasgos y logros de estas políticas, pero que aún no acuerdan acerca de una definición normalizada que las pueda identificar. Por otro lado permiten vislumbrar lo que quizás sea la principal encrucijada del vínculo entre ciencia y política: la utilidad de los arreglos institucionales para habilitar, de modo permanente, el ingreso de la evidencia a los procesos de toma de decisiones y su procesamiento por parte de los actores involucrados.

El objetivo de este trabajo es, por un lado, acercarse a una primera definición de PBE identificando las dimensiones de estas que se consideran que deben estar presentes a la luz de las prácticas gubernativas más destacadas y del naciente debate académico. Y, por otro, identificar modalidades de institucionalizar la incorporación de las PBE en los ciclos decisorios gubernativos o burocráticos. Para eso, el artículo comienza resumiendo los principales paradigmas teóricos sobre los que se asientan esas políticas y describiendo las metodologías más comúnmente utilizadas, centrándose en los estándares requeridos para que la evidencia sea considerada oportuna y robusta para sustentar decisiones de política pública (Apartado 2). A continuación se identifican los principales riesgos y las limitaciones de este enfoque (Apartado 3). Subsiguientemente de despliega un breve análisis comparativo de los rasgos y las dimensiones principales de los dos casos testigos más destacados en la práctica, Reino Unido y Estados Unidos, y se muestran algunas conclusiones sobre los puntos de entrada y procesamiento de la evidencia (Apartado 4). Para finalizar se propone una definición de PBE a partir del recorrido realizado, así como algunas reflexiones sobre aspectos inevitables a tener en cuenta al momento de diseñar posibles arreglos institucionales de PBE y de generar capacidades en torno a estos procesos (Apartado 5).

2. ¿Qué son las políticas basadas en evidencia (PBE)?

A. Paradigmas teóricos: el ciclo de la política y la incorporación de la evidencia

Las PBE proponen una aproximación instrumental a la investigación que es coherente con la tendencia pragmática que ha predominado en los países occidentales en las últimas décadas. En este sentido reconocen como antecedentes las concepciones que priorizan la racionalidad por sobre la política y la experiencia personal, iniciadas por el paradigma de la Nueva Gestión Pública^[2]. Pero por otro lado retoman las discusiones contemporáneas sobre la era de la información y los “sistemas de gestión del conocimiento”. En este sentido, el paradigma de las PBE asume que los sistemas de información y las bases de datos nos proveen de insumos vitales para generar ventajas competitivas y nos ayudan a manejar nuestros cada vez más complejos sistemas sociales.

Varios son los fines que persigue una aproximación basada en evidencia. En primer lugar, el logro de una mayor eficacia en las políticas, ya que un basamento científico sólido incrementa las posibilidades de resolver los problemas colectivos. Siguiendo esta retórica, las políticas públicas deben tener una “orientación de servicio” y satisfacer las necesidades y expectativas de los ciudadanos. Por otro lado, este enfoque también está vinculado a la eficiencia en el gasto. El hecho de trabajar con recursos públicos, que por definición son escasos, hace que sea necesario sacar de ellos el mayor partido, especialmente en circunstancias de crisis.^[3] Finalmente existe también un objetivo de accountability (rendición de cuentas), ya que el diseño y la implementación de las políticas son una parte importante del proceso democrático. Es fundamental, por tanto, que los ciudadanos sean conscientes de los motivos que respaldan las decisiones de los gobiernos.

Las PBE suponen, asimismo, cierto grado de predictibilidad de la política pública y, por lo tanto, la capacidad de planificar las acciones de gobierno. Si bien no han surgido siempre desde un marco conceptual de racionalidad pura, en el cual la política es definida desde un centro a partir del conocimiento exhaustivo de las variables que intervienen en su proceso de hechura, sí es cierto que la experiencia internacional demuestra que los esfuerzos por contar con PBE han estado asociados con la racionalización del proceso de política pública. En este sentido han ganado mayor centralidad al interior de las burocracias estatales los mecanismos y las acciones de coordinación y planificación, donde la generación y utilización de evidencia por parte de profesionales expertos es un componente más que retroalimenta todo el sistema.

B. Definición y método de las PBE

La clave para entender por qué surgió un nuevo paradigma para vincular ciencia y políticas públicas es apreciar por qué la metodología basada en evaluaciones tradicionales ya no es la preferida. Se identifican, en este sentido, al menos tres dificultades. La primera tiene que ver con la temporalidad: para alimentar de manera significativa y con éxito el ciclo de la política, la investigación debe realizarse y los hallazgos deben estar disponibles antes de la formulación de la política. Curiosamente, esto no se corresponde con la secuencia en la que ocurren la mayoría de las evaluaciones, que se producen después de su diseño e implementación. Los nuevos métodos pretenden así ser una solución. Otra dificultad es que sigue siendo una actividad limitada. Aunque cada vez está más generalizada, no se realizan una gran cantidad de evaluaciones y, cuando ocurren, cada una de estas se encuentra encapsulada en su propia burbuja. Incluso en las administraciones públicas que se han habituado a evaluar regularmente sus políticas se genera una enorme masa crítica de actividad evaluativa, pero con poca acumulación de resultados. Eso impide la influencia cruzada de la que depende el avance científico. Lo cierto es que, hasta la llegada de este nuevo paradigma, el diseño de políticas había sido un ámbito bastante exento de evidencia (Pawson, 2006). En tercer lugar surge la aceptación de que, al final, la realpolitik lo condiciona todo. El signo, las preferencias o las prioridades políticas cambian a menudo durante el curso de una evaluación, cuestionando la relevancia de esta. Teniendo en cuenta la velocidad de recambio de los profesionales de la política y la rápida mutación de los temas en la agenda, las conclusiones de una evaluación frecuentemente se presentan en un clima político diferente al que le dieron origen. Eso puede condenar sus resultados a la oscuridad de un cajón. Esto tiene que ver, nuevamente, con la importancia de contar con la información a tiempo.

En el macro del nuevo paradigma, la literatura clasifica las políticas en función de la relación entre el uso de la información científica y los procesos de decisión e implementación. Así, encontramos: a) políticas que no toman en cuenta la evidencia (evidence-ignorant policy), b) políticas que están al tanto de la existencia de evidencia, pero no la aplican (evidence-aware policy), c) políticas que consideran la evidencia, pero que no están completamente modeladas por ellas (evidence-related policy), d) políticas que se perciben con influencia de la evidencia (evidence-influenced policy) y e) políticas moldeadas y basadas en evidencia intencionalmente, con relaciones causales entre los propósitos buscados, las opciones de acción y los resultados (evidence-based policy) (Bracho, 2010).

Las PBE serían así aquellas que despliegan lo “que funciona”,^[4] captado por evidencia robusta a partir de diferentes métodos. Existen varios sistemas para caracterizar la robustez de la evidencia de los resultados de un programa o política, pero hay cierto consenso en aceptar que algunas metodologías específicas cumplen con esos estándares de validez. Un método que ha ido tomando importancia son las pruebas aleatorias controladas (PAC), randomized controlled trials (RCT) o evaluaciones de impacto, las cuales, de acuerdo con Haynes:

Se diferencian de otros tipos de evaluación por la introducción de un grupo de control asignado al azar, lo que les permite comparar la eficacia de una nueva intervención contra de lo que habría ocurrido si no se hubiera cambiado nada (Haynes, 2012).

La introducción de un grupo de control elimina toda una serie de sesgos que normalmente complican el proceso de evaluación, como la influencia de otras variables (económicas, demográficas, culturales y demás). Este método se aplica para medir la efectividad de intervenciones nuevas o en curso, así como posibles variantes de estas.

Diagrama 1: Diseño básico de una prueba aleatoria controlada (PAC)

Fuente: Haynes, 2012.

Las PAC han sido utilizadas durante más de 60 años por la industria farmacéutica y se han vuelto habituales para comprobar la efectividad de las intervenciones de lucha contra la pobreza y mejora de la calidad de vida en el ámbito de la cooperación internacional.^[5] Sin embargo, aún existe relativamente poca tradición en su uso para las principales áreas de política pública nacional y local.

Gráfico 1: Áreas de aplicación de las pruebas aleatorizadas controladas (PAC) en el siglo XX

Fuente: Shepherd, 2007.

Otro de estos métodos son las “revisiones sistemáticas” (sistematic review). Las PBE se basan en la idea de que no hay nada completamente nuevo bajo el sol en las políticas públicas sectoriales. En un mundo globalizado, casi todas las iniciativas ya han sido ensayadas, con cambios menores, en diferentes lugares y momentos. Las revisiones sistemáticas son un método para sintetizar los hallazgos de todos esos ensayos previos o estudios preexistentes sobre intervenciones particulares o sobre sectores de actividad particulares, con capacidad para acumular sus conclusiones y generar recomendaciones para la práctica futura. Consisten en recopilar y coordinar un cuerpo multiforme y fragmentado de trabajo empírico poniendo en común y evaluando el peso de la evidencia en relación con familias enteras de políticas públicas ya desplegadas. Las revisiones son así síntesis de investigaciones previas con el fin de generar compendios objetivos de políticas que demostradamente “funcionan” (what works) (Davies et al., 2000). Estas revisiones generalmente se realizan con lógicas temáticas, sector por sector de la política. Evidentemente, ninguna intervención que se esté planificando puede corresponder exactamente a intervenciones pasadas, pero la idea es que revisiones periódicas –actualizadas regularmente– puedan ofrecer una medida de racionalidad al proceso de planificación.

Finalmente, también puede generarse acumulación de evidencia a través de la gestión estadística de grandes cantidades de datos (con metodologías de big data u otras). Esta tiene la ventaja de su disponibilidad en tiempos más cortos, incluso muchas veces con capacidad de generación, transferencia y uso de los datos en tiempo real.

Sin embargo, los parámetros que definen aquello que se considera evidencia es una cuestión aún abierta. Hasta el momento, las distintas administraciones públicas lo han estipulado caso por caso, muchas veces con fuerza normativa. Frecuentemente, además, los gobiernos y las agencias han identificado diferentes rangos o niveles de robustez en función de los métodos utilizados para generar o compilar la evidencia^[6]. Es importante tener en cuenta que –a pesar de la actual preeminencia de las revisiones sistemáticas, las pruebas aleatorias controladas, el trabajo con big data y otros métodos estadísticos de consolidación de datos– en la mayoría de los casos estudiados se sigue haciendo uso de modos complementarios, más tradicionales, de generación de evidencia. Continúan, por lo tanto, siendo pertinentes y habituales:

1. Los análisis de eficacia con métodos cuantitativos, como encuestas, y cualitativos, como los grupos focales.
2. Los estudios de eficiencia basados en análisis costo-beneficio, costo-efectividad y costo-utilidad.
3. Las evaluaciones ex ante sobre la base de estudios cualitativos del contexto (entrevistas, focus groups, estudios etnográficos y demás).
4. Los análisis de pertinencia a partir de estudios de opinión pública.
5. En general siguen utilizándose modelos econométricos, estadística descriptiva y otras herramientas.

3.  Riesgos y limitaciones

El análisis de las distintas experiencias nacionales o subnacionales que implementaron PBE muestra los problemas fundamentales que se derivan del uso de información científica en los procesos de toma de decisión. Atender los inconvenientes derivados de la generación, la sistematización y el uso de la información para colmar las necesidades de una agencia administrativa es uno de los principales desafíos en la implementación de este enfoque. A tal efecto, a continuación se estudian algunas de las principales dimensiones de esta compleja relación ente política pública y comunidad científica.

A. Problema de la validez externa

Una de las principales limitaciones es la validez externa de las evaluaciones y pruebas que se realizan, los problemas de “escalabilidad”. En este sentido, la réplica de un programa en diferentes contextos de espacio y tiempo no tiene por qué arrojar resultados idénticos a los del modelo estudiado si no se respetan una serie de condiciones. Es necesario tener en cuenta que la traslación e incorporación de las conclusiones obtenidas al diseño de nuevas políticas necesita de una serie de precauciones.

El problema reside en que las evaluaciones ofrecen informaciones individuales, notablemente afectadas por el contexto tanto en sus variables exógenas (clima, geografía y situación sociopolítica) como en las endógenas a la intervención (la motivación y las características de los participantes o el diseño específico de la intervención, entre otras). Esto hace que sea baja la capacidad de las evaluaciones para ofrecer información que se pueda replicar en otros lugares y circunstancias.

Una forma de afrontar esta limitación es multiplicar las evaluaciones hasta disponer de tal número de experimentos que podamos crear cierto paradigma falsable, en el sentido de inferir inductivamente a partir de las evaluaciones una teoría que provea de la mejor explicación provisional hasta encontrar otra superior, y que sea esta la que oriente las medidas de política (Larru, 2014).

Justamente esta es la idea detrás de las denominadas evaluaciones aleatorizadas comparables, las revisiones sistemáticas y los mapas de evidencia (evidence gap maps).^[7]

Otra precaución a tener en cuenta es el asesoramiento a los eventuales beneficiarios respecto de la correcta similitud entre la población que fue objeto de estudio y la propia. Así, Cartwright y Hardie (2012) aconsejan chequear que los eventuales beneficiarios de un programa sean “suficientemente similares” a la población evaluada antes de incorporarlos a este. Los autores entienden por eso que la similitud entre “población actual” y “población evaluada” debe darse tanto en la estructura causal subyacente como en los factores coadyuvantes o las variables interactivas identificadas en la evaluación. Si y solo si se cumplen estas dos condiciones, puede garantizarse la replicabilidad del programa.

B. Evidencia versus juicio profesional

Al momento de diseñar un programa de PBE se debe prestar especial atención a los incentivos que se generan para quienes son responsables de su utilización, ya que existe un difícil equilibrio entre la aplicación estandarizada de la mejor evidencia y el juicio profesional que necesariamente tienen que realizar los denominados “burócratas de campo” (Lipsky, 1980). Este es el clásico problema de las decisiones individuales implícitas en la ejecución de políticas públicas. Los agentes de primera línea –ya sean médicos, maestros o policías– no solamente toman en cuenta la evidencia o las mejores prácticas a la hora de decidir qué hacer en una situación particular, sino que su experiencia profesional cuenta en buena medida:

Se reconoce que ser un buen médico, maestro o gestor no implica seguir como robot el resultado de las pruebas randomizadas; tampoco lo es ignorar la evidencia y seguir solamente sus propias corazonadas y la experiencia personal. La mejor opción para hacer un buen trabajo es utilizar una adecuada combinación de ambas cosas (Cartwright y Hardie, 2012).

Se necesita, por lo tanto, no solo una mejor comprensión de qué constituye la mejor evidencia en cada área, sino también un mayor entendimiento acerca de cómo los profesionales pueden tenerla en cuenta a la hora de tomar decisiones individuales.

C. La determinación de la agenda de investigación y los puntos de entrada en el proceso

Un problema similar al anterior, ya que hace a la incorporación de la evidencia en el ciclo de la política, es que la agenda de investigación muchas veces no está influenciada por las necesidades de los servicios. Esto hace que los resultados de la investigación académica recurrentemente no sean demasiado relevantes para la implementación de las políticas. Una de las claves para asegurar la relevancia de la investigación para quien está en la práctica política es que las prioridades de la investigación sean determinadas por las necesidades emanadas desde el servicio y los beneficiarios. De esta forma, uno de los puntos críticos a tener en cuenta a la hora de diseñar un sistema para incorporar evidencia en la hechura de las políticas públicas es el punto de entrada y de retroalimentación de la evidencia en el proceso.

D. Riesgos vinculados a la gestión de grandes masas de datos estadísticos

Uno de los desafíos más importantes al momento de trabajar con big data es la definición precisa sobre qué uso puede hacerse de los datos. En Estados Unidos existen varias leyes federales y estatales que regulan el uso de los datos administrativos, pero lo hacen en base a cada programa. Asimismo, muchas normas que regulan los programas no abordan explícitamente o son ambiguas respecto del uso estadístico –o de investigación– que puede hacerse con esos datos y dejan este tema abierto a interpretación. Por lo tanto, una estructura legal sólida por detrás del manejo de información estadística es central en este proceso.

Otro de los retos a considerar es la capacidad institucional de las agencias u oficinas encargadas de trabajar con grandes masas de datos. Las capacidades necesarias para llevar a cabo esta labor incluyen:

1. Infraestructura administrativa necesaria para compartir datos, y desarrollar e implementar acuerdos.
2. Experiencia sectorial específica para ayudar a los investigadores y evaluadores.
3. Gestión de datos e infraestructura de curaduría para que los datos disponibles sean útiles para la creación de evidencia.
4. Infraestructura tecnológica y de seguridad para satisfacer las necesidades operativas y de seguridad en todo el ciclo de vida de los datos.
5. Infraestructura para asegurar la privacidad y confidencialidad, y una adecuada gestión de riesgos durante todo el ciclo de vida de la información.

Hay una variedad de soluciones a estos problemas, incluyendo el establecimiento de un repositorio de datos administrativos y encuestas. Al proporcionar un punto de acceso único para los diversos datos, el repositorio puede simplificar el proceso mediante el cual los investigadores y las administraciones públicas pueden obtener permiso para utilizarlos. Al centralizar las funciones, un repositorio puede asegurar el uso seguro y eficaz de la información. Sin embargo, en Estados Unidos hay casos en que grandes conjuntos de datos ya están siendo administrados exitosamente por otros sistemas, por lo tanto no resulta tan evidente que estos deban ser subsumidos en un único repositorio. En este sentido surgen distintas opciones. Por ejemplo, la Oficina de Gestión y Presupuesto de la Casa Blanca (OMB, por sus siglas del inglés Office of Management and Budget) sugiere designar a algunos organismos públicos como centros de intercambio de datos –o hubs– para aprovechar la infraestructura que ya está disponible, como la de la Oficina del Censo. Este enfoque podría conducir a un mejor uso de los datos existentes sin crear una duplicación innecesaria de capacidades^[8].

4. Análisis comparativo de los casos de Reino Unido y Estados Unidos

A. Dimensiones y rasgos relevantes de las prácticas de PBE en Reino Unido y Estados Unidos

Las PBE están siendo implementadas paulatinamente en diferentes países y ámbitos de la administración pública en Europa y América. Sin embargo, la dimensión que este enfoque ha tomado en Reino Unido y Estados Unidos hace necesario considerar estos dos casos como paradigmáticos y pioneros. Ambos desarrollos se han desplegado, no obstante, con modalidades diversas tanto por el nivel de la administración pública que ha traccionado esas innovaciones como por la lógica del avance, los métodos típicamente utilizados y los arreglos institucionales desplegados a tal efecto. A continuación se sintetizan los principales rasgos de ambas experiencias.

Respecto del “contexto histórico de surgimiento”, en Reino Unido ha existido una histórica vinculación entre ciencia y política desde los años de la posguerra, tanto en la práctica gubernativa como en la academia. Durante los años sesenta, la producción organizada de conocimiento sobre problemas sociales creció enormemente y se institucionalizó. Pero, tras el colapso del consenso socialdemócrata en los setenta y durante el período conservador de Margaret Thatcher y John Major, la producción de conocimiento para uso directo por parte del gobierno se liberalizó y diversificó. Eso implicó la emergencia de un gran número de think tanks (laboratorios de ideas) e institutos de investigación cuyo objetivo era influenciar la agenda política. Simultáneamente, en esos años, la administración pública británica desarrolló una profunda reforma de gestión trasladando el acento a la eficiencia burocrática sobre la base de las propuestas de la Nueva Gestión Pública. Se puso especial foco en la evaluación de políticas, los sistemas de indicadores de resultado, las acciones de auditoría y los regímenes de inspección. Así, cuando el Nuevo Laborismo de Tony Blair acuñó el término evidenced-based policy o política basada en evidencia (Libro Blanco de 1999), la idea no solo contaba ya con una larga tradición, sino que existía una estructura institucional –tanto pública como privada– que desde hacía décadas aseguraba un fluido pasaje entre la evidencia y la acción de gobierno. Desde entonces, el enfoque sobre PBE ha recibido importantes dotaciones presupuestarias y sus estructuras institucionales se han ido consolidando paulatinamente.

En contraste, el caso norteamericano es mucho más reciente: las primeras iniciativas para el establecimiento de estándares federales de evidencia datan de fines de la primera década de este siglo, con un reciente compromiso presidencial y de la alta gerencia pública a partir del gobierno de Barak Obama. Por otro lado, la experiencia americana muestra casos muy interesantes en algunos gobiernos locales, de la mano de alcaldes muy comprometidos con el desarrollo urbano, en particular en los municipios de Nueva York y Baltimore.

Con relación a las “estructuras institucionales” y los “acuerdos de coordinación” que han permitido el desarrollo de un sistema de PBE, la experiencia británica se caracteriza por un despliegue de lógica sectorial. Originalmente concentrados en algunos ministerios clave (Salud, Interior y Educación), actualmente trabajan a partir de una red de organismos público-privados con una lógica temática (what works centers) que tiene un vínculo fuerte y está coordinada por el Cabinet Office (Jefatura del Gabinete de Ministros). Estos centros aseguran la realización continua de PAC sobre sus distintos sectores y una amplia difusión de los resultados. Con el tiempo, el sistema se ha ido extendiendo en función de la demanda a otros sectores, con un eje fuerte en los asesores del primer ministro que aseguran un punto de entrada en las instancias de toma de decisiones al más alto nivel.

Por su parte, el sistema americano está basado en la obtención y gestión de datos y microdatos estadísticos (y no tanto en las PAC) y se caracteriza por una estructura descentralizada y articulada, con un centro de coordinación establecido en la Oficina de Gestión y Presupuesto (OGP). La OGP le reporta al presidente y es el organismo responsable de coordinar el Sistema Federal de Estadística (130 agencias). Por ley, en 2016 se creó la Comisión de PBE para abordar esta temática de manera más integral y proponer alternativas de política. A nivel municipal, la importancia de la gestión y el análisis de datos estadísticos para la toma de decisiones también es fundamental, sobresaliendo un seguimiento muy detallado de los temas por parte del alcalde a través de reuniones y reportes de seguimiento.

En lo relativo al “tratamiento de la evidencia”, el sistema inglés se ha centrado en el uso de PAC a gran escala y se caracteriza por una gran rigurosidad para consolidar la evidencia. La calidad científica para organizar los hallazgos se complementa con una importante capacidad para transmitir los resultados en forma sencilla, amigable y de fácil acceso a los usuarios y funcionarios en plataformas virtuales de libre uso. Las diferentes intervenciones posibles en un mismo sector de política se comparan a partir de distintos criterios e indicadores y se plasman en mapas de evidencia ordenados por temas y subtemas disponibles en internet. Cada centro what works desarrolla su propio conjunto de herramientas de sistematización y comparación para ese sector de actividad (salud, educación, interior y similares), por lo que la disponibilidad de evidencia es dispar dada la diversidad organizacional, la extensión de los programas, la calidad y la profundidad de los hallazgos disponibles.

En Estados Unidos, para asegurar estándares mínimos se cuenta con guías para el uso de datos estadísticos y legislación específica en materia de privacidad de la información. La evidencia se basa principalmente en datos sobre procesos o actividades (outputs) y en la triangulación de aquellos sobre la base de planillas de gestión, líneas de acceso directo al ciudadano y trabajo de campo. Las PAC no tienen un rol tan importante. La evidencia se centra en el procesamiento estadístico de datos, preferentemente en tiempo real (automático). La Comisión de PBE trabaja continuamente en la mejora de estos aspectos.

En cuanto a las “áreas de intervención y priorización”, en Gran Bretaña, el área de la salud presentó los desarrollos más importantes por su histórico uso de las PAC en la investigación farmacológica. La educación y la lucha contra el crimen también tuvieron desarrollos importantes. Hoy, los distintos centros what works trabajan en políticas sociales (salud, educación, reducción del crimen, desarrollo económico local, tercera edad, intervención temprana y bienestar), pero podrían incorporar otras temáticas por decisión del Poder Ejecutivo.

Por su parte, en Estados Unidos no hay un mecanismo específico establecido para la determinación de las áreas de aplicación de la PBE, sino que estas se definen según el interés del Poder Ejecutivo. A nivel municipal se ha priorizado el intercambio de datos al interior de la ciudad y con los ciudadanos a partir de sistemas de datos abiertos (open data), aunque algunas áreas inicialmente tuvieron un mayor desarrollo, como la lucha contra el crimen, la respuesta ante desastres y el desarrollo económico.

B. Conclusiones derivadas del análisis comparativo de los casos de Reino Unido y Estados Unidos

Del estudio de las particularidades y semejanzas de estos dos casos paradigmáticos podemos destilar algunas conclusiones. En primer lugar –como conclusión general– es necesario resaltar que la incorporación de evidencia al proceso de la política pública es hoy un desafío ineludible ante una sociedad cada vez más compleja y demandante. Será cada vez más difícil justificar la no incorporación de los métodos y los hallazgos que ofrece la ciencia y que resultan fundamentales para asegurar una mayor eficacia de las intervenciones públicas. Sin embargo es importante otorgar la dimensión adecuada a los hallazgos presentados: estos son avances que se incorporan al proceso de la hechura de las políticas, pero no lo remplazan. Eso quiere decir que la incorporación deberá llevarse a cabo teniendo en cuenta las particularidades que el proceso presenta en cada contexto administrativo-institucional específico. Para eso habrá que conocer previamente tanto las potencialidades, las ventajas y las ventanas de oportunidad de cada estructura como su viabilidad en un momento político dado. Por otro lado deberán identificarse los posibles obstáculos y las limitaciones que puedan anticiparse.

A fin de transitar ese camino será importante tener en cuenta ciertas cuestiones que surgen como relevantes a partir de las experiencias británica y norteamericana:

1) Liderazgo y apropiación de la iniciativa de PBE a través del arco político y de la burocracia: la experiencia internacional demuestra que las iniciativas de PBE han tomado impulso y se han instalado en la gestión de gobierno cuando las cabezas del Ejecutivo las han liderado. Particularmente importante ha sido la constitución de una unidad de gobierno que reporta a las oficinas del presidente, del primer ministro o del alcalde. Estos ámbitos se han caracterizado por contar con mandatos muy específicos para generar, regular y monitorear PBE.

Igualmente importante ha sido la identificación de agencias “líderes”, que sirven para traccionar al resto de reparticiones estatales hacia un cambio de cultura organizacional. En este sentido han cumplido un rol muy importante las oficinas técnicas de estadística, informática, modernización del Estado y regulación sobre manejo de datos. Asimismo ha sido fundamental –sobre todo en momentos iniciales– la identificación de herramientas de gestión que permitan nutrir el proceso de generación de evidencia, como las líneas telefónicas para habilitar reclamos.

Los casos presentados también ponen de manifiesto la necesidad de contar con el apoyo del Poder Legislativo para avanzar en cambios más profundos. Esta participación ha variado caso por caso. La ampliación de la discusión hacia el Poder Legislativo es una opción estratégica que depende del nivel de maduración de la iniciativa de PBE y de la necesidad de contar con una base legal para implementar el modelo, ya que vincula otras áreas de políticas (por ejemplo, privacidad y confidencialidad de datos o generación de partidas presupuestarias para abrir una nueva repartición de gobierno).

2) Tipo de evidencia y estándares de calidad: no existe un único modelo respecto de qué se entiende por evidencia a los efectos de la PBE. Mientras que algunas de las experiencias basan su trabajo en microdatos (como los municipios de Estados Unidos), otras han priorizado la estilización y compilación de hallazgos científicos sobre eficacia, eficiencia e impacto de diferentes intervenciones de política pública (por ejemplo, el caso inglés). Cada modelo tiene sus pros y contras. Mientras que los microdatos permiten la obtención de información de manera más sistemática y en poco tiempo (ocasionalmente en tiempo real), muchas veces se ven limitados en el tipo de variables que se pueden relevar por procedimientos de big data u otros y, así, no siempre logran captar los impactos de la política. Por otro lado, la estilización de hallazgos logra profundizar sobre los impactos de políticas específicas, pero sus tiempos de elaboración son más largos.

Los tipos de datos que se pueden recoger no son contrapuestos. Por el contrario, pueden conformar una cartera de evidencia cuyo balance deberá ser definido en términos políticos, técnicos y presupuestarios. Existe un riesgo asociado a la idea de que con una sola clase de evidencia alcanza:

Hay que evitar la tentación de pensar que todo lo que se necesita tener es un conjunto de ensayos controlados aleatorios y el mundo será un lugar mejor […] Creo que aquellos argumentos que son fruto de una sola disciplina y de una única metodología no tienen sentido, son erróneos y no nos ayudan a construir la base de evidencia equilibrada que necesitamos para la toma de decisiones (Davies, 2005).

Por lo tanto es fundamental decidir en cada caso qué tipo de evidencia se necesita para cada clase de pregunta.

La adopción de los diversos métodos de obtención de datos requiere de una definición de cada uno de ellos, sus potencialidades y límites, y el establecimiento de criterios claros respecto de lo que en cada caso será considerado evidencia y qué no. En los ejemplos presentados, esta definición ha surgido del intercambio entre funcionarios, políticos y técnicos. En lo que respecta a los microdatos, existe una multiplicidad de definiciones. Sin embargo, en lo que se refiere a la compilación de hallazgos de política pública, existe consenso internacional en que las evaluaciones experimentales o cuasiexperimentales son el método por excelencia y las revisiones sistemáticas, la mejor manera de estandarizarlas. No obstante, su aplicación no siempre es posible y por lo tanto se requiere de definiciones sobre estándares de calidad para otro tipo de evaluaciones que también son válidas.

Las lógicas de principal agente son un parámetro a considerar al momento de definir estándares de calidad. Que a las intervenciones las ejecute la propia administración pública no es lo mismo que los servicios estén tercerizados. En este último caso, el gobierno debe reducir las incertidumbres asociadas a los contratos de agencia. En muchos países, algunos programas sociales no son ejecutados directamente por el Estado, sino por organizaciones sociales que obtienen financiamiento después de un proceso competitivo (como en el caso británico). En esta situación, el requisito de que los programas tengan un sustento científico que asegure su eficacia parece aún más razonable ya que, después de la adjudicación del contrato, el Estado pierde en gran medida el control sobre el desarrollo del programa.

Por último es importante considerar que los casos presentados ponen de relieve que los temas sobre los que se solicita evidencia robusta están definidos por el interés del Poder Ejecutivo de monitorear más de cerca y eventualmente rendir cuentas sobre un conjunto de políticas específicas (y no necesariamente sobre todas las políticas públicas).

3) Conveniencia –o no– de contar con uno o más repositorios de datos (clearinghouses): el modo en que se centraliza, sistematiza y difunde la información es otro aspecto central a tener en cuenta. En última instancia, la generación de evidencia tiene como objetivo nutrir el proceso de política pública. La conformación de un repositorio de datos o de evidencia abre interrogantes como ¿quién debe administrarlo?, ¿qué capacidades son necesarias para hacerlo?, ¿es conveniente contar con uno o con varios repositorios?, ¿la evidencia debería estar organizada por área de política?, ¿quiénes pueden hacer uso de la información disponible?, ¿de qué modo se segmenta y se presenta la información que está consolidada?, y ¿cómo puede financiarse?

Mientras que en Reino Unido los repositorios están organizados por área de política (centros what works), en Estados Unidos existe una variedad de repositorios a nivel subnacional y sectorial. Esta dispersión ha invitado a la Comisión de PBE a estudiar el tema más a fondo y reflexionar sobre un diseño institucional que sea más funcional. Dicho esto, cabe tener presente que en la conformación de esos repositorios tienen un peso específico muy fuerte los centros de investigación, las universidades y los think tanks con probada experiencia profesional en ese campo.

De lo analizado previamente también resulta indiscutible que la relación entre evidencia y proceso de hechura puede ser diferente entre un área de política pública y otra. En algunos casos hubo sectores que se priorizaron y donde se avanzó más rápido. En otros hubo una selección de intervenciones claves en diferentes sectores, en las que se avanzó en mayor medida. En el caso actual de Reino Unido hay un tipo de avance “por temas prioritarios” en varios sectores de política en simultáneo. El caso de Estados Unidos, por otro lado, pone en evidencia la importancia de contar con datos actualizados sobre todas las intervenciones de la administración en cortos lapsos.

5. Una definición tentativa de PBE

El estudio de los procesos de implementación de manera comparada permite buscar mayores precisiones en torno a qué se entiende por PBE. Sin duda, más allá de cualquier definición, la principal restricción que enfrenta este enfoque no es de carácter metodológico ni técnico, sino fundamentalmente político, y deriva de las posibilidades de construir y administrar sistemas de información complejos y ligarlos con núcleos de investigación relevantes en términos de la política que se quiere diseñar e implementar.

En tal sentido, con este trabajo se ha intentado identificar y explicar una serie de condiciones sobre las cuales existiría consenso para construir e institucionalizar una PBE. El acuerdo que surge del análisis de la literatura especializada y del análisis comparado entiende que se está ante su presencia cuando: a) los principales hacedores de política sustentan sus decisiones en procesos racionales construidos sobre la base de datos existentes, ordenados de manera deductiva y orientados a identificar las mejores opciones de política, b) estos procesos suponen sistemas de gestión del conocimiento robustos, apoyados en el uso de la tecnología, c) los análisis de las alternativas de política están basados en el uso explícito e intencional de la mejor evidencia científica, y d) la búsqueda de las mejores opciones de política debe ser acompañada del desarrollo institucional burocrático orientado a la implementación de políticas públicas.

Generar capacidades institucionales en torno a estos procesos no es fácil. En todo caso se considera que la incorporación de procesos de PBE al ciclo de política en una administración pública concreta debe ser una propuesta a medida del caso (taylor-made). Para desarrollarla habrá que tener en cuenta descubrimientos e intervenciones exitosas realizadas en otros ámbitos, pero su aplicación no debe ser hecha en forma acrítica, sino tras un proceso de reflexión, adaptación y –por qué no– evaluación, de lo que sirve y no sirve (what works). También pueden desarrollarse instituciones innovadoras adecuadas a la situación particular. En todo caso, la vinculación entre evidencia y política pública no es rígida: debe adaptarse a la particular complejidad del proceso de políticas específico en cada caso.

Bibliografía

Behavioural Insights Team (BIT): Update report 2015-2016, Londres, The Behavioural Insights Team, 2016.

Black, N.: “A national strategy for research and development: lessons from England”, Annual Review of Public Health, Issue 18, 485-505, 1997.

Bracho, T.: “Políticas basadas en evidencia: la política pública como acción informada y objeto de investigación”. En M. Merino y G. Cejudo (comp.), Problemas, decisiones y soluciones: enfoques de política pública, México D. F., Fondo de Cultura Económica-Centro de Investigación y Docencia Económicas, 2010.

Campbell, D.: “Can we be scientific in applied science?”, en Evaluation Studies Review Annual, Newbury Park, California, Sage, 24-48, 1984.

Cartwright, N., y Hardie. J.: Evidence-based policy: a practical guide to doing it better, s. l., Oxford University Press, 2012.

Comisión Europea: “Governance in the EU: a white paper”, European Commission, Issue COM (2001) 428 final, 2001.

Davies, H. T. O.; Nutley, S. M., y Smith, P. C.: What works?: evidence based policy and practice in public services, 1ª ed., Bristol, The Policy Press, University of Bristol, 2000.

Davies, P.: “Evidence-based policy at the Cabinet Office”, Impact and Insight Series, 2005.

Fundación MacArthur: Evidence based policy making: a guide for effective government, Philadelphia, Washington, MacArthur Foundation/Pew Charitable Trust, 2014.

García Sánchez, I.: “La nueva gestión pública: evolución y tendencias”. Presupuesto y Gasto Público, Issue 47, 37-64, 2007.

Haynes, L.: Test, Learn, Adapt: Developing Public Policy with Randomised Controlled Trials, 14 junio, 2012.

Keynes, J.:“Collected writings”, The Times, volumen 21, 409, 1937.

Larru, J. M.: “Evaluaciones de impacto en la cooperación para el desarrollo”, Revista de Evaluación de Programas y Políticas Públicas, Issue 3, 117-153, 2014.

Laswell, H.: Politics: who gets what, when and how, Nueva York, McGraw, 1950.

Lipsky, M.: Street-level bureaucracy: dilemmas of the individual in public services, Nueva York, Russell Sage Foundation, 1980.

Nesta: Building the connection between policy and evidence: the Obama based-iniatives, setiembre, 2011.

Oficina de Administración y Presupuesto: Overview of federal evidence building efforts, s. l., Oficina de Administración y Presupuesto, Washington D. C., 2016a.

Oficina de Administración y Presupuesto: Uso de datos administrativos y encuestas para la construcción de evidencia, s. l., Oficina de Administración y Presupuesto, Washington D. C., 2016b.

Oficina de Gabinete: Modernising government, Londres, The Stationery Office, 1999.

Oficina de Gabinete: What works: evidence centres for social policy, Londres, The Stationery Office, 2013.

Oficina de Gabinete: What works: evidence centres for social policy, Londres, Archivos Nacionales, 2013.

Pawson, R.: Evidence based policy: a realist perspective, 1ª edición, ed. London New Delhi, Sage Publications, 2006.

Shepherd, J.: “The production and management of evidence for public service reform”, Evidence and Policy, Policy Press, 3 (2), 231-251, 2007.

Solesbury, W.: “Evidence based policy: whence it came and where is it going”, Working Paper #1, Economic and Social Research Council, Centre for Evidence Based Policy and Practice, 2001.

---