Por Economia.com.do

Los programas sociales implementados en los países en desarrollo a lo largo de los años han absorbido un sinnúmero de recursos  tanto de organismos internacionales, como de gobiernos de países en desarrollo y desarrollados. Intervenciones en nutrición, salud, educación, capacitación, entre otras, han dominado la agenda de política social a nivel global. No obstante, muy poco se conoce acerca del impacto real de estos programas y por tanto, de su costo-efectividad.

Los avances recientes en el área del desarrollo económico se han centrado principalmente en las técnicas de evaluación de impacto, principalmente en la evaluación de intervenciones sociales. Cuando hablamos de evaluación de impacto nos referimos a la medición y análisis de los resultados obtenidos de estas intervenciones sobre  los individuos o comunidades beneficiarios.

La medición de resultados de un programa social tiene sus retos: no basta con comparar aquellos que participaron en el programa con aquellos que no participaron. Esto, porque pueden estar en acción otros factores (como preferencias de los individuos) que influyan también en los resultados de interés e impidan distinguir o separar los resultados obtenidos únicamente por la presencia del programa. Si, por ejemplo, se implementa un programa de salud en el Distrito Nacional, en el cual la participación es voluntaria, no podemos comparar los resultados del grupo que decidió participar con aquéllos del grupo que decidió no participar, ya que los participantes pueden tener diferencias sistemáticas (preferencias por una buena salud que los lleve a cuidarse más, a tomar medicamentos, etc.) que distorsionen el análisis del verdadero impacto del programa.

Para realmente aislar los resultados obtenidos de un programa social es necesario comparar los resultados observados con la situación que hubiese prevalecido si no se hubiese implementado el programa: el contrafactual. Por ejemplo, si analizamos un programa para mejorar la nutrición infantil, el impacto real del programa se apreciaría comparando el estado nutricional del niño post-intervención con el estado nutricional que éste hubiese tenido en ausencia del programa. Sin embargo, estos dos estados, el actual y el contrafactual, no pueden observarse al mismo tiempo en el mundo real para un mismo individuo o comunidad.

De ahí surgen los diversos métodos de evaluación de impacto: en interés de crear herramientas que nos permitan analizar los cambios en el bienestar de las personas, hogares o comunidades que realmente puedan atribuirse al programa implementado y no a otros factores (algunas veces no observables) que hayan tenido efecto simultáneamente. Existen distintas metodologías de evaluación de impacto todas centradas en cómo simular el contrafactual (grupo control), el cual debe ser idéntico al grupo beneficiario del programa (grupo tratamiento) excepto por la participación o no en el programa.

El por qué de las evaluaciones de impacto

Llevar a cabo evaluaciones de impacto de calidad es clave al implementar políticas sociales. Por un lado, siempre habrá presupuestos limitados para programas sociales y no siempre es obvio cuales programas son más eficientes o cuáles deberían encabezar la lista de prioridades.  Contar con una evaluación de impacto permite determinar cuáles programas dan los mejores resultados al menor costo, eliminar los programas ineficientes  y expandir programas piloto que hayan dado buenos resultados. Asimismo, las evaluaciones de impacto permiten identificar efectos secundarios, en algunos casos adversos, que se desprenden de estos programas.

Aún con todas estas ventajas, persiste una “brecha de la evaluación” (evaluation gap)1.  En la República Dominicana, en particular, aparte de las barreras políticas que puedan existir para el análisis de programas sociales, consideramos que la recolección sistemática de información y datos de encuesta de calidad es pobre y que, aquellos datos que son efectivamente recolectados, están rara vez disponibles a investigadores independientes interesados en estudiarlos.

El diseño experimental

Uno de los métodos de vanguardia en evaluación de impacto es el diseño experimental (“randomized experiments”), en el cual se asigna el programa de manera aleatoria a uno de dos grupos, uno de los cuales será el grupo tratamiento y el otro el grupo control. De esta forma, la única diferencia sistemática entre estos grupos es la participación o no en el programa. Una vez establecidos el grupo de estudio y el grupo de comparación, se mide la variable de interés antes y después de la intervención y la diferencia se considera el impacto de la política implementada.

Los métodos de evaluación de impacto, popularizados recientemente por profesores de la Universidad de Harvard y el MIT en Estados Unidos, tienen dos grandes ventajas: 1) permiten establecer claramente el impacto de una determinada política; y 2) son simples. El Laboratorio de Acción Pobreza – Poverty Action Lab – reúne a un grupo estelar de académicos que tratan de evaluar diferentes programas alrededor del mundo utilizando un diseño experimental.

Una de las desventajas de este método se deriva de la problemática ética que puede surgir al diseñar un programa (por ejemplo, de salud o educación) que niegue la participación a un grupo de la población por razones experimentales. Sin embargo, para solucionar este dilema, las evaluaciones aprovechan cada vez más la forma progresiva en la que la mayor parte de los programas sociales se implementan. Dado que los programas sociales rara vez pueden empezar en todas las localidades al mismo tiempo, lo que se busca es elegir aleatoriamente las localidades donde se inicie la administración del programa. Además de ser un proceso justo, también permite crear los deseados grupos controles y tratamiento.

Existen además dos limitaciones más serias. Una, relacionada con la capacidad para generalizar los resultados obtenidos de experimentos y llevarlos a una mayor escala. Dado que los resultados que se obtienen de un programa son muy particulares a las condiciones existentes en el ambiente donde se implementa, es difícil saber si los cuáles serían sus efectos en circunstancias diferentes. No obstante, a medida que las evaluaciones se llevan a cabo en más lugares y con diseños más sofisticados, este problema se puede solucionar. Más difícil es saber si convertir un programa de local a nacional tendrá los mismos efectos.

La segunda limitación importante nace de la naturaleza de los experimentos. Mientras que los mismos son apropiados para un sinnúmero de políticas sociales, son menos propicios para examinar políticas macroeconómicas por ejemplo.

En resumen, el diseño experimental constituye un instrumento valioso en la evaluación de políticas públicas. Uno que, si utilizado con cuidado, puede arrojar luz sobre muchas interrogantes en términos de la efectividad de intervenciones sociales. Exhortamos, así, a que el Gobierno Dominicano considere implementar este tipo de evaluación en sus programas sociales. Ya otros gobiernos, notablemente en México y Francia, han dedicado fondos públicos a este tipo de evaluación.

——————————–

1. Para más detalles ver Center for Global Development (2006). When Will We Ever Learn? Improving Lives through Impact Evaluation.