Para que un DRD produzca una estimación LATE no sesgada de la puntua- ción límite, es importante que el índice de elegibilidad no sea manipulado en la cercanía de la puntuación límite de modo que un individuo pueda cambiar su condición de tratamiento o control.2 La manipulación de los criterios de
elegibilidad puede adoptar numerosas formas. Por ejemplo, los encuestadores que recopilan los datos que se utilizan para calcular la puntuación de elegibi- lidad podrían cambiar una o dos respuestas de los encuestados; o puede que los encuestados mientan deliberadamente a los encuestadores si creen que con eso tendrán acceso al programa. Además, la manipulación de las puntuaciones puede agravarse a lo largo del tiempo, a medida que los encues- tadores, los encuestados y los políticos comienzan a aprender las “reglas del juego”. En el ejemplo de la subvención de los fertilizantes, la manipulación en torno al límite se produciría si los agricultores pudieran alterar los títulos de propiedad o si dieran informes falsos sobre el tamaño de sus fi ncas. O un agricultor con 50,3 hectáreas de tierra podría encontrar una manera de vender media hectárea para ser elegible para el programa, en el caso de que los bene- fi cios previstos de la subvención a los fertilizantes merecieran la pena hacerlo. Una de las señales que delata la manipulación se ilustra en el gráfi co 6.4. El panel (a) muestra la distribución de los hogares según su índice de línea de base cuando no hay manipulación. La densidad de los hogares en torno al límite (50) es continua (o fl uida). El panel (b) presenta una situación dife- rente: un número mayor de hogares parecen estar agrupados justo por
Gráfi co 6.3 Cumplimiento de la asignación a. DRD nítido (pleno cumplimiento) Porcentaje de hogares que participan Porcentaje de hogares que participan b. DRD difuso (cumplimiento incompleto) 10 50 100 10 50 100 30 40 50 60 70 80 30 40 50 60 70 80 Índice de pobreza de la línea de base Índice de pobreza de la línea de base
a. Sin manipulación b. Manipulación
20 30 Elegible
No elegible
40 50
Índice de pobreza de la línea de base 70 80 90 60 Porcentaje de hogares 20 30 Elegible No elegible 40 50
Índice de pobreza de la línea de base 70 80 90 60
Porcentaje de hogares
Gráfi co 6.4 Manipulación del índice de elegibilidad
Recuadro 6.3: El efecto en el desempeño escolar de la agrupación de alumnos según sus puntuaciones en las pruebas educativas en Kenia
Para comprobar si la asignación de alumnos a clases sobre la base del desempeño mejora los resultados educativos, Dufl o, Dupas y Kemer (2011) llevaron a cabo un experimento con 121 escuelas primarias en la región occi- dental de Kenia. En la mitad de las escuelas, los alumnos de primer grado fueron distribui- dos de forma aleatoria en dos diferentes sec- ciones de la clase. En la otra mitad de los colegios, los alumnos fueron asignados a una sección de alto o de bajo desempeño según sus puntuaciones en las pruebas ini- ciales, usando la puntuación de las pruebas educativas como punto límite.
El diseño de regresión discontinua (DRD) les permitió comprobar a los autores si la com- posición de los alumnos de una clase tenía un efecto directo en las puntuaciones de las prue- bas. Los investigadores compararon las pun- tuaciones fi nales de las pruebas de los alumnos justo en torno al límite para ver si aquellos asig- nados a la sección de alto desempeño tenían
mejores resultados que aquellos asignados a la sección de bajo desempeño.
En promedio, las puntuaciones de las prue- bas fi nales de los colegios que agruparon estudiantes en clases con niveles similares de desempeño fueron 0,14 desviaciones están- dar más altas que en el caso de los colegios que no usaron este método y en cambio utili- zaron la asignación aleatoria para crear grupos equivalentes de estudiantes. Estos resultados no fueron solo producto de los alumnos en las secciones de alto desempeño, dado que los estudiantes de la sección de bajo desempeño también mostraron mejoras en las puntuacio- nes de las pruebas. En el caso de los alumnos justo en torno a la puntuación límite, los inves- tigadores encontraron que no había una dife- rencia signifi cativa en las puntuaciones fi nales de las pruebas. Estas conclusiones rechazan la hipótesis de que los alumnos se benefi cian directamente al tener compañeros de clase con un desempeño superior.
debajo del límite, mientras que hay relativamente pocos hogares justo por encima del límite. Dado que no hay un motivo a priori para creer que debe- ría haber un gran cambio en el número de hogares justo en torno al límite, la ocurrencia de ese cambio en la distribución en torno al límite es una prueba de que de alguna manera los hogares pueden estar manipulando sus pun- tuaciones para tener acceso al programa. Una segunda prueba de manipula- ción grafi ca el índice de elegibilidad en relación con la variable de resultado en la línea de base y verifi ca que no haya discontinuidad, o un “salto”, justo en torno a la línea del límite.
Evaluación de impacto del HISP: diseño de regresión discontinua
Piénsese en cómo se puede aplicar el método de diseño de regresión discontinua (DRD) al Programa de Subsidios de Seguros de Salud (HISP). Después de llevar a cabo investigaciones sobre el diseño del HISP, se descubre que además de seleccionar aleatoriamente los pueblos de trata- miento, las autoridades localizaron el programa en los hogares de bajos ingresos utilizando la línea nacional de pobreza. La línea de la pobreza se basa en un índice de pobreza que asigna a cada hogar en el país una pun- tuación entre 20 y 100 en función de sus activos, las condiciones de la vivienda y la estructura sociodemográfi ca. La línea de pobreza ha sido fi jada ofi cialmente en 58. Esto signifi ca que todos los hogares con una puntuación de 58 o menos se clasifi can como pobres, y que todos los hogares con una puntuación de más de 58 se consideran no pobres. Incluso en los pueblos de tratamiento, solo los hogares pobres son elegi- bles para inscribirse en el HISP. La base de datos con la que se cuenta contiene información tanto de los hogares pobres como de los no pobres en las comunidades de tratamiento.
Antes de llevar a cabo las estimaciones del diseño de regresión discon- tinua, se decide verifi car si hay evidencia de manipulación del índice de elegibilidad. Como primera medida, se verifi ca si la densidad del índice de elegibilidad suscita alguna preocupación a propósito de la manipula- ción del índice. Luego se grafi ca el porcentaje de hogares en contraste con el índice de pobreza de la línea de base (gráfi co 6.5).3 El gráfi co no señala
ninguna “concentración” de los hogares justo por debajo del límite de 58. A continuación, se verifi ca si los hogares respetaron su asignación a los grupos de tratamiento y comparación sobre la base de su puntuación de elegibilidad. Se gráfi ca la participación en el programa en contraste con el índice de pobreza de línea de base (gráfi co 6.6) y se observa que
Gráfi co 6.6 Participación en el HISP, según el índice de pobreza de línea de base 1,0 0,8 0,6 0,4 T
asa de participación en el HISP 0,2
0
20 40 60
Índice de pobreza de la línea de base (20–100)
80 100 Elegible No elegible Densidad estimada 0 0,01 0,02 0,03 0,04 58 20 40 60 80 100
Índice de pobreza de la línea de base (20–100) Elegible No elegible
Gráfi co 6.5 HISP: densidad de los hogares, según el índice de pobreza de línea de base
dos años después del comienzo del plan piloto, solo los hogares con una puntuación de 58 o menos (es decir, a la izquierda de la línea de la pobreza) han podido inscribirse en el HISP. Además, todos los hogares elegibles se inscribieron en el HISP. En otras palabras, se observa un cumplimiento total, por lo cual se obtiene un DRD “nítido”.
A continuación, se procede a aplicar el método de DRD para calcular el impacto del programa. Utilizando datos del seguimiento, se vuelve a grafi car la relación entre las puntuaciones en el índice de pobreza y los gastos previstos en salud, y se observa la relación que se ilustra en el gráfi co 6.7. En la relación entre el índice de pobreza y los gastos previstos en salud, se encuentra una clara ruptura, o discontinuidad de la línea de pobreza (58).
La discontinuidad refl eja una disminución de los gastos en salud en aquellos hogares elegibles para benefi ciarse del programa. Dado que los hogares en ambos lados de la puntuación límite de 58 son muy similares, la explicación plausible de la diferencia en el nivel de gastos en salud es que un grupo de los hogares era elegible para inscribirse en el programa y el otro no. Esta diferencia se estima a través de una regresión con los datos recogidos en el cuadro 6.1.
Gráfi co 6.7 Índice de pobreza y gastos en salud: el HISP dos años después 60
40
20
0
20 40 60
Índice de pobreza de la línea de base (20–100) Gastos en salud (dólares de EE.UU.)
Elegible No elegible
A
B 58
Gastos en salud (dólares de EE.UU.)
Impacto estimado en el gasto en salud
80 100
Pregunta HISP 5
A. El resultado que se refl eja en el cuadro 6.1, ¿es válido para todos los hogares elegibles?
B. En comparación con el impacto estimado con la asignación aleatoria, ¿qué dice este resultado con respecto a los hogares con un índice de pobreza justo por debajo de 58?
C. De acuerdo con las estimaciones de impacto del DRD, ¿se debería ampliar el HISP a nivel nacional?
Cuadro 6.1 Evaluación del HISP: diseño de regresión discontinua con análisis de regresión
Regresión lineal multivariante Impacto estimado en el gasto en salud de
los hogares
−9,03** (0,43)
Nota: Los errores estándar están entre paréntesis. ** Signifi cativo al nivel del 1%.