los índices de matriculación en Colombia
Barrera-Osorio, Linden y Urquiola (2007) uti- lizaron un diseño de regresión discontinua (DRD) para evaluar el impacto de un pro- grama para reducir las tarifas escolares en Colombia (Gratuidad) sobre los índices de matriculación en los colegios de la ciudad de Bogotá. El programa defi nió su población objetivo sobre la base del SISBEN, un índice continuo de pobreza cuyo valor está deter- minado por características de los hogares, como la ubicación, los materiales de cons- trucción de la vivienda, los servicios de los que dispone, la demografía, la salud, la edu- cación, el ingreso y las ocupaciones de los miembros de la familia. El gobierno estable- ció dos puntuaciones límite en el índice SISBEN. Así, los niños de los hogares con puntuaciones inferiores a la primera puntua- ción límite eran elegibles para recibir educa- ción gratuita entre los grados 1 y 11, los niños de los hogares cuyas puntuaciones se hallaban entre la primera y la segunda pun- tuación eran elegibles para un subsidio del 50% en las tarifas para los grados 10 y 11, y los niños de los hogares con puntuaciones superiores a la segunda puntuación no eran elegibles para recibir educación gratuita ni subsidios.
Los autores utilizaron un DRD por cuatro motivos. En primer lugar, las características del hogar, como el ingreso o el nivel educa- tivo del jefe de familia, son continuos en la
puntuación SISBEN en la línea de base; en otras palabras, no hay “saltos” en las características en la puntuación SISBEN. En segundo lugar, los hogares en ambos lados de las puntuaciones límite tienen característi- cas similares, y generan grupos de compara- ción creíbles. En tercer lugar, se disponía de una muestra grande de hogares. Por último, el gobierno mantuvo en secreto la fórmula utilizada para calcular el índice SISBEN, de modo que no se pudieran manipular las puntuaciones.
Al usar el método DRD, los investigado- res observaron que el programa tuvo un impacto positivo signifi cativo en los índices de matriculación escolar. Concretamente, la matriculación fue 3 puntos porcentuales más alta en los alumnos de primaria de hogares con puntuaciones inferiores a la primera puntuación límite y 6 puntos por- centuales más alta en los alumnos de secundaria de los hogares ubicados entre la primera y la segunda puntuación límite. Este estudio aporta evidencia sobre los benefi - cios de reducir los costos directos de la escolarización, sobre todo entre los alum- nos en situación de riesgo. Sin embargo, sus autores también recomiendan una investigación más detallada sobre las elasti- cidades con respecto al precio para funda- mentar mejor el diseño de los programas de subsidios como este.
elegibilidad continuo, así como también un umbral o una puntuación límite que determina quién es elegible y quién no lo es.
El diseño de regresión discontinua (DRD) es un método de evaluación de impacto que se puede utilizar en programas que tienen un índice de elegibi- lidad continuo con un umbral (puntuación límite) de elegibilidad defi nido con claridad para determinar quién es elegible y quién no lo es. A fi n de aplicar un DRD, deben cumplirse las siguientes condiciones:
1. El índice debe clasifi car a las personas o unidades de una manera conti- nua o “fl uida”. Índices como el de pobreza, las puntuaciones de las pruebas estandarizadas o la edad tienen numerosos valores que se pue- den ordenar de menor a mayor y, por lo tanto, se pueden considerar continuos. En cambio, las variables con categorías discretas que solo tienen unos pocos valores posibles o no se pueden ordenar, no se consi- deran continuas. Ejemplos de esta última clase son la condición laboral (empleado o desempleado), el nivel más alto de estudios alcanzado (primario, secundario, universitario o posgrado), la propiedad de un automóvil (sí o no) o el país de nacimiento.
2. El índice debe tener una puntuación límite claramente defi nida, es decir, un punto por debajo o por encima del cual se clasifi ca a la población como elegible para el programa. Por ejemplo, los hogares con un índice de pobreza igual o menor a 50 sobre 100 se podrían clasifi car como pobres, los individuos mayores de 67 años se podrían clasifi car como ele- gibles para una jubilación, y los alumnos con una puntuación superior a 90 sobre 100 podrían considerarse elegibles para una beca. Las puntua- ciones límite en estos ejemplos son 50, 67 y 90 respectivamente.
3. La puntuación límite debe ser única para el programa de interés, es decir, aparte del programa que se evalúa, no debería haber otros programas que utilicen la misma puntuación límite. Por ejemplo, si un índice de pobreza por debajo de 50 clasifi ca a un hogar para recibir una transferencia de efectivo, un seguro de salud y transporte público gratis, no se podría uti- lizar el método DRD para estimar por sí solo el impacto del programa de transferencias de efectivo.
4. La puntuación de un individuo o una unidad particular no puede ser manipulada por los encuestadores, los benefi ciarios potenciales, los administradores del programa o los políticos.
El DRD estima el impacto en torno a la puntuación límite de elegibilidad como la diferencia entre el resultado promedio de unidades del lado tratado de la puntuación límite de elegibilidad y el resultado promedio de unidades en el lado no tratado (comparación) de la puntuación límite.
Concepto clave
El diseño de regresión discontinua (DRD) es un método de evaluación de impacto adecuado para programas que utilizan un índice continuo para clasifi car a los participantes potenciales y que tienen una puntuación límite en el índice que determina si los participantes potenciales tienen derecho o no a benefi ciarse del programa.
Piénsese en un programa agrícola cuyo fi n es aumentar la producción total de arroz subsidiando la compra de fertilizantes de los agricultores. El programa está destinado a fi ncas pequeñas y medianas con menos de 50 hectáreas. Antes del comienzo del programa, se puede esperar que las fi ncas más pequeñas tengan una producción menor que las grandes, como se muestra en el gráfi co 6.1, que ilustra el tamaño de la fi nca y la producción de arroz. En este caso, la puntuación de elegibilidad es el número de hectáreas de la fi nca, y la puntuación límite es de 50 hectáreas. Las reglas del pro- grama establecen que las fi ncas por debajo de 50 hectáreas son elegibles para recibir subsidios para fertilizantes, y las fi ncas de 50 o más hectáreas no lo son. Entonces, se puede prever que participará del programa una canti- dad de fi ncas de 48, 49 o incluso 49,9 hectáreas. Y habrá otro grupo con 50, 50,1 y 50,2 hectáreas que no participará del programa, porque esas fi ncas superan la puntuación límite. Es probable que el grupo de fi ncas con 49,9 hectáreas sea muy similar al grupo de aquellas que tienen 50,1 hectáreas en todos los aspectos, salvo que un grupo recibió el subsidio para fertilizantes y el otro no. A medida que nos alejamos de la puntuación límite de elegibili- dad, hay más diferencias entre las fi ncas elegibles. Sin embargo, la extensión de las fi ncas es una buena medida de sus diferencias, y permite controlar por una buena parte de esas diferencias.
Gráfi co 6.1 Producción de arroz, fi ncas pequeñas vs. fi ncas grandes (línea de base)
20
Hectáreas de terreno
Producción de arroz (fanegas por hectárea)
19 18 17 16 15 20 30 40 50 60 70 80
= producción de las fincas < 50 hectáreas = producción de las fincas > 50 hectáreas
Una vez que el programa se pone en marcha y subvenciona el costo del fertilizante de las fi ncas pequeñas y medianas, la evaluación de impacto podría utilizar un DRD para evaluar su impacto (gráfi co 6.2). El DRD cal- cula el impacto como la diferencia en los resultados, por ejemplo, de la pro- ducción de arroz, entre las unidades a ambos lados del límite de elegibilidad, que en este caso es un tamaño de fi nca de 50 hectáreas. Las fi ncas que eran demasiado grandes para inscribirse en el programa constituyen el grupo de comparación y generan una estimación del resultado contrafactual de esas fi ncas del grupo de tratamiento que eran justo lo sufi cientemente pequeñas para inscribirse. Dado que estos dos grupos eran muy similares en la línea de base y están expuestos al mismo conjunto de factores externos a lo largo del tiempo (como el clima, los shocks de precios y las políticas agrícolas locales y nacionales), el único motivo plausible de la diferencia en los resultados tiene que ser el propio programa.
Dado que el grupo de comparación está compuesto por fi ncas que superan la puntuación de elegibilidad, el impacto dado por un DRD es válido solo “a nivel local”, es decir, en la cercanía del límite de elegibili- dad. De esta manera, se obtiene una estimación de un efecto local prome- dio del tratamiento (LATE) (véase el capítulo 5). El impacto del programa de subvenciones de fertilizantes es válido para las fi ncas más grandes
Gráfi co 6.2 Producción de arroz, fi ncas pequeñas vs. fi ncas grandes (seguimiento) 19 20 18 17 16 15 20 30 40 50
= producción de las fincas > 50 hectáreas = producción de las fincas < 50 hectáreas
Hectáreas de terreno
Producción de arroz (fanegas por hectárea)
60 70 80 = Impacto A A B B
dentro de aquellas de tamaño medio, es decir, aquellas cuya extensión se halla justo por debajo de las 50 hectáreas. La evaluación de impacto no será necesariamente capaz de identifi car directamente el impacto del programa en las fi ncas más pequeñas –por ejemplo, las de 10 o 20 hectá- reas de superfi cie–, donde los efectos de una subvención de los fertili- zantes podrían diferir en aspectos importantes de las fi ncas de tamaño medio de 48 o 49 hectáreas. Una ventaja del método DRD es que una vez que se aplican las reglas de elegibilidad del programa, no es preciso dejar a ninguna unidad elegible sin tratamiento para los fi nes de la evaluación de impacto. La otra cara de la moneda es que los impactos de las obser- vaciones lejos de la puntuación límite no se conocerán. El recuadro 6.2 presenta un ejemplo del uso del DRD para evaluar un programa de redes de protección social en Jamaica.
Recuadro 6.2: Redes de protección social basadas en un índice de