Chapter'4 Design'
B. Salient Behaviours During Initial Reading
4.3.5 Mapping/Traits/to/Tasks/[R4.2]/
La implementación de las evaluaciones de impacto en el marco de la reforma del Presupuesto por Resultados en Perú, es una experiencia reciente. El proceso se inicia en el año 2010 con evaluaciones de carácter retrospectivo, basadas en diseños cuasi-experimentales, sin una línea de base debidamente planificada; recién a partir del año 2012, se empieza a planificar un conjunto de evaluaciones de carácter prospectivo y multianual, que parten del establecimiento de líneas de base y diseños de evaluación más rigurosos. Las evaluaciones de impacto implementadas, no obstante las limitaciones antes mencionadas, han sido útiles e incluso algunas de ellas han servido para informar las decisiones presupuestarias40.
El siguiente cuadro presenta las evaluaciones de impacto que se han realizado y se encuentran en proceso de implementación en el marco de la reforma del PpR:
Cuadro Nº 23: Evaluaciones de Impacto realizadas y en proceso de implementación
Intervención Sector Estado
1. Programa Articulado
Nutricional (PAN) Salud Evaluación finalizada - Dirección de Calidad del Gasto, 2011. Se generó evidencia de efectos positivos y significativos del PAN sobre la reducción de la desnutrición crónica infantil.
39 El desarrollo de este apartado se realizó con información disponible al 2012. Cabe mencionar
que a la fecha de revisión de este documento, se han se han realizado cuatro evaluaciones retrospectivas, con técnicas cuasi experimentales: (i) a las dos principales intervenciones del Programa Articulado Nutricional, (ii) al programa piloto Retén – Servicio – Franco en el marco de la Seguridad Ciudadana, (iii) la evaluación correspondiente al programa Construyendo Perú, y iv) al Programa de Acompañamiento Pedagógico del Programa Presupuestal de Logros de Aprendizaje. Asimismo, se han realizado tres evaluaciones prospectivas, se ha desarrollado el diseño metodológico y líneas de base de los programas: i) Cuna Más (modalidad acompañamiento a familias y cuidado diurno, a través de un diseño experimental), ii) Pensión 65 del MIDIS y ii) Programa de Redes Rurales del MINEDU.
40 Ravina, Renato (2012), Las Evaluaciones de Impacto en el Marco de la Reforma del
Presupuesto por Resultados en Perú: Avances, Lecciones Aprendidas y Retos a Futuro, Lima, Ministerio de Economía y Finanzas, mimeo.
2. Piloto Reten-
Servicio-Franco Interior Evaluación finalizada. Documento final en proceso de elaboración. Dirección de Calidad del Gasto, 2012. No se encontró evidencia que sustente la hipótesis de que el Plan contribuyese a la reducción de la victimización (medida como la incidencia de robos).
3. Construyendo Perú
(CP) Trabajo Evaluación finalizada. Macroconsult, 2012. Se evidencian impactos de corto plazo sobre los ingresos de los beneficiarios que no se sostienen en el mediano plazo. Se concluye que la efectividad de CP como política activa de empleo es limitada y debe reorientarse como un programa de alivio temporal para trabajadores vulnerables. 4. Acompañamiento
Pedagógico Educación En proceso de elaboración - Dirección de Calidad del Gasto, 2012. Resultados preliminares revelan efectos positivos de la intervención sobre el rendimiento de los estudiantes de segundo de primaria.
5. Redes Educativas
Rurales Educación Línea de Base en Proceso de Elaboración. Primera medición planificada hacia fines de 2014. 6. Pensión 65 Desarrollo e
Inclusión Social
Línea de Base en Proceso de Elaboración. Primera medición planificada hacia fines de 2013. 7. Cuna Más - Componente de Acompañamiento a Familias (Rural) Desarrollo e Inclusión Social
Línea de Base en Proceso de Elaboración. Primera medición planificada hacia fines de 2014.
8. Beca 18 Educación Línea de Base planificada para 2013. 9. Cuna Más - Componente de Cuidado Diurno (Urbano) Desarrollo e Inclusión Social
Línea de Base planificada para 2013.
Fuente: Ravina, Renato (2012)
La evaluación del Piloto Reten-Servicio-Franco y la evaluación del Programa Construyendo Perú han sido claves para limitar las pretensiones presupuestarias de los gestores de dichas intervenciones. El piloto tenía un costo anual de S/. 253 millones y su extensión a nivel nacional implicaba un costo anual de S/. 1 384 millones, lo cual fue restringido; mientras que en el caso del programa Construyendo Perú, el monto restringido asciende a S/. 309 millones. El monto total restringido en la formulación del presupuesto 2013 asciende a S/. 1 693 millones y el costo de dichas evaluaciones asciende a S/. 679 mil, lo cual denota que estas evaluaciones han sido costo-efectivas; el costo de las evaluaciones, considerando el monto total de presupuestal restringido, representa sólo el 0,04%.
Cuadro Nº 24: Costo-efectividad de las Evaluaciones Independientes en la formulación del presupuesto 2013
Fuente: MEF – Elaboración propia
a).- Uso de las evaluaciones de impacto en la formulación del presupuesto 2013
A continuación se describen brevemente cada una de las evaluaciones, donde se puede apreciar la utilidad de las evaluaciones:
Cuadro Nº 25: Uso de las evaluaciones de impacto en la formulación del presupuesto 2013
Intervención evaluada / Uso de la evaluación
El Programa Articulado Nutricional (PAN)
Objetivo del programa: reducir la desnutrición crónica en niños menores de 5 años.
Principales productos: i) mejora en la cobertura y calidad de los Controles de Crecimiento y Desarrollo del niño (CRED) y ii) mejora en la oferta ydistribución de las vacunas básicas y de prevención de la neumonía y la diarrea.
Contexto:
Recabar evidencia sobre los impactos de uno de los programas emblemáticos en los inicios de la reforma del PpR.
Metodología:
Cuasi- experimental
Se estimó el efecto de los dos principales productos del programa (CRED y Vacunas).
Se utilizó como fuente de datos la Encuesta Demográfica y de Salud 89
Familiar (ENDES) Resultados de la evaluación:
La evaluación concluye que hay un efecto significativo y que en las regiones donde se profundizó la intervención se habría logrado una mayor reducción de la tasa de desnutrición crónica.
Utilidad:
Contribuyó a validar la relevancia del diseño de programas basados en evidencias.
Contribuyó a evidenciar resultados a la sociedad civil.
Se constituyó en un elemento para la sustentación en la asignación y priorización del gasto en los dos productos evaluados.
Se constituyó en un elemento para la sustentación de la implementación de convenios de apoyo presupuestario condicionados al cumplimiento de metas vinculadas a dichos productos en las zonas con mayores tasas de desnutrición.
El Plan Piloto Retén Servicio Franco (RSF)
Objetivo de la intervención: fortalecer la lucha contra la inseguridad ciudadana contando con una mayor cantidad de efectivos policiales realizando labores de patrullaje.
El Plan Piloto implementado en 5 regiones del país, consideraba la compra del día de franco de los policías en un monto equivalente al ingreso promedio que obtendrían por ofrecer sus servicios de seguridad en la actividad privada.
La cadena causal implícita de la intervención era que la mayor presencia policial iba a desalentar la delincuencia en los ámbitos geográficos intervenidos y por tanto la criminalidad debería reducirse.
Contexto:
Fuerte Incidencia política para su implementación.
Recabar evidencia para justificar o no su continuidad y escalamiento a nivel nacional.
Metodología:
Cuasi- experimental (método de dobles diferencias)
La variable sobre la cual se determinaría la medición del impacto de la intervención fue la victimización, medida como la incidencia de robos.
Se utilizó como fuente de datos la Encuesta Nacional de Programas
Presupuestales (ENAPRES). Resultados de la evaluación:
La evaluación concluye que no existen evidencias que sustenten la hipótesis que la compra de día franco contribuye a la reducción de la victimización en aquellas regiones donde fue implementado.
Utilidad:
Los resultados fueron utilizados en la formulación del presupuesto para el año fiscal 2013. El programa no solo no ha sido expandido, sino que además se restringieron los recursos correspondientes a la continuidad del RSF en las regiones piloto.
El costo anual del piloto ascendía a S/. 253 millones y su expansión a nivel nacional implicaba un costo anual de 1384 millones.
Esta evaluación es una de las más costo-efectivas realizadas en el país. El Programa Construyendo Perú (CP)
Objetivo del programa: generación de empleo temporal, favoreciendo a aquellos individuos con menores niveles de ingreso económico, en situación de pobreza y extrema pobreza.
Contexto:
Fuerte incidencia política para la asignación presupuestal del programa
Recabar evidencia para justificar la asignación presupuestal al programa Metodología:
Cuasi – experimental (propensity score matchig)
Se utilizó como fuente de datos la Encuesta Nacional de Hogares (ENAHO) y los registros administrativos del programa.
Resultados de la evaluación:
Se evidenció un impacto positivo del programa en el ingreso de corto plazo de los participantes y no se encontraron diferencias de mediano plazo entre participantes y no participantes en el programa.
La conclusión general del estudio fue que la efectividad del programa como política activa de empleo es limitada y debe asumirse más bien como un programa de alivio temporal para trabajadores vulnerables. Utilidad:
Se utilizó en la discusión del Proyecto de Ley de Presupuesto 2013. Al sincerar los efectos del producto ofrecido por el Programa se restringió su población objetivo y su ámbito de intervención, lo que significó una notable disminución de sus pretensiones presupuestales originales.
El monto presupuestal restringido ascendió a S/. 309 millones, relacionados con el componente de empleo de largo plazo.
Los resultados de la evaluación resaltaron el importante rol anti cíclico del programa, mas no su capacidad para impactar en forma positiva en el ingreso de mediano o largo plazo de sus beneficiarios.
Fuente: Ravina, Renato (2012) – Elaboración propia
b).- Evaluaciones de impacto en proceso de implementación
A continuación se describen algunos diseños de evaluaciones de impacto que se encuentran en proceso:
Cuadro Nº 26: Evaluaciones de impacto en proceso de implementación
Intervención / Avances
Cuna más:
Objetivo del programa: mejorar el nivel de desarrollo – en las dimensiones motora, lenguaje, cognitiva y socioemocional – de los niños menores de 3 años que viven en situación de pobreza.
El programa contempla los siguientes productos (servicios):
Acompañamiento a familias: visita semanales a hogares y sesiones grupales quincenales para desarrollar actividades para mejorar los conocimientos y prácticas de cuidado, aprendizaje y desarrollo de habilidades (zonas rurales).
Cuidado diurno: servicio de cuidado en centros a niños de 6 a 36 meses de edad que requieren atención de sus necesidades básicas de salud, nutrición, seguridad, descanso, juego, aprendizaje y desarrollo de habilidades (zonas urbanas).
Contexto:
Programa impulsado por el nuevo gobierno, con fuerte apoyo político y apoyo técnico por parte de la cooperación internacional.
Avances:
Se planteó el desarrollo de un diseño de evaluación experimental del componente acompañamiento a familias, considerando la ventaja de la implementación progresiva del programa.
Se ha iniciado el levantamiento de la línea de base.
La evaluación será conducida por el BID. Pensión 65:
Objetivo del programa: mejorar la calidad de vida de los adultos de 65 años o más, en situación de pobreza extrema que no cuentan con pensión alguna.
El programa contempla una subvención económica equivalente a US$ 48 mensuales.
Contexto:
Programa impulsado por el nuevo gobierno, con fuerte apoyo político. Avances:
Se planea realizar una evaluación de impacto mediante la metodología de regresión discontinua.
Se encuentra en proceso la definición de la metodología para el levantamiento de la línea de base.
Beca 18:
Objetivo del programa: mejorar el acceso a la educación superior de jóvenes con bajos recursos económicos y alto rendimiento académico en la secundaria.
El programa provee de financiamiento para estudios en un conjunto de universidades e institutos superiores tecnológicos (IST), así como de materiales de estudio, y una subvención económica para alojamiento, comida, etc.
Contexto:
Programa impulsado por el nuevo gobierno, con fuerte apoyo político. Avances:
Se encuentra en definición la metodología de evaluación.
Se encuentra en definición la metodología para el levantamiento de la línea de base.
Fuente: Ravina, Renato (2012) – Elaboración propia