Output indicators

MUNICIPIOS

A lo largo del presente capítulo, se han identificado las diferencias observadas en los indicadores de evaluación en tres esquemas de comparación:

• Conjunto de municipios tratamiento frente a conjunto de municipios control. • Municipios tratamiento sin pago versus los control.

• Municipios tratamiento sin pago versus los control sin pago.

En el cuadro 3.11-1 se presentan aquellos indicadores en los cuales se registraron diferencias estadísticamente significativas. Para facilitar la localización de las cifras originalmente comparadas, se anotan en la cuarta columna de la citada tabla, los números de los cuadros correspondientes.

Todas las diferencias incluidas fueron estadísticamente significativas con un nivel de confianza del 95% o más.

CUADRO 3.11-1

DIFERENCIAS SIGNIFICATIVAS A LO LARGO DEL DOCUMENTO

INDICADORESCONDIFERENCIASSIGNIFICATIVASCON95%DECONFIANZA TEMADEESTUDIO _{TRATAMIENTO VS}

CONTROL

TRATAMIENTO SIN PAGO VS CONTROL

TRATAMIENTO SIN PAGO VS CONTROL SIN PAGO

NÚMERO DE CUADRO Tasa de asistencia actual* Tasa de asistencia actual* Tasa de asistencia actual Cuadro 3.2.13 EDUCACION Tasa de asistencia

anterior-zona urbana* Cuadro 3.2.14

Tasa de Participación

laboral total

Tasa de Participación

laboral total Cuadro 3.3.21

Tasa de Participación _{laboral femenina} Tasa de Participación _{laboral femenina} Cuadro 3.3.21

Tasa de Participación laboral mujeres 18 a 44 años * Tasa de Participación laboral mujeres 18 a 44 años * Cuadro 3.3.21 Tiempo dedicado a estudiar* Tiempo dedicado a estudiar* Cuadro 3.3.20 Tiempo dedicado a _{oficios del hogar *} Tiempo dedicado a _{oficios del hogar*} Cuadro 3.3.20 MERCADO DE

TRABAJO Y USOS DEL TIEMPO

Horas trabajadas por semana*

Ingreso laboral por hora

trabajada Cuadro 3.3.20

Proporción de niños que consumen huevos, carne de res o de cerdo, y hortalizas o verduras

Proporción de niños 0-2

años lactando actualmente *

Proporción de niños con desnutrición global en hogares particulares Cuadro 3.5.17 Cuadro 3.5.20 NUTRICIÓN Promedio de días a la semana que consumen huevos, carne de res o de cerdo, hortalizas o verduras y frutas

Proporción de niños con desnutrición aguda en los HCB

Proporción de niños con desnutrición aguda en los HCB Cuadro 3.5.18 Cuadro 3.5.21 Proporción de niños inscritos al programa de Crecimiento y Desarrollo* Proporción de niños inscritos al programa de Crecimiento y Desarrollo* Proporción de niños inscritos al programa de Crecimiento y Desarrollo* Cuadro 3.6.12 Número adecuado de

controles para la edad*

Número adecuado de controles para la edad

Número adecuado de

controles para la edad Cuadro 3.6.12 SALUD

Proporción de niños con IRA en los últimos 15 días

INDICADORESCONDIFERENCIASSIGNIFICATIVASCON95%DECONFIANZA TEMADEESTUDIO _{TRATAMIENTO VS}

CONTROL

TRATAMIENTO SIN PAGO VS CONTROL

TRATAMIENTO SIN PAGO VS CONTROL SIN PAGO

NÚMERO DE CUADRO Niños (2-6 años) que

dejaron de realizar sus actividades normales en los últimos 15 días

Cuadro 3.6.12 Consumo de vestuario y calzado Cuadro 3.8.4 Participación de gastos en:

servicios del hogar, vestuario y calzado, entretenimiento,

educación,

salud y transporte en el

consumo total del hogar

Participación de gastos en: entretenimiento, educación, salud, misceláneo y transporte en el consumo total del hogar

Participación de gastos

en alimentos misceláneo y transporte en el consumo total del hogar

Cuadro 3.8.5 CONSUMO Compras total mensualizadas menos Ingreso Mensual Monetario Cuadro 3.8.9 * Significativo al 99%

Conceptualmente, la línea de base de una Evaluación debe generar el nivel de los indicadores de evaluación, antes de la iniciación de las intervenciones del Programa. Así mismo, debe observarse una importante coincidencia en los indicadores de los grupos tratamiento y los control, para lo cual, la ortodoxia metodológica plantea la clasificación del universo de potenciales beneficiarios del Programa en los grupos tratamiento y control, con un esquema totalmente aleatorio, pues el diseño busca garantizar muestras de similares características.

Conviene recordar entonces que, por decisión gubernamental, la dinámica del proceso de vinculación de los municipios potencialmente elegibles para el Programa, estuvo condicionada a la iniciativa de las autoridades municipales y a la disponibilidad de alguna entidad bancaria. El problema, radica en que este par de factores pueden, a su vez, estar correlacionados con características un tanto diferentes en las variables independientes o condicionantes de los indicadores de Impacto del Programa.

Por otra parte, por razones administrativas, la medición de la Línea Base se llevó a cabo cuando el Programa se estaba implementando activamente en 372 de los 619 municipios del Programa. Aunque está situación llevó a un diseño muestral de oportunidad, para facilitar conclusiones preliminares de impacto, mediante la determinación de una balanceada composición de la muestra en los subgrupos tratamiento con pago y sin pago, rompió el concepto primario de la línea base, respecto a una medición no afectada por intervención alguna.

Las anteriores fuentes de disparidad en los resultados de la línea base, refuerzan la importancia de verificar en el proceso de análisis de los resultados, las diferencias registradas entre los subgrupos de población establecidos en función de sus disparidades estructurales. Ello facilita el diseño de las

estrategias metodológicas para controlar y aislar el efecto distorsionador, en las conclusiones sobre impacto, de las diferencias de las características de los grupos comparados. Afortunadamente, el método de “pareamiento por probabilidad de similitud” (Propensity Score Matching), es una poderosa herramienta para minimizar los riesgos de error de los análisis de impacto.

Las diferencias estadísticamente significativas observadas en los indicadores de evaluación de los grupos tratamiento y control comparados, son las principales detectadas hasta el momento, y ellas se presentan en algunas de las variables cruciales de evaluación del capital humano, vale decir, de educación, salud y nutrición, del mercado de trabajo y usos del tiempo, y de consumo en el hogar.

CAPÍTULO 4

EVALUACIÓN PRELIMINAR DE IMPACTOS

Como se mencionó en la Introducción, tanto los municipios de control con pago (TCP), como tratamiento sin pago (TSP) participan en el Programa Familias en Acción. En el momento en que se recogieron los datos para la construcción de la línea de base los municipios TCP habían recibido al menos un pago del Programa. La mayoría de las familias en los municipios TSP se habían registrado, pero no habían comenzado aun a recibir pagos.

En este capítulo se utiliza las diferencias en los cronogramas de los pagos para hacer una evaluación preliminar del impacto del Programa. Dicha evaluación está sujeta a las siguientes reservas metodológicas:

i. Los municipios TCP no llevaban mucho tiempo en el programa. En consecuencia pudieron no tener, todavía, impactos muy considerables. Esto es especialmente válido para las variables de nutrición y salud, y menos para educación, donde los efectos de corto plazo pueden ser significativos. Este hecho tiende a subestimar el impacto del Programa.

ii. Como las familias en los municipios TSP ya eran conscientes de la existencia del Programa, y la mayoría ya estaban inscritas, debieron haber comenzado a tomar medidas para beneficiarse más del programa. Por ejemplo, pudieron haberse inscrito en el programa de control de crecimiento y desarrollo del PAB, o pudieron haber evitado el retiro de sus hijos de la escuela. Estos efectos anticipatorios también tienden a subestimar los impactos del Programa.

iii. El tamaño de la muestra utilizada para esta indagación preliminar es por diseño la mitad del tamaño que tendrá la muestra de análisis cuando se haga la evaluación completa. Este hecho afecta la precisión de la medición de impactos, especialmente en los casos en que estos sean pequeños.