4. Methods and Explanations for International Health Differences
4.2. Estimating policy effects with international comparative data
Macrozona Región Comuna Capacitaciones Charlas Giras Otros Parcelas Total
No. % No. % No.
Co
% No. % No. %
1 Bío Bío Antuco 10 41,67% 4 16,67% 0,00% 10 41,67% 0,00% 24
2 Antofagasta Calama 1 9,09% 6 54,55% 2 18,18% 2 18,18% 0,00% 11
3 O’Higgins Codegua 0,00% 5 10,00% 10 20,00% 30 60,00% 5 10,00% 50
4 Coquimbo Illapel 3 15,00% 5 25,00% 3 15,00% 8 40,00% 1 5,00% 20
5 Los Ríos Mariquina 0,00% 1 11,11% 1 11,11% 7 77,78% 0,00% 9
6 La Araucanía Pucón 4 8,51% 5 10,64% 30 63,83% 8 17,02% 0,00% 47 7 Magallanes Punta Arenas 0,00% 2 28,57% 2 28,57% 3 42,86% 0,00% 7 Total 18 10,71% 28 16,67% 48 28,57% 68 40,48% 6 3,57% 168
Fuente: Elaboración propia Observaciones:
- Sólo considera actividades ejecutadas (es decir, actividades en que se confirma cumplimiento – variable binaria del formulario SI/NO-) Visitas técnicas se contabilizan a partir del número de filas ingresadas en el formulario. Sin embargo, se observa que, en algunos casos, se incorporan comentarios que podrían dar cuenta de un número mayor de actividades ejecutadas (Por ejemplo, ‘240 Visitas
196 En el Cuadro 35 se presenta un resumen de la información recopilada sobre las actividades que se ejecutan en las 7 comunas seleccionadas.
De la sistematización de las actividades registradas en las planillas por UO, se obtuvo una base de datos con 179 observaciones o filas, donde cada observación representa 1 actividad. De éstas, 168 fueron efectivamente ejecutadas (94%), según las mismas indicaciones que se registran en las planillas por UO. Éstas son las que se describen en el Cuadro. Además, se observa que más de un 40% de las actividades ejecutadas corresponden a la categoría ‘otros’, vinculadas principalmente con aspectos de gestión. Llama la atención una proporción tan alta en esta categoría, aunque no se descarta que esto pueda deberse a un problema en la categorización de las actividades en base a palabras clave (para más detalle, revisar sección sobre Metodologías).
El 60% restante se compone de actividades en la forma de Giras técnicas (28,57%), Charlas técnicas (16,67%), Capacitaciones (10,71%) y Parcelas demostrativas (3,57%). Estas proporciones varían notoriamente a nivel comunal. Por ejemplo, la comuna de Mariquina se focaliza en la ejecución de actividades de Gestión (Otros), con una ponderación del 78%. Llama la atención que, siendo una comuna principalmente de Autoconsumo, no se realicen actividades de Capacitación (0%). Sin embargo, y tal como se ha señalado anteriormente, es posible que estos resultados se deban a problemas en la categorización de actividades. De este modo, no es posible realizar conclusiones contundentes sobre la asociación entre el ‘tipo de comuna’ (o de los usuarios beneficiarios de éstas) y las actividades que en éstas se ejecutan.
Cuadro 36- Resumen de indicadores y resultados del estudio
Componente Indicador Cálculo Resultado** (excluye
outliers)
Resultados
Nivel de cumplimiento de metas ‘positivas’ (%)
(Valor Meta/ Valor Resultado)*100, por región y por tipo de productor
104,13% [promedio resultado por regiones y por tipo de productor] Nivel de cumplimiento de
metas ‘negativas’ (%)
(Valor Resultado/ Valor Meta)*100, por región y por tipo de productor
102,98% [promedio resultado por regiones y por tipo de productor] Porcentaje de usuarios que
cumplen con sus metas ‘positivas’ (%)
(Número de usuarios con nivel de cumplimiento promedio >=100%)/ No. de usuarios con información completa en %Cump 84,16% [promedio resultado por regiones y por tipo de productor] Porcentaje de usuarios que
cumplen con sus metas ‘negativas’ (%)
77,11%
Porcentaje de usuarios que cumplen con sus metas ‘positivas’ y ‘negativas’ (%)
83,80% [promedio resultado por regiones y por tipo de productor] Tasa de variación [(Valor Resultado – Valor 33,25% [promedio
197 indicadores ‘positivos’ (%) Inicial)/ Valor Inicial] *
100, por región y por tipo de productor
resultado por regiones y por tipo de productor] Tasa de variación
indicadores ‘negativos’ (%)
-15,88% [promedio resultado por regiones y por tipo de productor] Porcentaje de usuarios que
obtienen variación positiva o nula de metas ‘positivas’
(Número de usuarios con tasa de variación
promedio >=0%)/ No. de usuarios con información completa en Tasa de variación
92,61% [promedio resultado por regiones y por tipo de productor]
Porcentaje de usuarios que obtienen variación
negativa o nula de metas ‘negativas’
(Número de usuarios con tasa de variación
promedio <=0%)/ No. de usuarios con información completa en Tasa de variación
90,23%
Porcentaje de usuarios que obtienen variación
favorable de metas ‘negativas’ y ‘positivas’
(Número de usuarios con tasa de variación
promedio <=0% o >=0%, según corresponda)/ / No. de usuarios con
información completa en Tasa de variación
79,78 [promedio resultado por regiones y por tipo de productor] Evaluación por parte de usuarios % de evaluaciones positivas de la AT por parte de los usuarios
(No. de evaluaciones de AT con Nota>=70)/ No. total de evaluaciones realizadas
94%
En el Cuadro anterior, se resumen los principales resultados de este estudio que fueron traducidos en la forma de indicadores. Tal como se indica en la sección respectiva, el análisis de actividades que se registran en las planillas UO no permitió construir indicadores de eficacia o calidad como los que propone el Panel ya que éstas no son descritas en términos de los usuarios que benefician efectivamente, sino solo en términos teóricos.
198
4. Conclusiones
Resultados
Se observa que, en general, el programa se desempeña positivamente en las distintas regiones del país que fueron consideradas en este estudio. A nivel nacional, se observa que un 83,8% de los usuarios logra cumplir con sus metas propuestas en un 100% (tanto positivas como negativas) y este nivel de cumplimiento se alcanzaría en la gran mayoría de las regiones. La excepción son Arica y Parinacota y Antofagasta, que alcanzan un porcentaje de cumplimiento agregado cercano al 8%.
Las tasas de variación antes-después refuerzan estos resultados positivos, ya que todas las regiones logran aumentar el nivel promedio de sus indicadores positivos entre la situación `inicial´ y ‘final’ -o resultado- (variación promedio positiva). A nivel nacional, existe también una variación negativa deseada en indicadores ‘negativos’ pero, a nivel regional, los resultados son más dispares. Todos estos indicadores tienen un mejor desempeño en los productores de Autoconsumo en comparación a los productores ‘Productivos’.
Desafortunadamente, los resultados anteriores son empañados por problemas de registro de información importantes en las regiones, que impiden concluir de manera contundente y confiable sobre los cálculos realizados. Tal como se indica en la sección metodológica, existen problemas asociados a la tabulación de múltiples filas de observación, errores en el cálculo de indicadores (por ejemplo, falta de distinción entre indicadores ‘positivos’ y ‘negativos- los cuales llevan a una interpretación equivocada de resultados si los errores no son corregidos), sobre- representación aparente de buenos resultados (por ejemplo, reporte exclusivo de indicadores con 100% de cumplimiento en algunos casos). Una dificultad adicional se vincula con la heterogeneidad de criterio en el registro de información entre regiones que impide realizar comparaciones confiables entre éstas. Por otro lado, los resultados obtenidos llevan a cuestionarse sobre la forma como son definidas las metas programáticas ya que, en general, pareciera que éstas no apuntan a desafiar al productor en su quehacer, sino que a mantener la producción observada en el estado ‘inicial’. De hecho, los resultados indican que la mayoría de los productores logra cumplir con sus metas en un 100% o más, y no se logra hacer una discriminación clara entre productores con distintos niveles de logro. Por último, cabe mencionar que las metas establecidas solo recogen una parte de los indicadores propuestos en los PMP y revelan la falta de un criterio único para seleccionar él o los indicadores que se utilizan para evaluar a los usuarios en el Anexo 1.
Satisfacción de usuarios
En general, se observa que tanto los Asesores Técnicos (Extensionistas) como las entidades ejecutoras reciben muy buenas notas por parte de los usuarios. Las entidades ejecutoras son además evaluadas positivamente por INDAP y las notas que la institución entrega son congruentes
199 con las que entregan los usuarios. Debido a que en este componente del estudio se encontraron solo problemas de registro de información menores, es posible acoger de manera confiable los resultados antes descritos. En este componente, las recomendaciones se encuentran más asociadas a la heterogeneidad observada en la evaluación por parte de usuarios a los AT. En efecto, se constata que no existe un número de usuarios único (o similar) que sea respetado en la evaluación de un mismo AT159. Un AT puede ser calificado tanto por un usuario único, como por 32.
Componente Asistencia Técnica (Actividades de los usuarios)
Pueden realizarse conclusiones respecto a la distribución de actividades por categorías, tanto a nivel geográfico (comunal, regional y macrozona) como por tipo de usuario. En efecto, se observa que las actividades se distribuyen de manera heterogénea en ambas dimensiones (por comuna y por tipo de productor) y no se encuentra un patrón de comportamiento claro al respecto. De hecho, contrario a lo esperado, no se logra establecer una asociación intuitiva entre el tipo de actividades que se ejecutan en una comuna y el tipo de productor que en ésta opera. Similarmente, no es posible hacer una vinculación entre las actividades que se ejecutan en una región y los usuarios efectivos que las reciben, ya que la ejecución de actividades sólo es calificada en las planillas por UO de acuerdo con su estado de avance, y no de usuarios beneficiados. A nivel de usuario, es posible extraer la planificación de actividades a partir de las planillas PMP y PTA, pero ésta no puede ser contrastada con los registros de las planillas por UO mientras no exista un registro detallado de los usuarios beneficiados. En efecto, se considera que la suposición de que todos los usuarios de la nómina de productores de una comuna son beneficiarios efectivos de las actividades, puede conducir a errores. Esto se debe a que, tal como se muestra en la sección de Resultados del programa, los registros de indicadores sólo abarcan a un 46,06% de los beneficiarios del programa en las regiones consideradas en este estudio, y un 27,64% del total de beneficiarios del país.
5. Recomendaciones del Estudio Complementario
Resultados
En base a los resultados del componente de resultados, se recomienda establecer un sistema de monitoreo y evaluación que permita agregar los resultados obtenidos a nivel nacional de manera confiable, oportuna y completa, y que minimice la posibilidad de cometer errores de registro de información.
159 En reuniones con la contraparte técnica se señala que, en teoría, un AT debiese ser evaluado por 5 usuarios aproximadamente, pero las cifras no reflejarían este criterio