Respecto de los resultados de mediano plazo agregados del programa, éstos se construyeron a partir del procesamiento y sistematización de la información contenida en el Anexo 1 de cada una de las planillas entregadas por UOs, de acuerdo con lo siguiente:
I. Se extrajeron los datos contenidos en la hoja ‘Anexo 1’ de 147 planillas Excel por UO, recibidas al 15 de Abril del 2018. En el Cuadro 1 se presenta un resumen del total de planillas recibidas y procesadas para este estudio (las planillas duplicadas se contabilizan sólo 1 vez)153.
Cuadro 1-No. de archivos disponibles y procesados, por región
Región No. total de archivos (planillas Excel) Arica y Parinacota 1 Antofagasta 2 Atacama 0 Coquimbo 11 Valparaíso 0 RM 9 O'Higgins 31 Maule 0 Bío Bío 45 Los Lagos 0 Araucanía 21 Los Ríos 12 Aysén 11
153 Como se observa en el Cuadro, se consideraron sólo 10 de las 15 regiones del país. Las 4 regiones restantes se rigen por el año de planificación agrícola y, a la fecha de realización de este estudio, no habían realizado evaluaciones de desempeño.
160
Magallanes 4
TOTAL 147
Fuente: Elaboración propia
II. Se compiló la información bruta en una planilla Excel única, adoptando un formato de base de datos (es decir, una observación -indicador - por fila, y múltiples columnas). A partir de ésta se realizaron todos los cálculos asociados con los resultados de mediano plazo del programa.
III. Se desagregaron múltiples datos agrupadas en categorías (celdas combinadas)
IV. Se construyeron variables adicionales para organizar la información (por ejemplo, Comuna/ UO y Región)
V. Se corrigieron problemas de registro evidentes (valores mal ingresados, con puntos y/o comas demás, formato incorrecto, etc) y cálculo observados.
VI. Se categorizaron los indicadores y usuarios por rubro. Las categorías -Autoconsumo y Producción- se construyeron a partir de los registros de las planillas Pla de Trabajo Anual( (PTA) y Plan de Mediano Plazo (PMP)154 que aparecen en documento excel denominado Anexo No. 1, que listan el rut del usuario así como el rubro en el que éste se desempeña. Esta información fue vinculada con los datos de usuario que registra el Anexo 1, considerando que ‘Autoconsumo’ corresponde a los rubros ‘Subsistema Agrícola’ y ‘Subsistema Pecuario’.
VII. Se categorizaron los indicadores por tipo: Positivo y Negativo. El primer grupo reúne a todos aquellos indicadores cuyo desempeño debe ser evaluado en términos ‘positivos’, ya que se espera observar un aumento o mantención del indicador con el paso del tiempo. Por ejemplo, se esperaría que el ‘número de meses de disponibilidad del producto’ o el ‘número de hectáreas cultivadas’ mostraran un comportamiento positivo a raíz de la implementación del programa. En términos generales, los indicadores que en esta categoría se agrupan están asociados a producción, productividad, ingresos, mejoras de gestión, entre otros. El segundo grupo, reúne a todos aquellos indicadores cuyo desempeño debe ser evaluado en términos ‘negativos’, ya que se espera observar una disminución del indicador. Por ejemplo, se esperaría que el ‘gasto anual en insumos externos’ o el ‘porcentaje de colmenas muertas’ mostraran un comportamiento negativo a raíz de la implementación del programa. En términos generales, los indicadores que en esta categoría se agrupan están asociados a costos, mermas y pérdidas. En cualquier caso, el primer grupo contiene la gran mayoría de las observaciones (tal como se muestra en los cuadros de resultados siguientes) y su categorización se realizó de acuerdo con lo siguiente:
Dado que el formulario de registro no incorpora una variable única que permita distinguir entre indicadores ‘positivos’ y ‘negativos’, se construye una variable auxiliar para dicho propósito. Esto se hace en base a los objetivos asociados a cada indicador de desempeño, los cuales fueron
154 En el PMP se definen los objetivos de la acción, los ejes de desarrollo y los requerimientos de asesorías, desarrollo de capacidades e inversiones. Adicionalmente, se explicitan los indicadores y metas, que permitan visualizar los resultados esperados. El PTA se elabora a partir del PMP.
161 categorizados en función de un conjunto de palabras clave que se resumen en el Cuadro 2. Así por ejemplo, todos los objetivos de mejora que contienen la palabra ‘Aumentar’ fueron agrupados bajo la categoría ‘Positivos’, y asimismo se categorizaron los indicadores asociados a éstos. El término ‘positivo’, tal como fuera explicado, se utiliza en referencia al cambio incremental esperado para un indicador particular. Se incorporan también en esta categoría objetivos ‘neutros’, descritos a partir de palabras como ‘mantener’ y ‘conservar’. Siguiendo la misma lógica, los objetivos (y por consiguiente, los indicadores asociados) que contienen palabras como ‘disminuir’ y ‘reducir’, fueron agrupados bajo la categoría ‘Negativos’.
Cuadro 2-Categorización de indicadores: Positivo y Negativo
Categoría Palabras clave (exactas y relacionadas)
Ejemplos de Objetivos de mejora
Ejemplos de indicadores
Positivo Aumentar, Ampliar, Mejorar, Diversificar, Elevar, incorporar, crear, incrementar, promover, apoyar, recuperar, producción, rendimiento, mayor, nuevo, fomentar, generar, desarrollar, fortalecer, optimizar, establecer. Mantener y Conservar Ampliar temporada productiva Hortalizas Aumentar Productividad Ovina Mejorar rendimientos en frutales N° de meses con disponibilidad de producto % de destete Kg/Ha Negativo Reducir, eliminar, prevenir,
menor, disminuir Reducir mortalidad invernal Reducir gastos en insumos externos % de colmenas muertas Gasto anual en insumos externos Fuente: Elaboración propia
En total, se categorizaron 407 objetivos distintos (filas de información). Sin embargo, esto no implica que existan 407 objetivos únicos utilizados en el seguimiento de indicadores. En efecto, un mismo objetivo puede ser descrito de diversas formas (ej. agregando más o menos palabras, cambiando el orden de las palabras, etc.) y esto es, en esencia, lo que explica la complejidad del trabajo de categorización sistemática de ésta y otras variables de información. Finalmente, los indicadores categorizados como ‘negativos’ fueron sometidos a una segunda revisión para corregir errores de categorización asociados al primer criterio empleado (uso de palabras clave). Así por ejemplo, el objetivo ‘Reducir incertidumbre de la venta’ si bien se vincula con palabras clave ‘negativas’, es representado en la matriz de indicadores a través de indicadores como ‘Apoyo básico en comercialización’. Estos casos fueron re-categorizados para capturar el sentido del indicador, y no del objetivo.
Los objetivos e indicadores del Bío Bío no fueron sometidos a este proceso ya que el formato propio de Anexo 1 que esa región utiliza incorporar una variable para capturar la dimensión
162 positivo/ negativo (específicamente, se captura a través de objetivos de mejora ‘simplificados’ que sólo indican si el indicador descrito debe ‘aumentar’ o ‘disminuir’).
VIII. Se construyeron indicadores de resultado, corrigiendo por problemas de registro y calidad de la información (se recalculó el ‘Nivel de cumplimiento’ utilizando sólo registros con información completa) y adicionando formas alternativas de emplear la información disponible, tal como se muestra en el Cuadro 3.
Cuadro 3 - Indicadores calculados por dimensión de análisis
DImensión Indicador Cálculo e interpretación
Cumplimiento de Metas
Nivel de cumplimiento de metas
‘positivas’ (%) (Valor Meta/ Valor Resultado)*100, por región y por tipo de productor Nivel de cumplimiento de metas
‘negativas’ (%)
(Valor Resultado/ Valor Meta)*100, por región y por tipo de productor Porcentaje de usuarios que cumplen
con sus metas ‘positivas’ (%) Número de usuarios con nivel de cumplimiento promedio >=100% Porcentaje de usuarios que cumplen
con sus metas ‘negativas’ (%)
Variación antes-después
Tasa de variación indicadores
‘positivos’ (%) [(Valor Resultado – Valor Inicial)/ Valor Inicial] * 100, por región y por tipo de productor
Tasa de variación indicadores ‘negativos’ (%)
Porcentaje de usuarios que obtienen variación positiva o nula de metas ‘positivas’
Número de usuarios con tasa de variación promedio >=0% Porcentaje de usuarios que obtienen
variación negativa o nula de metas ‘negativas’
Número de usuarios con tasa de variación promedio <=0% Fuente: Elaboración propia
Los resultados de mediano plazo del programa son representados a partir de 3 variables de seguimiento/ resultado principales (Inicial, Meta y Resultado) que se traducen en la construcción de indicadores en 2 dimensiones: Cumplimiento de Metas y Variación Antes-después.
Dificultades encontradas en el proceso de sistematización:
- Existe una clara heterogeneidad entre regiones y también dentro de cada región (por comuna o Unidad Operativa), sobre el uso que se da a los formularios dispuestos. En algunas comunas y regiones, los formularios son completados respetando el formato original y sin incorporar más antecedentes que los solicitados en éste. En otras, los formularios han sido modificados para ingresar nueva información o bien para ajustar el formato para la conveniencia de quien los utiliza (por ejemplo, se agregan columnas con nuevas variables, las columnas se cambian de orden, se eliminan algunas variables - incluyendo variables de resultado individuales -, se dividen los registros de usuarios e indicadores según alguna categoría de interés, llevando incluso a la separación de los datos
163 en múltiples hojas Excel que representan subgrupos del ‘Anexo 1’. Por ejemplo, la región de Biobío utiliza un formato de Anexo 1 propio, que no responde a la forma y estructura de las otras regiones. Todos estos factores dificultan la construcción de una base de datos única y homogénea para el Anexo 1
- Algunas regiones presentan múltiples archivos (planillas) por comuna o Unidad Operativa, con distintos niveles de actualización y/o completitud (por ejemplo, se registran resultados para un determinado grupo de individuos en una primera planilla, y los resultados de otro grupo en una planilla distinta).
- Se observa una clara heterogeneidad en la cantidad de información que se registran en las planillas. Por ejemplo, se observa que, en algunas regiones, los indicadores solo son registrados en el formulario cuando se dispone de información completa para éstos en las variables Inicial, Meta, Resultado. En otros, los indicadores se registran solo a modo de ‘título’, sin incorporar cifras para las variables mencionadas, y derivando en el cálculo de indicadores erróneos.
- Se observa también una clara heterogeneidad en la calidad de información que se registran en las planillas. En algunas de ellas, se encuentran extensos problemas de forma en el registro de la información (por ejemplo, datos mal tabulados, con comas o puntos demás, con formatos incorrectos, etc.), mientras que en otras, éstos son mínimos.
- Esta misma heterogeneidad se constata en la forma en que se presenta la información, tanto en las planillas UO como en las planillas agregadas de INDAP. Por ejemplo, los usuarios, y sus respectivos RUTs son registrados en las planillas UO con un criterio distinto al que se utiliza para completar las planillas PTA y PMP - algunos RUT son registrados con punto, otros con guion, otros sin dígito verificador, etc- dificultando el cruce entre distintas bases de datos.
- Se encuentran errores de cálculo en variables e indicadores que reporta el Anexo 1. Por ejemplo, el indicador ‘Nivel de Cumplimiento’ (entendido como %Cump=Meta/Resultado*100) se calcula equivocadamente al seleccionar un numerador o denominador que no corresponde o al construirse sobre la fase de filas de información incompleta, ya sea en la variable Resultado o Meta. Igualmente, este indicador se calcula en las planillas sin distinguir entre indicadores del tipo ‘Posito’ o ‘Negativo’, conduciendo a una interpretación errónea de los resultados.