Como recién señalamos, DIPRES aplica un método de evaluación de programas gubernamentales basado en la metodología del Marco Lógico. Antes de describir los
elementos que señala la propia DIPRES le interesan de este método, señalaremos algunas bases conceptuales de éste.
Ortegón, Pacheco y Prieto (2005), indican respecto del Marco Lógico que este método viene a resolver una necesidad de generar un espacio de planeamiento estratégico que permita ordenar, conducir y orientar las acciones hacia el desarrollo integral del país, región, municipio o institución, en tareas de identificación, preparación, evaluación, seguimiento y control de proyectos y programas. Dentro de este planeamiento estratégico, existe una relación de coordinación técnico- funcional, que busca que los programas cumplan con las metas para los cuales fueron creados. Ésta se lleva a cabo en 3 niveles: el estratégico, asociado al diseño de ideas y planes nacionales, que se traducen en las grandes prioridades y metas; el segundo nivel es el programático, donde el rol de las instituciones es fundamental para que las políticas se alineen con las directrices estratégicas. Por último, se encuentra el nivel operativo, donde se ejecutan los programas a nivel operativo, con límites temporales y propósitos más específicos.
De esta forma, es estructura un orden vertical y horizontal de coordinación entre estos niveles, donde el largo plazo de las metas, se articulen con el corto plazo de los programas y proyectos.
Debido a esta lógica de carácter causal –indican los autores- la metodología del Marco Lógico permite ordenar la estructura recién mencionada, siendo útil en las diferentes etapas del desarrollo de un programa o proyecto. El producto del desarrollo de esta metodología se traduce en una Matriz de Marco Lógico.
Por esta misma razón la evaluación basada en Marco Lógico constituye un aporte en el trabajo de control de gestión y presupuesto por resultados –y es útil para DIPRES- ya que la información que entrega, tanto a nivel desagregado como en la lógica vertical y horizontal facilita entre otras cosas la observación del cumplimiento de logros esperados para cada nivel, el monitoreo y la disposición de información de utilidad para llevar a cabo una evaluación. Además, permite incorporar las responsabilidades de los diferentes actores que intervienen en el proyecto, y facilita el trabajo de gerencia.
Además de estas potencialidades, los autores mencionan que lo importante es que se prioriza la idea de llevar a cabo procesos o reestructurar mecanismos que permitan cumplir
las metas esperadas, es decir avanzar en la eficacia –concepto que hemos definido como central para describir la perspectiva institucional sobre resultados-.
La evaluación a partir del Marco Lógico.
A partir del reconocimiento de las virtudes de esta metodología, los autores citados indican que el objetivo de llevar una evaluación a partir de esta metodología es “medir y analizar el desempeño, a fin de gestionar con más eficacia los efectos y productos que son los resultados en materia de desarrollo” (2005, p. 47).
Considerando lo que hemos expuesto, la evaluación desde esta perspectiva corresponderá a una definición de valor y mérito y reflexión sobre el diseño, la ejecución, la eficiencia, la efectividad, los procesos y resultados de un proyecto, en ejecución o completado. De esta forma, observamos que existe una amplitud de elementos de interés en los que puede enfocarse este tipo de evaluación. El resultado, eso sí, deberá ser la formulación de conclusiones respecto de lo que ha sido posible observar a partir de la información generada por la matriz.
La finalidad de esta evaluación puede ser de carácter formativo (en caso que el programa se encuentre en ejecución y sea posible mejorar su desempeño) o sumativo (lo que ocurre cuando el programa o proyecto ha finalizado, y se analizan sus resultados o impacto). Un último elemento que quisiéramos destacar es que los autores recomiendan que este tipo de evaluación a) debe ser sistemático (planeado e integrado en todo el ciclo); participativo (introducción de los involucrados); centrado en el desempeño (verificar si los resultados están de acuerdo con los propósitos esperados), dirigido al aprendizaje (capaz de convertir experiencias en lecciones) y guía para toma de decisiones (proporciona información para tomar decisiones informadas o cambiar determinadas acciones).
La evaluación de Marco Lógico vista desde DIPRES.
Anteriormente, se señaló en forma resumida la lógica y objetivos de la evaluación basada en Marco Lógico. A continuación, y con objeto de acercarnos a la perspectiva institucional que intenta describir esta investigación, describiremos la aproximación que hace la propia DIPRES de este tipo de evaluación que realiza, para ver cómo aplican conceptos que ya
De acuerdo a DIPRES (2005) la línea de Evaluación de Programas Gubernamentales se basa en la metodología de Marco Lógico, utilizada por organismos multilaterales tales como el Banco Mundial y el BID. Según señala esta institución, el trabajo evaluativo que sigue esta estructura se puede describir como la identificación de los objetivos de los programas y el análisis de la consistencia del diseño y resultados de esos objetivos, sobre la base de los antecedentes e información existente (2005, p. 45). En otro trabajo (2006) DIPRES señala que el Marco Lógico es una herramienta de trabajo que permite al evaluador examinar el desempeño de un programa en todas sus etapas. Además, y bastante relacionado con los conceptos que revisamos del Marco Lógico, se indica que permite presentar en forma sistemática y lógica los objetivos de un programa y sus relaciones de causalidad. Además de ello, sirve para evaluar si se han alcanzado los objetivos y definir los factores externos al programa que pueden influir en su consecución.
Después de reconocer la forma en que se conceptualiza este tipo de evaluación por parte de DIPRES, podemos describir la forma en que ésta se ejecuta. De acuerdo a Guzmán, la evaluación se inicia con la elaboración de la matriz de Marco Lógico, considerando la identificación del Fin y Propósitos los objetivos específicos de cada componente, sus principales actividades e indicadores de desempeño y supuestos.
Después de la construcción de esta matriz, se lleva a cabo la evaluación, considerando los siguientes conceptos:
a) Justificación: análisis del diagnóstico o problema que dio origen al programa y que éste espera resolver;
b) Diseño: análisis del ordenamiento y consistencia del programa considerando sus definiciones de fin, propósito, componentes y actividades para responder a ellos. c) Organización y gestión: corresponde al análisis de los aspectos institucionales en los
que opera el programa y a la revisión de los procesos, instancias de coordinación e instrumentos a su disposición para cumplir con sus actividades y lograr sus propósitos;
d) Resultados: evaluación de la eficacia, eficiencia y economía del programa, desde la perspectiva de los procesos, productos y resultados intermedios y finales. El concepto de eficacia –que es el que más nos importa en esta tesis- es descrito como el grado de cumplimiento de los objetivos planteados en los diferentes ámbitos de
control del desempeño, tanto en términos de producción de bienes y servicios. Como en términos de los resultados en la población objetivo Se incluyen en este concepto la dimensión de calidad de los bienes o servicios y la sustentabilidad de los resultados. Por su parte, eficiencia es comprendida como la relación entre recursos y productos, incluyéndose también la identificación de actividades prescindibles o posibles de externalizar y el grado de competencia ente estos procesos. Por último, economía refiere a la capacidad del programa para generar y movilizar adecuadamente recursos financieros (ejecución presupuestaria, recuperación de préstamos y capacidad de generar ingresos). (2005, p.47).
Respecto a los resultados de estos análisis, se hace un juicio sobre la sostenibilidad o continuidad del programa, en términos de las capacidades institucionales para llevarlo a cabo, como la necesidad o no de su continuidad considerando la evolución del diagnóstico inicial y los resultados alcanzados.
Por último, el estudio desemboca en conclusiones y recomendaciones, reconociendo debilidades e insuficiencias y buscando recomendaciones para mejorarlas.
Como hemos podido observar, en el caso de la evaluación de DIPRES los principales criterios para analizar valor y mérito de cada programa son los propios objetivos y metas de éste: si se han ido alcanzando o no los resultados esperados. Por esta razón, existiendo distintos tipos de juicio en la evaluación, estimamos que el concepto de eficacia es el que se encuentra más ligado a los resultados del programa y al punto de vista institucional.