En 2013, los agentes de la APPD acordaron llevar a cabo la evaluación intermedia, que abarca el periodo 2010-2013 y que se llevó a cabo entre septiembre de 2013 y enero de 2014. El objetivo general de esta evaluación intermedia era obtener una valoración del diseño del modelo de gestión de la APPD y de los resultados alcanzados hasta la fecha, así como un análisis de la institucionalidad pública local, con el fin de aportar recomen- daciones concretas para la ejecución restante que permitieran mejorar la calidad de la intervención.
Esta evaluación intermedia, al tratarse de la primera evaluación de una APPD en el marco de la Cooperación Española, fue incluida en el Plan Bienal de Evaluaciones 2013-2014 entre las evaluaciones centralizadas por su carácter piloto. Por ello, la gestión del proceso se llevó a cabo con el acompañamiento técnico de la División de Evaluación de Políticas para el Desarrollo y Gestión del Conocimiento de la SGCID.
Para la realizar la evaluación del proyecto se contó con tres pasos:
1. Trabajo de Gabinete: recopilación de los documentos necesarios, así como la formulación de las preguntas a realizar para la obtención de la información mediante encuestas y entrevistas
2. Trabajo de Campo: ejecución de entrevistas y encuestas que permitan obtener la información necesaria para la evaluación.
3. Redacción de Informe: sistematización y análisis de la información obtenida.
Los principales hallazgos de la evaluación son:
“En general, algunos socios plantean que la alianza se ha diseñado y ejecutado a través de diferentes actividades en distintos sectores o ejes dentro de un territorio determinado. Sin embargo, no ha existido la suficiente articulación ni coordinación entre los ejes que conforman la alianza, lo que ha impedido entender la APPD desde un enfoque integral.
Página 183 Sobre la composición de la alianza, los operadores manifestaron que la MMQÑ, aunque contraparte de la APPD, no era socia de pleno derecho, lo que ha propiciado que la relación entre los distintos actores del programa y las instituciones públicas no se haya diferenciado de las relaciones que se desarrollan en cualquier tipo de proyecto de cooperación. Sin embargo, la Mancomunidad indicó que la APPD “es parte” de ella, en el sentido de que la alianza se incluye dentro de las estructuras de la MMQÑ, y que por lo tanto la gestión es su responsabilidad. Estas distintas visiones, de acuerdo con lo manifestado en el taller de cierre durante el trabajo de campo, han generado dificultades de entendimiento sobre la composición y el funcionamiento de la APPD”.
(Página 29, Evaluación intermedia, 2014).
Cuando observamos los resultados obtenidos, en los pasos antes mencionados, desglosamos los resultados para cada eje:
Gestión territorial: en este eje se observa un déficit con respecto a la meta
planeada: El proyecto había trazado como meta para el año 2013 reforestar 570 hectáreas, de las cuales llevaba, hasta el momento de realizarla evaluación, 428 hectáreas.
Eje educativo: Fe y Alegría definió una población objetivo de 2.563 alumnos, de
los cuales había llegado a intervenir con el 70%.
Eje productivo: en su primer año si logro asegurar el objetivo de cobertura en 34
familias, mientras que en el segundo año dicha meta no había sido cumplida.
Eje comunicaciones: se logró acondicionar 3 aulas telemáticas en 3 centro
educativos distintos. A su vez, también se equipó a otros 24 centros educativos, capacitando a 44 profesores de las 3 aulas telemáticas. Pese a ello, las aulas no se cuentan con el debido mantenimiento. Además aún no se presentaban avances en la instalación de internet y telefonía celular.
Página 184
Eje género: se desarrolló, en 16 organizaciones de mujeres, la temática del
derecho a la vida de violencia, a la salud sexual y reproductiva. Sin embargo, las instituciones estatales encargadas de este objetivo, argumentaron que dichas acciones no serían sostenibles sin el apoyo del proyecto.
Eje gobernabilidad: se había logrado una cobertura del 90% de la población
objetivo, pero solo el 50% de los funcionarios y el 40% de las autoridades locales hacía uso de los instrumentos disponibles.
En resumen, la evaluación intermedia nos muestra las siguientes conclusiones:
Sobredimensionamiento de objetivos:
“En términos generales, en la mayoría de los ejes, existe un sobredimensionamiento de las metas”.
(Página 47, Evaluación intermedia, 2014).
Durante el proceso de ejecución del proyecto, se había buscado llegar a cumplir los objetivos planteados en su formulación, en los múltiples ámbitos, donde este decidió intervenir. Pero la falta de un adecuado estudio sobre la dimensión y características de la población objetivo, desfavoreció y complico la acción de las entidades, por lo que cumplir los objetivos finales sería una tarea difícil y, en la mayoría de los casos, imposible.
De este modo, al momento de revisar la información de la evaluación intermedia notamos que cierta disconformidad de los beneficiarios directos del programa.
“En algunas ocasiones, las beneficiarias han manifestado que el programa no responde a sus necesidades”
Página 185 Por lo que se reafirmaría lo dicho anteriormente, ya que si los beneficiarios no sienten que el programa responde a sus necesidades, probablemente no se tuvo un buen estudio de las necesidades de la población y de cómo satisfacerlas.
Aplicación metodológica de una APPD: la ausencia de una definición común y la falta
del conocimiento adecuado de la aplicación de una APPD, por parte de los agentes de la alianza, jugó un papel determinante en la relación entre las entidades ejecutoras y públicas, que muchas veces no se sentían incluidas e incluso comprometidas con el proyecto, tal es el caso de las autoridades municipales que no asistían a las reuniones del Comité Perú, a pesar de haber sido invitados en múltiples ocasiones.
La desarticulación entre municipalidad y entidad no permitió que se encontrara soluciones idóneas a los problemas que se presentaban durante la ejecución. De haberse podido contar con la mayor participación de las municipalidades, hubiera sido posible un mejor dinamismo entre los beneficiarios y las entidades ejecutoras, teniendo como actor intermediario a las municipalidades.
Por ello dentro de las conclusiones de la evaluación realizada al proyecto se menciona:
“Se recomienda generar los espacios necesarios para discutir y trabajar documentos que brinden una idea común y compartida sobre APPD"
(Página 89, Segunda Evaluación Conjunta APPD Acobamba)
De esta forma se espera que los problemas con respecto a la aplicación de una APPD se reduzcan o desaparezcan, ya que si se cuenta con una sola versión de lo que es una APPD y se comparte dentro de un espacio de dialogo, donde todos los actores activos interrelacionen, se puede trabajar de manera más uniforme y ordenada.
Problemas derivados de la metodología usada en el proyecto. Durante la ejecución, se
buscó cumplir con los objetivos trazados en cada eje del proyecto, pero muchas veces los métodos no eran los adecuados para la población objetivo, como es el caso del eje de
Página 186 género, que buscaba mayor inclusión y desarrollo de la mujer en la zona, pero cuando se aplicó las entrevistas y encuestas, las mujeres manifestaron que efectivamente hubo una ayuda pero, no fue la adecuada para su situación. Otro caso se produjo en el eje educativo, que buscaba el incremento de la cobertura educativa y la capacitación de los docentes. Durante la ejecución, se buscó capacitar a los docentes, pero muchos de estos no asistían porque sentían que podrían perder sus empleos o no se sentían comprometidos, y así cada eje de ejecución tuvo algún problema en su respectivo objetivo.
“La APPD no cuenta con una estrategia de comunicación que permita llegar a las instituciones con las que se articula o coordina"
(Página 77, Segunda Evaluación Conjunta APPD Acobamba)
Aquí afloran los problemas de la separación por especialización.Si bien es cierto que la idea de que cada empresa sigua un objetivo, según su especialidad en la meta a conseguir, resulta eficiente desde un punto de vista administrativo, pueden surgir disfunciones. Si no hay una integración horizontal de estas, la idea de APPD no se llega a realizar, puesto que al separarse los objetivos y realizarlos cada entidad por su cuenta, es como si montaran un proyecto independiente cada una de ellas. Sin tener una interrelación estrecha entre las organizaciones no fue posible compartir experiencias, que es una de las ventajas principales de realizar una APPD o cualquier tipo de alianza. Esta situación no permitió, por ejemplo, aprender más rápidamente sobre la cultura de la población, lo cual, en esencia, no permitió la adecuada implementación de soluciones en los ejes del proyecto.
Como se puede apreciar, durante fase de ejecución del proyecto se revelaron muchos problemas, técnicos y propios del liderazgo del proyecto. Es cierto que todo proyecto con múltiples objetivos y muchos participantes presentan un reto para cualquier asociación o alianza y, como señala Cañeque (2008) cuanto mayor sea el número de participantes de una APPD mayor será la dificultad en su articulación. En este caso la especialización llevo a la separación de los agentes por objetivos, lo que no permitió la adecuada integración horizontal, imprescindible en toda asociación y por ende APPD, fracasando el intercambio de experiencias entre agentes.
Página 187 Sumado a ello, la falta de adecuados estudios e investigaciones en la población objetivo, fue un elemento clave que dificultó el progreso de este proyecto, ya que el factor idiosincrático jugó un papel fundamental en la aplicación del método adecuado para el cumplimiento de metas. Según Tennyson (2008), no es posible definir un solo método de APPD, ya que su aplicación varía según el contexto donde se ejecute.
Principales recomendaciones del equipo evaluador (Texto tomado en su integridad del
documento original)
1. Se recomienda generar los espacios necesarios para discutir y trabajar documentos que brinden una idea común y compartida sobre la APPD. Se espera que, al menos, se cuente con un Manual de Gestión, que como mínimo aborde los siguientes contenidos: misión y visión; organigrama; funciones y responsabilidades del Comité Perú y de la Unidad de Gestión; y compromisos, funciones y responsabilidades de cada socio: sector en el que trabaja, aporte a los/as titulares de derechos y al desarrollo, funciones, responsabilidades e incumplimientos.
2. Se sugiere incluir a la Mancomunidad Qapaq Ñan (MNQÑ) en las reuniones del Comité Perú como miembro de pleno derecho. Asimismo, se recomienda la creación de una “dirección” en el Comité Perú, compuesta por 6 tres/cuatro representantes - preferentemente uno del sector privado, uno de las ONGD, y uno de la Mancomunidad Qapaq Ñan, y/o la AECID - que se hagan responsables de convocar reuniones trimestrales, presentar la agenda, realizar gestiones con distintos actores, resolver situaciones imprevistas, etc. Es importante que estas decisiones adoptadas por los socios de la APPD tengan también el respaldo de los operadores.
3. Las decisiones sobre la Unidad de Gestión, o demás cuestiones que puedan afectar a todos los socios operativos, deberían ser tomadas desde el Comité Perú. Asimismo, se recomienda explorar la posibilidad de que la Unidad de Gestión sea asumida por una entidad distinta a los socios y operadores. Aunque pueda parecer que esta
Página 188 recomendación merma el liderazgo que deben tener las entidades públicas en el desarrollo de sus comunidades, entendemos que el rol protagónico de estas entidades pasa por establecer las prioridades, participar en la concepción, diseño y seguimiento de las estrategias, y crear los mecanismos para que, conjuntamente, se ejecuten las actividades en beneficio de la población.
4. En lo que respecta a los mecanismos de comunicación del programa, se recomienda el establecimiento de una estrategia de visibilidad y comunicación. Asimismo, con el fin de mejorar el conocimiento de las actividades será conveniente hacer partícipes a las alcaldías distritales de las reuniones de la Unidad de Gestión.
5. En relación al sobredimensionamiento de las metas del programa, se recomienda reformularlas centrándose en las reales y alcanzables, considerando la sostenibilidad de los beneficios/servicios que se puedan obtener, y la posibilidad de liberar tiempo para que los distintos ejes realicen coordinaciones y articulaciones que posibiliten una mayor eficiencia e impacto.
6. Se recomienda igualmente explorar la posibilidad de establecer “comités sectoriales”, teniendo como norte la coordinación operativa de actividades puntuales, que permitan maximizar el impacto y la eficiencia en la gestión de los recursos. En estos ejes se esperaría la presencia de los demás stakeholders de la provincia.
7. Se recomienda elaborar los POA de cada eje de manera conjunta, abriendo la participación a los demás socios y/o operadores, pudiendo identificar las actividades donde podría trabajarse conjuntamente.
8. Se considera importante establecer mecanismos de monitoreo desde la Unidad de Gestión, que permitan no solo conocer si las actividades planificadas están siendo ejecutadas, sino si estas actividades están logrando los resultados y el impacto esperado en los/as titulares de derechos, responsabilidades y obligaciones.
Página 189 9. Se recomienda mejorar la calidad de los indicadores y unificar los informes de seguimiento de los ejes, estandarizando y organizando la información según lo formulado en la matriz de planificación.
10. Resulta conveniente –y conforme a la Declaración de París– trabajar mecanismos de rendición de cuentas a la población, en forma de “audiencias públicas”, donde los distintos ejes expongan el trabajo y los logros conseguidos, y ello permita recabar opiniones de la sociedad civil.
El caso de la APPD de Acobamba es una interesante experiencia que ha implementado directamente la AECID en Perú. Aún está en ejecución y probablemente durante este año se realizaran los ajustes y recomendaciones que han surgido de la evaluación intermedia.