4.2 Methods
5.3.1 No environmental gradient
1. Justificación y objetivos de la eva-
luación
En cumplimiento de lo previsto en el III Plan Direc- tor (2009-2012), la Cooperación Española puso en marcha en 2009 un nuevo proceso de planifi- cación a través de los Marcos de Asociación País (MAP). El MAP es el instrumento de planificación estratégica con los países socios para avanzar en la aplicación de los principios de eficacia y cali- dad y llevar a la práctica la misión de la Coope- ración Española: contribuir al desarrollo humano, la disminución de la pobreza y el pleno ejercicio de los derechos. En este sentido, la utilización de los MAP es relativamente reciente y hasta ahora apenas ha sido evaluada.
El Marco de Asociación (MAP) entre Ecuador y España1 es el documento que ha establecido las
bases de la Cooperación Hispano-Ecuatoriana durante los últimos tres años (2011-2013), coinci- diendo con la duración de la planificación para el desarrollo del Gobierno ecuatoriano (2009-2013), con el objetivo de alcanzar resultados de desarro- llo específicos entre ambos países.
La evaluación final del MAP de la Cooperación Española con Ecuador (2011-2013), prevista en el propio MAP, constituye un momento relevan- te en el ciclo de gestión del mismo. Por un lado, constituye un elemento relevante para la rendición mutua de cuentas y por otro, servirá para valorar el MAP que ahora concluye, lo cual permitirá la extracción de lecciones aprendidas y la formula- ción de recomendaciones, como insumo para la incorporación de mejoras en el nuevo ciclo de planificación estratégica, que se iniciará en 2014. La evaluación se gestionará de manera conjunta entre el Gobierno de Ecuador y la Cooperación Española, que, junto al resto de actores implica- dos en la elaboración y ejecución del MAP, serán los principales destinatarios de los productos de la misma.
La evaluación del MAP persigue los siguientes objetivos:
• Analizar el estado actual del Marco de Asocia- ción Ecuador-España 2011-2013 como instru- mento de planificación, poniendo de relieve sus fortalezas y limitaciones, con la intención de disponer de insumos para la elaboración del próximo Marco de Asociación Ecuador-España. • Valorar la implementación del MAP y su capaci-
dad de adaptación a los cambios en el contexto, prestando especial atención a la idoneidad de los procesos de articulación interinstitucional multinivel, de cara a la extracción de aprendiza- jes que contribuyan a la mejora de los mismos. • Analizar las transformaciones experimentadas
por la Cooperación Española con Ecuador vin- culadas al MAP, analizar la contribución del pro- grama país de la Cooperación Española con Ecuador a los objetivos del PNBV durante la vi- gencia del MAP, y explorar los efectos del MAP en la contribución a la consecución de dichos resultados.
• Sistematizar buenas prácticas y lecciones aprendidas, especialmente en lo que respecta a la integración de las dimensiones transversa- les, a la gestión orientada a resultados de desa- rrollo, a la coordinación al interior de la Coope- ración Española, a la coherencia de políticas y a la aplicación práctica de los principios emana- dos de la Declaración de París y sus sucesivas revisiones.
• Contribuir a una mayor transparencia y a la ren- dición mutua de cuentas.
• Valorar la adecuación de los Modelos de Ges- tión implantados para la ejecución del MAP con relación a los compromisos que en él se esta- blecían.
Dado que el MAP entre Ecuador y España va a ser de los primeros en evaluarse en la coopera- ción española, este estudio también deberá pro- porcionar una reflexión crítica y recomendaciones acerca del propio proceso de evaluación de los MAP.
1 Disponible en http://www.exteriores.gob.es/Portal/es/SalaDePrensa/Multimedia/Publicaciones/Documents/Cooperacion/Planificacion/Pla- nificación%20pais/MAP%20Ecuador.zip
1.1. Antecedentes y contexto
El 10 de noviembre de 2010 se firmó el Acta de la XII Reunión de la Comisión Mixta Hispano Ecua- toriana de Cooperación, que incorpora el Marco de Asociación 2011-2013 con la República del Ecuador.
El MAP es una estrategia compartida hacia el cumplimiento de objetivos y visiones comunes de desarrollo, mediante la cual se impulsa los princi- pios de apropiación, alineamiento con las políticas e instituciones, y los procesos de desarrollo loca- les, armonización, gestión por resultados y mutua responsabilidad.
En ese sentido, el Marco de Asociación 2011- 2013 representa el notable esfuerzo de la Coo- peración Española para lograr una alineación con los sistemas de gestión y procedimientos propios de Ecuador según los parámetros de evaluación correspondientes al Plan Nacional para el Buen Vivir y las Agendas Sectoriales.
Su construcción se fundamenta en los preceptos constitucionales, los objetivos del Plan Nacional para el Buen Vivir, y la Estrategia de Desarrollo Endógeno. Adicionalmente, incorpora una visión de cooperación más amplia y solidaria respetan- do la soberanía de los pueblos y observando los compromisos internacionales establecidos en la Declaración de París y de Accra.
La preparación del Marco de Asociación se en- cauzó a través de un proceso de diálogo multinivel. Con la participación de diferentes actores ecuato- rianos y españoles2, a partir del cual se llegó a un
diagnóstico compartido del contexto institucional y de desarrollo del país, con el objetivo de profundi- zar y concretar los objetivos, sectores, programas y proyectos prioritarios de interés nacional.
Al mismo tiempo, se realizó un análisis de la coo- peración de otros donantes internacionales, de las ventajas comparativas de la Cooperación Es- pañola, de las posibles complementariedades y armonización entre ellas. Se establecieron meca- nismos para el análisis de la coherencia de políti- cas de desarrollo y su evaluación con el propósito de la rendición de cuentas mutua.
Como resultado de este trabajo se cuenta con un mecanismo que crea complementariedades
y sinergias entre dos países, direccionando la Cooperación Oficial al Desarrollo Española hacia las prioridades del Estado ecuatoriano y conver- giéndola en los objetivos 2,4,9,11 y 12 del Plan Nacional Para el Buen Vivir que se correspondían con los sectores del III Plan Director de la Coo- peración Española: a) Gobernabilidad democráti- ca, b) Servicios Sociales Básicos: Educación, c) Servicios Sociales Básicos: Agua y Saneamiento, d) Crecimiento económico para la reducción de la pobreza, e) Sostenibilidad ambiental, lucha contra el cambio climático y hábitat.
Como enfoques transversales a todas las accio- nes se incluyeron: género, interculturalidad, parti- cipación, derechos humanos y sostenibilidad am- biental, contemplados tanto en el PNBV como en el III PDCE.
Por último, si bien se buscó concentrar el 70% de la Cooperación Española en los objetivos/secto- res prioritarios especificados, en el otro 30% se consideraron:
– Otros objetivos a los que contribuye la Coo- peración Española, principalmente a través del trabajo de las ONGD y Organismos Multilatera- les de Desarrollo.
– Los sectores de Cultura y Desarrollo y Cien- cia y Tecnología para el Desarrollo, los cuales mantenían un conjunto de acciones en el país (Becas MAEC-AECID, PCI).
La rendición de cuentas y el seguimiento del MAP se realizan en el seno de la Comisión Paritaria de Planificación, Seguimiento y Evaluación prevista en el artículo VII del Acuerdo Complementario General de Cooperación del Convenio Básico de Cooperación Técnica, suscrito el 31 de octubre de 1988.
2. Objeto y alcance
de la evaluación
El objeto de esta evaluación es el Marco de Aso- ciación entre Ecuador y España 2011-2013. Ello implica realizar una valoración del proceso de ela- boración e implementación del mismo, así como un análisis crítico de su contribución al logro de resultados de desarrollo y al incremento de la cali-
2 Algunos de los actores participantes fueron: diferentes representantes del gobierno central, gobiernos autónomos descentralizados, fun- ciones del Estado ecuatoriano, Organizaciones No Gubernamentales tanto españolas como ecuatorianas y otros actores de las Cooperación Española presentes en ese momento en el país.
dad y la eficacia de la asociación entre la Coope- ración Española y Ecuador.
En este sentido, la evaluación adoptará un enfo- que sistémico, que permita contar con una visión global a partir del análisis de las relaciones entre diferentes dimensiones: contexto, diseño, estruc- tura, procesos y resultados.
– El diseño. Se refiere al modo en que se conci- bió y se elaboró el MAP y al propio documento en cuanto marco estratégico de actuación. Se analizará la pertinencia (en relación al contex- to, a la ventaja comparativa de la Cooperación Española y a las prioridades del país socio, in- cluyendo la participación de los diferentes acto- res y el grado de apropiación democrática); la calidad del diagnóstico inicial y de las matrices de resultados; la adecuación de la lógica de in- tervención o teoría del cambio del MAP inicial- mente planteada (reconstruyéndola el equipo evaluador si no estuviera formulada de manera explícita) y la coherencia de la estrategia subya- cente al MAP, tanto entre los diferentes elemen- tos que la conforman (interna) como respecto a las prioridades generales de la Cooperación Española y del país socio (externa).
– La estructura. Se analizará la adecuación en- tre la estructura operativa de los actores de la Cooperación Española en Ecuador y las nece- sidades que requiere la puesta en práctica del MAP: la dotación de recursos humanos y mate- riales, sistemas de información, conocimientos y capacidades; la idoneidad de los modelos y sistemas de programación, gestión, seguimien- to y evaluación; las capacidades de implemen- tación de las contrapartes, etc.
– Los procesos. En esta dimensión se analiza- rán principalmente los mecanismos a través de los que se ejecutan las previsiones del MAP. Para ello, se tendrán en cuenta la idoneidad y complementariedad de las modalidades e ins- trumentos utilizados; el cumplimiento de los pla- zos y procedimientos establecidos; la utilización de los sistemas locales y la alineación con el Gobierno de Ecuador, la coordinación y comu- nicación con el Gobierno de Ecuador; la armo- nización con otros donantes; la coordinación y comunicación entre los actores de la Coopera- ción Española, etc.
– Los resultados. Son los efectos de la Coopera- ción Española, esto es, los cambios en la reali- dad atribuibles a la aplicación de las previsiones del MAP, que deben contribuir a la consecución de los resultados de desarrollo de Ecuador. En
la medida de lo posible, se tomarán como punto de partida la matriz de resultados recogida en el propio MAP y los informes de seguimiento y evaluación que se hayan elaborado hasta ese momento.
Además, con el fin de asegurar un análisis global del MAP, se partirá de la reconstrucción de la ló- gica de intervención subyacente y se abordarán las relaciones existentes entre las dimensiones citadas en el párrafo anterior.
No se busca con este enfoque una evaluación de cada una de las intervenciones de la Cooperación Española en Ecuador ni de las políticas y sistemas nacionales ecuatorianos, sino que deberá tomar en cuenta la incidencia global del MAP sobre el programa de cooperación hispano-ecuatoriano, especialmente en lo que respecta a la mejora de la eficacia y la calidad del mismo.
En cuanto al ámbito temporal, la evaluación se concentrará en el periodo de ejecución del MAP, comprendido entre 2011 y 2013. No obstante, se incluirá también el proceso de negociación y ela- boración del MAP durante 2010 y, además, con el fin de contextualizar adecuadamente el MAP y ofrecer una visión lo más completa posible de las transformaciones acaecidas como consecuencia del mismo, se deberá tomar en cuenta la trayecto- ria de la Cooperación Española en Ecuador previa a la firma del MAP.
3. Criterios de evaluación y
preguntas clave
A continuación, se propone una serie de criterios, que podrán orientar la evaluación con el fin de res- ponder a las cuestiones siguientes:
Criterios relativos al análisis del diseño:
– Pertinencia: ¿Resulta adecuado el diseño del MAP y la lógica de intervención que lo sustenta en función de la dinámica del contexto ecuato- riano, de los objetivos de la Cooperación Es- pañola y de las prioridades de los socios de la Cooperación Española en Ecuador? ¿En qué medida los objetivos del MAP se adaptan a los problemas definidos y a las necesidades sociales del país? ¿Qué grado de flexibilidad y adaptabilidad tiene el MAP para reaccionar con rapidez ante posibles cambios de circunstan- cias?, ¿El MAP coincide con las necesidades y prioridades de desarrollo del país?, ¿El MAP
ha producido o está produciendo efectos so- bre las metas del PNBV a las que se proponía contribuir?, ¿En qué medida se involucraron los socios nacionales/locales, las comunidades y las organizaciones en el proceso de diseño del MAP?
– Coherencia interna: ¿Se corresponden los ob- jetivos del MAP con el diagnóstico de partida y con los instrumentos y las capacidades previs- tos para lograrlos? ¿En qué medida el MAP ha facilitado realmente la concentración sectorial? ¿Las matrices y el resto de herramientas de planificación, gestión, seguimiento y evaluación son adecuadas y tienen la calidad suficiente? ¿Los mecanismos de coordinación entre sede y terreno de la Cooperación Española son ade- cuados?
Criterios relativos a la calidad de los procesos:
– Apropiación: ¿En qué medida las instituciones ecuatorianas han ejercido el liderazgo sobre sus políticas y estrategias de desarrollo en re- lación a la elaboración y la ejecución del MAP (incluyendo las labores de coordinación, simpli- ficación y estandarización de procedimientos, así como sus capacidades de rectoría, planifi- cación, gestión, seguimiento y evaluación)?
– Alineamiento: ¿En qué medida la Cooperación Española se ha adaptado a las estrategias de desarrollo, los sistemas de gestión y los pro- cedimientos establecidos por los socios ecua- torianos? ¿En qué medida el MAP ha contri- buido a la mejora del diálogo entre la Coope- ración Española y Ecuador y al fortalecimiento de sus capacidades de planificación, gestión, seguimiento, evaluación y rendición mutua de cuentas?
– Armonización: Se tendrán en cuenta dos di- mensiones
– Armonización interna: ¿En qué medida la coordinación entre los diferentes actores de la Cooperación Española en la elaboración e implementación del MAP ha permitido evitar la dispersión de sus actuaciones, aprovechar las ventajas comparativas de cada uno, armonizar y simplificar procedimientos y construir un pro- grama de ayuda más estable y predecible para Ecuador? ¿Cuál ha sido el funcionamiento y el papel del Grupo Estable de Coordinación en el proceso? ¿En qué medida se ha avanzado hacia una mayor coherencia de políticas?
– Armonización externa: ¿En qué medida la coor- dinación entre la Cooperación Española y otros donantes durante el periodo de vigencia del MAP ha permitido evitar la dispersión de sus actuaciones, aprovechar las ventajas compara- tivas de cada uno, armonizar y simplificar pro- cedimientos y construir un programa de ayuda más estable y predecible para Ecuador?
Criterios relativos a los resultados alcanzados y la sostenibilidad de los mismos:
– Eficacia: ¿Cuáles son los principales resultados vinculados a la implementación del MAP, inclu- yendo los cambios en la gestión y los productos o resultados intermedios atribuibles a la actuación de la Cooperación Española? ¿En qué medida el MAP ha aumentado la calidad y la eficacia de la cooperación para el desarrollo entre España y Ecuador? ¿En qué medida el MAP ha permiti- do avanzar en la contribución de la Cooperación Española al logro de resultados de desarrollo en Ecuador?, ¿En qué medida los resultados im- previstos han influido positiva o negativamente en los beneficios obtenidos y la manera en que habrían podido ser previstos y gestionados?
– Eficiencia: Se tendrán en cuenta dos momentos distintos.
– Eficiencia ex ante: ¿Resultaba adecuada la re- lación entre los resultados esperados del MAP y los recursos disponibles o previstos en el mo- mento de su formulación?
– Eficiencia ex post: ¿Es adecuada la relación en- tre los resultados finalmente alcanzados duran- te la vigencia del MAP en comparación con los recursos empleados?
– Sostenibilidad: ¿En qué medida las actuaciones vinculadas al MAP han contribuido al fortalecimiento de las capacidades nacionales y/o locales y a la continuidad en el tiempo de los procesos iniciados y de los resultados positivos alcanzados? Coherencia entre la política del cooperante con la política nacional?, ¿Cómo se han abordado en el diseño y ejecución del MAP cada una de las cuestiones contempladas como transversales, a saber: la igualdad de gé- nero, sostenibilidad ambiental, derechos huma- nos y diversidad cultural?, ¿qué factores han dificultado o facilitado la consideración efectiva de estas cuestiones transversales?
Una vez seleccionado, el equipo evaluador ela- borará una propuesta para ajustar el número y el
grado de concreción de estas preguntas prelimi- nares, teniendo en cuenta la factibilidad del pro- ceso en función de las diferentes necesidades de información, los datos disponibles y los plazos y recursos asignados; e incorporará los indicadores oportunos.
4. Metodología de la evaluación
La evaluación tendrá un carácter explicativo-ana- lítico, tomará en cuenta los puntos de vista e in- tereses de los diferentes actores involucrados y promoverá su participación activa, en coherencia con el propio proceso de elaboración del Marco de Asociación, que fue alimentado por las reflexio- nes e intereses de un conjunto variado de actores multinivel en un proceso de planificación y concer- tación público y transparente.El equipo evaluador deberá presentar en su ofer- ta técnica la aproximación metodológica que sea más adecuada en función de la naturaleza estra- tégica del objeto evaluado y de los objetivos, pre- guntas y características de la evaluación. Con el fin de dotar de mayor robustez al análisis, la me- todología propuesta deberá asegurar la triangula- ción de métodos y datos y pondrá de manifiesto las limitaciones existentes.
La propuesta deberá tener en cuenta los enfo- ques transversales señalados en la Política de Evaluación de la Cooperación Española. Además, el equipo evaluador deberá generar herramientas que permitan contar con datos desagregados en función de las variables que pudieran resultar sig- nificativas (sexo, edad, etnia, ubicación, situación económica, etc.).
Para articular de manera sistematizada y lógica el enjuiciamiento comprensivo sobre el MAP, la propuesta técnica tendrá como eje una matriz de evaluación que se verá acompañada de aque- llos elementos metodológicos que se conside- ren pertinentes. La matriz deberá contener una primera operacionalización que incluya el encaje metodológico entre las preguntas, los indicado- res y las distintas fuentes y técnicas (medios de verificación).
5. Productos de la evaluación
El equipo de evaluación deberá entregar los si- guientes productos: