Regression Analysis

Dado que se evaluará el diseño del programa tomando como base la MML y la MIR que surge de esta metodología, los elementos más importantes que componen un programa y que determinan su lógica vertical son: el fin, el propósito, los componentes y las actividades (Véase “Figura 3.5”).

A partir de la información expuesta sobre la definición y los componentes principales de la MIR, se puede concluir que, la correcta definición de ésta es uno pilares más importantes del diseño de cualquier programa público, pues en ella se resume el problema principal a resolver, las actividades que se realizarán para resolverlo, la población que se atenderá, los indicadores de medición y vigilancia y el objetivo final del programa. Es importante señalar que, sin la MIR, no se podría llevar a cabo satisfactoriamente el SED ni el PbR, por lo que ésta provee un marco de planeación y medición de resultados y constituye un avance hacia una administración más gerencial y efectiva. Debido a lo anterior, el ejercicio de metaevaluación de este trabajo se centra en evaluar la manera en que fue definida la MIR por el programa, incluyendo un análisis de sus componentes principa les y de la manera en que cada componente de ésta fue valorada por los evaluadores.

Una vez que ha identificado los puntos que se tomarán en cuenta para la metaevaluación, se debe definir los criterios con los que éstos serán metaevaluados. Como menciona García (2009), el principal problema con el que se enfrenta un metaevaluador es el de los criterios que se utilizará n para evaluar las evaluaciones. Como se vio en el capítulo 2, la manera más común de hacer frente a este problema es a través de un checklist, el cual, si bien puede ser útil para identificar las

ausencias más comunes de las evaluaciones, sin embargo, en este trabajo se pretende utilizar como marco de evaluación el MTRED ya que, además de ser el modelo oficial de evaluación de diseño, no se ha encontrado entre la literatura un trabajo de metaevaluación basado en el MTRED, por lo que se pretende hacer una aportación diferente a las hechas por otros autores anteriorme nte. Asimismo, es importante señalar que el hecho de que se esté usando como referencia al MTRED, no significa que se le considere a éste como un modelo exento de defectos o desventajas.

A pesar de que la metaevaluación tipo checklist realizada por Cardozo (2006) fue una aportación importante en donde se identificaron las carencias de los diferentes tipos de evaluaciones, cabe mencionar que, en ese entonces, el sistema de evaluación no tenía mucho tiempo de haberse institucionalizado, por lo que era de esperarse que existieran ausencias dentro de las evaluacio nes; sin embargo, hoy en día, al contarse con un sistema de evaluación más maduro y rígido, es raro encontrar ausencias de ese tipo, por lo que un análisis de checklist hoy en día no aportaría información tan relevante como lo hizo años atrás. Es por esto que, a pesar de las posibles desventajas que existen en utilizar el MTRED, se considera que las aportaciones de un análisis de contenido podrían llegar a ser más relevantes que las del tipo checklist.

Para conocer más a fondo la manera en que se llevará a cabo este proceso de metaevaluación, es importante conocer antes la manera en que se estructura la evaluación de diseño de los programas públicos en México, por lo que es necesario hacer una revisión al MTRED vigente.

El MTRED es un documento que contiene las especificaciones técnicas, objetivos y estructura de la evaluación de diseño, con el propósito de establecer instrumentos homogéneos para la realización de este tipo de evaluación. De acuerdo con el MTRED del 2017, “la evaluación en materia de diseño busca identificar hallazgos y recomendaciones a partir del análisis de la congruencia del diseño del programa, mediante un análisis de gabinete con base en la normatividad de cada programa.” De manera similar, Osuna y Márquez (2000) mencionan que la evaluación de diseño tiene como objetivo la revisión de los elementos que justifican la necesidad de un programa y la forma en que se articulan las actividades del programa con el cumplimiento de su propósito . Es por esto que realizar una evaluación de diseño es un paso importante para identificar errores y

realizar ajustes al programa, con el fin de minimizar las fallas relacionadas con el diseño al momento de su implementación.

Tomando en cuenta lo anterior, el MTRED establece que los objetivos específicos de la evaluació n de diseño son los siguientes:

 Analizar la justificación de la creación y diseño del programa,

 Identificar y analizar su vinculación con la planeación sectorial y nacional,  Identificar a sus poblaciones y mecanismos de atención,

 Analizar el funcionamiento y operación del padrón de beneficiarios y la entrega de apoyos,  Analizar la consistencia entre su diseño y la normatividad aplicable

 Identificar el registro de operaciones presupuestales y rendición de cuentas, e

 Identificar posibles complementariedades y/o coincidencias con otros programas federales. Con el fin de lograr estos objetivos, la evaluación de diseño se divide en siete apartados y 30 preguntas que se distribuyen de la siguiente manera:

Figura 3.7: Apartados de la evaluación de diseño

Apartado Preguntas Total

I. Justificación de la creación y del diseño del programa 1 a 3 3 II. Contribución a las metas y estrategias nacionales 4 a 6 3 III. Población potencial, objetivo y mecanismos de elegibilidad 7 a 12 6 IV. Padrón de beneficiarios y mecanismos de atención 13 a 15 3 V. Matriz de Indicadores para Resultados (MIR) 16 a 26 11

VI. Presupuesto y rendición de cuentas 27 a 29 3

VII. Complementariedades y coincidencias con otros programas

federales 30 1

Total 30

Fuente: Términos de Referencia para la evaluación de diseño 2017 .

De acuerdo con el MTRED del 2017, la evaluación se realiza mediante un análisis de gabinete con base en información proporcionada por la dependencia o entidad responsable del programa, así como información adicional que la institución evaluadora considere necesaria para justificar su

análisis. En cuanto a los criterios generales para responder las preguntas, de las 30 preguntas9_{, 24} deben ser respondidas mediante un esquema binario (Sí o No) sustentando con evidencia documental y haciendo explícitos los principales argumentos empleados en el análisis. En los casos en que la respuesta sea Sí, se debe seleccionar uno de cuatro niveles de respuesta definidos para cada pregunta10_{, siendo 1 el nivel más bajo y 4 el nivel más alto. Las seis preguntas que no tienen} respuestas binarias (por lo que no incluyen niveles de respuestas) se deben responder con base en un análisis sustentado en evidencia documental y haciendo explícitos los principales argumentos empleados en el mismo.

Si bien los siete apartados proveen información importante sobre el diseño del programa, para la realización de este trabajo solo se tomarán en cuenta los apartados que evalúan directamente la lógica vertical del programa, es decir: el primero (Justificación de la creación y del diseño del programa), el tercero (Población potencial, objetivo y mecanis mos de elegibilidad) y el quinto (Matriz de Indicadores para Resultados), pues son los apartados que se encuentran directamente relacionados con los tres componentes de la MIR que se presentaron en la sección 3.1. Es importante mencionar que, si bien la lógica vertical no es una condición suficiente para que un programa social sea considerado poseedor de un buen diseño, es una condición necesaria para que éste pueda tener un diseño satisfactorio.

Cada uno de estos tres apartados se componen de un grupo de preguntas, las cuales, de acuerdo con el MTRED, deben contestarse en un máximo de una cuartilla cada una. De las 20 preguntas que conforman estos tres apartados, solamente se tomarán en cuenta 9, ya son las que se relacionan directamente con la composición vertical de la MIR (Véase “Figura 3.8”). El contenido de estas preguntas puede verse en la “Figura 3.9”.

9 _{Para ver las 30 preguntas que componen el MTRED, véase el Anexo 1.} 10 _{Véase Anexo 2.}

Figura 3.8: Justificación de preguntas seleccionadas para la metaevaluación de diseño

Pregunta(s) Contenido

1-2 Definición del problema con base en la MML 3 Selección y justificación de alternativas de

intervención

7 Delimitación de beneficiarios por medio de la definición de la población potencial y objetivo 8 Conocimiento sobre la demanda total de apoyos

16-19

Lógica vertical del programa a través de la definición del fin, el propósito, los componentes y

las actividades del programa Fuente: Elaboración propia.

Para el primer apartado, “Justificación de la creación y del diseño del programa”, se decidió utilizar las tres preguntas que lo componen, ya que estas preguntas se relacionan directamente con la definición del problema público, las causas y efectos del problema (derivados del árbol de problemas) y la intervención del programa para resolver dicho problema. Para el tercer apartado, “Población potencial, objetivo y mecanismos de elegibilidad”, se decidió analizar solo las preguntas 7 y 8 porque son las preguntas que cuestionan directamente sobre la identificación y definición de la población objetivo. Por último, para el quinto apartado, “Matriz de Indicadores para Resultados”, se tomaron en consideración las preguntas 16 a 19, ya que analizan las actividades, los componentes (derivados del árbol de objetivos), el propósito y el fin del programa.

Figura 3.9: Preguntas seleccionadas por apartado para la metaevaluación I. JUSTIFICACIÓN DE LA CREACIÓN Y DEL DISEÑO DEL PROGRAMA

1. El problema o necesidad prioritaria que busca resolver el programa está identificado en un documento que cuenta con la siguiente información:

a) El problema o necesidad se formula como un hecho negativo o como una situación que puede ser revertida.

b) Se define la población que tiene el problema o necesidad. c) Se define el plazo para su revisión y su actualización.

2. Existe un diagnóstico del problema que atiende el programa que describa de manera específica:

a) Causas, efectos y características del problema.

b) Cuantificación y características de la población que presenta el problema. c) Ubicación territorial de la población que presenta el problema.

d) El plazo para su revisión y su actualización.

3. ¿Existe justificación teórica o empírica documentada que sustente el tipo de intervenc ió n que el programa lleva a cabo?

III. POBLACIÓN POTENCIAL, OBJETIVO Y MECANISMOS DE ELEGIBILIDAD 7. Las poblaciones, potencial y objetivo, están definidas en documentos oficiales y/o en el diagnóstico del problema y cuentan con la siguiente información y características:

a) Unidad de medida. b) Están cuantificadas.

c) Metodología para su cuantificación y fuentes de información. d) Se define un plazo para su revisión y actualización.

8. ¿El programa cuenta con información sistematizada que permite conocer la demanda total de apoyos y las características de los solicitantes? (socioeconómicas en el caso de personas físicas y específicas en el caso de personas morales)

V. MATRIZ DE INDICADORES PARA RESULTADOS (MIR)

16. Para cada uno de los Componentes de la MIR del programa existe una o un grupo de Actividades que:

a) Están claramente especificadas, es decir, no existe ambigüedad en su redacción. b) Están ordenadas de manera cronológica.

c) Son necesarias, es decir, ninguna de las Actividades es prescindible para producir los Componentes.

d) Su realización genera junto con los supuestos en ese nivel de objetivos los Componentes. 17. Los Componentes señalados en la MIR cumplen con las siguientes características: a) Son los bienes o servicios que produce el programa.

b) Están redactados como resultados logrados, por ejemplo, becas entregadas.

c) Son necesarios, es decir, ninguno de los Componentes es prescindible para producir el Propósito.

d) Su realización genera junto con los supuestos en ese nivel de objetivos el Propósito. 18. El Propósito de la MIR cuenta con las siguie ntes características:

a) Es consecuencia directa que se espera ocurrirá como resultado de los Componentes y los supuestos a ese nivel de objetivos.

b) Su logro no está controlado por los responsables del programa. c) Es único, es decir, incluye un solo objetivo.

d) Está redactado como una situación alcanzada, por ejemplo: morbilidad en la localidad reducida.

e) Incluye la población objetivo.

19. El Fin de la MIR cuenta con las siguientes características:

a) Está claramente especificado, es decir, no existe ambigüedad en su redacción.

b) Es un objetivo superior al que el programa contribuye, es decir, no se espera que la ejecución del programa sea suficiente para alcanzar el Fin.

c) Su logro no está controlado por los responsables del programa. d) Es único, es decir, incluye un solo objetivo.

he) Está vinculado con objetivos estratégicos de la dependencia o del programa sectorial. Fuente: Elaboración propia con base en el MTRED 2017.