Change Control Board

El modo de metaevaluar dependerá de lo que se pretenda con la metaevaluación. Al respecto, Stufflebeam (1974) y, Schwandt y Halpern (1988), partiendo de conceptualizaciones sobre la evaluación establecen dos diseños de metaevaluación, conformados en función de lo pretendido: diseño de metaevaluación proactiva o formativa y diseño de metaevaluación retroactiva o sumativa. Así, nos remitimos a las definiciones que sobre evaluación formativa y sumativa se hicieron en el apartado IX.1. del Capítulo I, no obstante, hay que hacer unos matices ya que estamos tratando el tema de la metaevaluación. La metaevaluación formativa, es una guía durante el proceso de evaluación, se trata de un examen que se realiza en el transcurso de la evaluación para ayudar al evaluador a decidir mejor la planificación, conducción e interpretación de los diversos aspectos de la evaluación. En la metaevaluación sumativa, se pretenden hacer públicas las fortalezas y debilidades de una evaluación, se trata de un examen llevado a cabo en la conclusión de una evaluación para dar cuenta de la totalidad de sus méritos (Schwandt y Halpern 1988, 28).

A continuación, reproducimos el esquema desarrollado por Stufflebeam (1974, 77), en el cual puede visualizarse las dos clases de metaevaluación en función de los propósitos que persigue: metaevaluación formativa y metaevaluación sumativa; las etapas de todo proceso de metaevaluación: diseño, obtención de información y aplicación de la información; y, el objeto de la metaevaluación: objetivos, diseño, procesos y resultados.

Tabla II.4.:

METAEVALUACIÓN EN FUNCIÓN DE PROPÓSITOS, ETAPAS Y OBJETO

OBJETOS DE LA METAEVALUACIÓN PROPÓSITOS DE LA

METAEVALUACIÓN

ETAPAS EN EL PROCESO DE

METAEVALUACIÓN Objetivos de evaluación Diseño de evaluación Procesos de evaluación Resultados de evaluación

Proyección de los requerimientos de información

Posibles objetivos de evaluación

Criterios para medir el nivel de popularidad de los objetivos de evaluación

Diseño alternativo de evaluación

Criterios para medir el nivel de popularidad de los diseños de evaluación

Trabajo minucioso y programado para la elección del diseño de evaluación

Administrar la lista de control para revisar los diseños de evaluación

Los criterios de evaluación de objetivos, costos, calidad e impacto

Futuros usuarios de la evaluación

Obtención de la información necesaria

Análisis lógico de los objetivos de evaluación

Nivel de popularidad de los objetivos de evaluación

Nivel de popularidad de los diseños alternativos

Revisión de los diseños de evaluación

Monitoreo de los procesos de evaluación

Nivel de popularidad de la calidad de los reportes

Evidencia de uso de las Evaluaciones para el proceso de toma de decisiones y la rendición de cuentas

Nivel de popularidad del valor de los reportes de evaluación

Monitoreo del gasto realizado en la evaluación

Metaevaluación proactiva para servir en el proceso de decisión en el trabajo de evaluación (esto

es lo que se llama metaevaluación formativa y usualmente está dirigida por personas que disponen de

información confidencial)

Aplicación de la información obtenida

Recomendaciones sobre qué objetivos de evaluación pueden ser elegidos

Recomendaciones sobre qué diseños pueden se elegidos

Progreso periódico y reportes de excepción

Recomendaciones para modificar el diseño de evaluación y el procedimiento

Reportes periódicos de calidad, impacto, costo/eficacia de la evaluación

Recomendaciones para mejorar los resultados de la evaluación

tulo II: Metaevaluación de la pol íti ca d e e v alua ción d e la coo pera c ión pa ra el de sarrollo e s p añola en tanto man ifesta c ión d e una fun c ión de la admi n istraci ó n 188

Proyección de los requerimientos de información

Objetivos elegidos

Criterios para juzgar los criterios de evaluación

El diseño elegido

Los competidores críticos

Criterios para medir el nivel de popularidad de los diseños de evaluación

Trabajo minucioso y programado para el diseño de evaluación elegido

Administrar la lista de control para revisar el diseño de evaluación

Los criterios de evaluación de objetivos, costos, calidad e impacto

Futuros usuarios de la evaluación

Obtención de la información necesaria

Encuesta de necesidades de evaluación

Niveles de audiencia de los objetivos de evaluación elegidos

Análisis de objetivos de evaluación relacionados a criterios, necesidades y niveles de popularidad de audiencia

Niveles de popularidad de los diseños de evaluación alternativos

Estudio de caso del proceso de evaluación

Análisis de discrepancias entre el proceso de evaluación y el diseño elegido

Niveles de popularidad de la calidad de los reportes

Evidencia de uso de la evaluación para el procesos de toma de decisiones y la rendición de cuentas

Niveles de popularidad del valor de los reportes de evaluación

Análisis de costo para la evaluación

Metaevaluación retroactiva para servir a la rendición de cuentas en

el trabajo de evaluación (esta es la que se denomina metaevaluación sumativa y,

usualmente, es dirigida por personas de fuera)

Aplicación de la información obtenida

Valoración de los objetivos de evaluación elegidos

Valoración del diseño de evaluación elegido

Valoración de la implementación del diseño de evaluación

Valoración de la calidad, utilidad y coste/eficacia de la actividad de evaluación

Fuente: Stufflebeam (1974), traducción propia.

tulo II: Metaevaluación de la pol íti ca d e e v alua ción d e la coo pera c ión pa ra el de sarrollo e s p añola en tanto man ifesta c ión d e una fun c ión de la admi n istraci ó n 189

Esta esquematización nos muestra los aspectos más esenciales de la metaevaluación en tanto evaluación de evaluaciones. Como puede observarse, se trata de lineamientos generales que siguen la misma lógica, tanto si se trata de una metaevaluación sumativa como de una metaevaluación formativa, no obstante, un aspecto que se echa en falta es la consideración del contexto socio – político en el que se desarrolla la metaevaluación es decir, tal aspecto no se toma como una variable propia de la metaevaluación, siendo ésta un modo de hacer evaluación. Al respecto, son válidos los planteamientos de Chelimsky (1997, 58 – 65) referidos al contexto actual en el que está desenvolviéndose la evaluación y que hemos desarrollado en el apartado IV del Capítulo I. En ese sentido, el influjo del contexto socio – político muchas veces es determinante, sobre todo desde el punto de los sujetos intervinientes – evaluador y evaluado – y del objeto de estudio – la evaluación misma y sus resultados –. Desde los sujetos intervinientes, porque muchas veces su actuar estará condicionado por el mismo contexto; y, desde el objeto, porque éste responde a un contexto determinado que, si no se tiene en cuenta, puede no entenderse completamente.

Los planteamientos arriba descritos están elaborados, fundamentalmente, desde la perspectiva de la metaevaluación concebida como control de calidad, y no desde la perspectiva de la función de evaluación, lo cual no quiere decir que no nos aporten elementos conceptuales que nos sirvan de apoyo para articular nuestro enfoque, antes bien, pueden aplicarse, pero siempre teniendo en cuenta la perspectiva dentro de la cual estamos realizando nuestro análisis.

Nuestra aplicación metaevaluativa, no va a pretender ser un instrumento orientado a la rendición de cuentas, cuanto un instrumento orientado a la ilustración, en aras de un mejoramiento de la función o de la política de evaluación aspectos que, como hemos visto, también son finalidades que tiene o debe tener toda evaluación específica y concreta. Así, nuestra perspectiva metaevaluativa se plantea como un modo de analizar aspectos de la función de evaluación, para que nos den a conocer el estado de la misma, con la finalidad de aportar elementos que puedan perfeccionarla.

Un aspecto que también es importante destacar en nuestro enfoque metaevaluativo es el relativo al contexto socio – político, en nuestro caso, más verdaderamente político. Es decir, si cuando mencionábamos la importancia del contexto en la realización de metaevaluaciones orientadas al control de calidad, como las planteadas por Stufflebeam

(2001 y 2007) y, Schwandt y Halpern (1988) ahora, en nuestro enfoque, la importancia cobra especial relevancia debido a que el análisis metaevaluativo que planteamos se orienta a influir en el ámbito decisional de la administración pública y, en ella, las decisiones tienen un marcado cariz político, en el sentido que tienen su origen en planteamientos gubernamentales. Así, las decisiones de la administración se orientan a ejecutar decisiones gubernamentales que, en esencia, son decisiones políticas que responden a un planteamiento ideológico de fondo; en tal sentido, se hace indispensable conocer el contexto político para identificar tendencias y modos de actuar.

Por tanto, nuestro diseño metaevaluativo se orientará a mostrar fortalezas y debilidades de una función o política determinadas, con la finalidad de ilustrarnos para mejorarlas o corregirlas, según se trate. Nuestro diseño comprende también una referencia al contexto político, ya que analizaremos una función que tiene un claro matiz político, tal como hemos mencionado.

Una vez planteado el diseño de metaevaluación, conviene establecer de manera concreta cómo es que se va a realizar dicho proceso. En tal sentido, una vez más, el planteamiento de Stufflebeam (1974), nos parece bastante sugerente, en el sentido que, las “etapas para el proceso de metaevaluación” que plantea en el cuadro anterior, son las que se seguirían normalmente para todo tipo de evaluación: “proyección de los requerimientos de información” o qué voy a necesitar; “obtención de la información necesaria” o cómo voy a obtenerlo; y, “aplicación de la información obtenida” o qué voy a hacer una vez que disponga de tal información. Digamos que este es el planteamiento de entrada en nuestro proceso metaevaluativo así, la implementación de cada una de estas etapas nos va a llevar a especificar los contenidos de cada una de ellas.