How do operational considerations influence material and target selection?

La conceptualización de la evaluación, como veremos, ha pasado por diversos enfoques y planteamientos. No obstante, pese a la diversidad de los mismos, identificaremos también elementos comunes que delimitan un ámbito específico de análisis de acciones y/o intervenciones, dentro del cual se utilizan unas determinadas herramientas y se orientan a las diversas fases de las políticas y/o programas, según lo que se quiera investigar. Asimismo, observaremos también que en la conceptualización subyace el planteamiento de fondo que mencionábamos en el apartado anterior, esto es, la idea de que con la evaluación se pretende valorar cómo los poderes públicos dan solución a problemas prácticos con sus políticas y/o programas, para lo cual se prevé un análisis y una investigación específicos que nos lleven a ello.

Así, para Vedung (1996, 18 -19), la evaluación es una cuidadosa valoración retrospectiva –el énfasis se pone en acciones y procesos actualmente en curso, que hayan terminado recientemente o que ocurrieran en un pasado lejano- de los méritos, importancia y valor de la aplicación, productividad y resultados de las intervenciones gubernamentales, que se pretende desempeñe un papel en futuras situaciones y acciones prácticas.

Monnier (1995, 12) señala que la evaluación no se contempla como un procedimiento excepcional, dirigido sólo a establecer un juicio “a posteriori”, sino que se trata de una herramienta de uso habitual que resulta indispensable para formular la propia acción, proceder a su ejecución y mejorarla. Así, la evaluación no debe limitarse a medir los resultados de la acción; debe posibilitar que se comprendan las causas de los efectos sociales observables y las consecuencias de los medios aplicados (recursos financieros, humanos, materiales o jurídicos).

Patton (1997, 23) establece que la evaluación viene a ser una recolección sistemática de información acerca de actividades, características y resultados de políticas o programas, con la finalidad de juzgarlos, mejorar su eficacia y/o informar las decisiones para casos futuros. A este concepto, Patton añade lo que denomina “evaluación de programas centrados en la utilización”, en razón de lo cual establece que la evaluación está hecha intencionadamente “con” y “para” usuarios primarios específicos, para determinados usos concretos. Al respecto, en esto que Patton añade, late una idea de fondo que nos da una visión, si se quiere, complementaria de las anteriores conceptualizaciones de la evaluación, y es que ésta, esencialmente, debe de ser útil para sus destinatarios. Así, toda evaluación debería enfocarse hacia la utilización para que, de verdad, tenga algún sentido específico. En esa misma línea se encuentran los planteamientos de Alkin, Wholey, Owen, Cousins y Preskill, como más adelante mencionaremos.

Anejo a la utilización de los resultados de la evaluación está la transmisión o la comunicación de los mismos. Es decir, para que se utilicen los resultados de la evaluación, es necesario que éstos se transmitan adecuadamente así, deben de buscarse los medios idóneos para que ello pueda conseguirse. Al respecto, Preskill (1996 y 2001), Piontek (1996), Torres (1996) y Russ-Eft (2001), Morris, Fitz – Gibbon y Freeman (1987), nos ofrecen diversas técnicas de transmisión de resultados de la evaluación que, más adelante, desarrollaremos con cierto detalle. No obstante, cabe

apuntar que la transmisión junto con la utilización de los resultados, son aspectos claves que hay que tener en cuenta al plantear una evaluación, tanto desde el punto de vista teórico, como desde el punto de vista práctico es decir, deben de ser conceptos que perfilen y den sentido a la evaluación, para que ésta no se quede en un planteamiento estático o inútil.

Weiss (1998, 3) establece que la palabra “evaluación” es un concepto amplio y tiende a abarcar juicios de muchos tipos. No obstante ello, sea el uso que se le dé a la palabra, hay una constante que se mantiene siempre y es la de estar juzgando algún mérito o valor. Es decir, desde que la evaluación emplea procedimientos objetivos para obtener una información segura e imparcial, ya implica en sí misma una valoración, ya que su meta esencial es determinar el valor de algo que está siendo analizado (Stufflebeam y Shinkfield 1987, 19 – 20). En tal sentido, Weiss (1998, 4 – 5) define la evaluación como la investigación sistemática de las actividades y/o de los resultados de un programa o política, utilizando un conjunto de parámetros para contribuir a su mejoramiento. En esta definición se encierran los siguientes elementos:

1. Investigación sistemática, el proceso de evaluación se asemeja a un “sistema”, con lo cual se deja patente su carácter de investigación. En ese sentido, sea cuantitativa o cualitativa, la evaluación será conducida con formalidad y rigor de acuerdo con parámetros aceptados comúnmente.

2. La investigación está centrada, principalmente, en las actividades y los resultados del programa y/o política. No obstante ello, algunas evaluaciones se centran en el estudio del proceso, es decir estudian el desarrollo mismo del programa y/o política.

3. Los parámetros de comparación, una vez recolectada la información sobre las actividades, los resultados y/o el proceso, la evaluación investiga el valor del programa comparando lo recogido con las expectativas.

4. El propósito de la evaluación es contribuir a la mejora del programa y/o política, la evaluación es una actividad práctica, diseñada para ayudar a que los programas y/o políticas funcionen mejor.

La evaluación es vista como un camino para incrementar la racionalidad del diseño de políticas. Así, si se dispone de información objetiva sobre la implementación, los resultados y las actividades, pueden tomarse decisiones más adecuadas respecto del programa y/o política.

Estos planteamientos de Weiss dejan entrever una visión racionalista de la evaluación, términos como “sistema”, “parámetros”, “comparación”, etc. nos remiten a ello. Weiss sitúa al evaluador como un agente racional al cual tendrán que someterse los programas y/o políticas. Al parecer, aquí no se toman en cuenta aspectos que no resisten una racionalidad predefinida, como pueden ser aspectos de tipo social, cultural, político o contextual, cuestiones que necesariamente influyen en el desarrollo de un programa y/o política y, por ende, en el proceso de su evaluación. Es decir, la evaluación puede estar muy bien preparada, con parámetros de comparación e indicadores perfectamente diseñados pero, si se aplican sin más, sin tener en cuenta cuestiones culturales, políticas o, en general, contextuales, puede ser nefasta, en el sentido que no serviría de mucho pese a los esfuerzos humanos y logísticos que en ella se hayan empleado.

No obstante, Weiss, posteriormente, también hace consideraciones relativas al contexto así, advierte las dificultades políticas y organizativas que presenta la evaluación para producir resultados que sean efectivamente utilizados, en ese sentido, se fundamenta en un problema que identifica, relativo a la insuficiente aplicación de los resultados de la evaluación y de la investigación social en el proceso de formulación de las políticas. Por ello, empieza a mostrar una gran atención al contexto político de los programas sociales, como un elemento de importancia fundamental para los mismos, en el sentido que toda evaluación se desarrolla en un determinado contexto político (Ballart 1996, 329 – 333). Con este planteamiento Weiss advierte que el contexto político puede influir de tres formas distintas en los programas sociales:

1. Los programas son el resultado de decisiones políticas, son objeto de las presiones a favor y en contra, que surgen a raíz del proceso político.

2. Los resultados de una evaluación entran en la arena política en la que compiten por la atención de los decisores con otros factores que tienen su peso en el proceso político.

3. La evaluación, en sí misma, es política en tanto que implícitamente adopta determinadas posiciones políticas sobre la legitimidad de los objetivos o de la estrategia del programa.

Al respecto, a mi entender, puede verificarse que Weiss advierte que la evaluación a que son sometidos algunos programas, no debe ser ajena al contexto originario de los mismos. Es decir, los programas nacen bajo una inspiración y con una finalidad

determinadas que son el hilo latente y conductor durante toda su implementación. Tales características, deben ser tenidas en cuenta por los evaluadores ya que sirven como fuente de interpretación y de esclarecimiento de diversos aspectos del programa.

En la línea de la consideración del contexto político, Chelimsky (1997, 2 – 6) destaca tres aspectos relativos al mismo con los que el evaluador debe enfrentarse en los albores del siglo XXI y que deben ser tenidos en cuenta a la hora de definir la evaluación.

En primer lugar, el evaluador debe tener en cuenta que hoy en día la evaluación se realiza en un contexto donde determinadas fuerzas políticas están transformando la sociedad. Una de esas fuerzas es la implementación de las nuevas tecnologías en las distintas áreas del trabajo humano: en las fábricas, en el campo, etc. Otra fuerza importante es el incremento constante del desbalance demográfico entre países desarrollados y países en vías de desarrollo.

En segundo lugar, los países desarrollados buscan elevar constantemente el nivel de vida de sus ciudadanos, esto hace que los temas a evaluar varíen, sean más amplios y no tengan nada que ver con los de los países en vías de desarrollo, por ejemplo: protección del medio ambiente, desarrollo sostenible, cooperación regional o continental, etc.

Y, en tercer lugar, desde un punto de vista social y político, bien entrado ya el siglo XX, ha surgido la necesidad de controlar el gasto público en tanto que éste tiene relación con la política tributaria de los Estados. En ese sentido, se ha visto necesario evaluar para justificar gastos relativos a parlamentarios, donaciones, impuestos, etc.

En suma, Chelimsky nos hace constatar que hay un cambio contextual que es necesario tener en cuenta a la hora de evaluar. Este cambio debe ser tenido en cuenta por las consecuencias que pueda traer consigo y por el influjo que pueda producir en el desarrollo de los programas y/o políticas. En este marco de cambio, la evaluación es vista como un instrumento de control, mejoramiento de la gestión y, además, como un instrumento para ganar en el conocimiento de una realidad concreta tanto en aspectos materiales como humanos: mejor conocimiento de problemas específicos, mayor minuciosidad en los hallazgos de las investigaciones, afán de incrementar la capacidad institucional, la responsabilidad, etc.

A mi entender, el planteamiento de Chelimsky completa los planteamientos de Weiss, Vedung, Monnier y Patton pues incide en aspectos que muchas veces son omitidos en aras de una estricta racionalidad: contextos, intenciones específicas, etc. Estos planteamientos no son excluyentes, sino más bien complementarios es decir, tanto racionalidad como contextualización deben ser conceptos que deben estar presentes en la mente del evaluador, uno para ordenar y organizar, y el otro para situar y comprender mejor.

Llegados a este punto, vistas las diversas definiciones que sobre evaluación se han hecho, convendría sistematizarlas y darles unidad, con la finalidad de plantear una definición que comprenda los diversos aspectos que la integran, para luego, pasar a desarrollarlos y así, profundizar en el contenido propio de la evaluación. En tal sentido, podríamos decir que la evaluación viene a ser una investigación sistemática específica, retrospectiva o prospectiva, de una acción y/o intervención contextualizada, articulada por determinados agentes, en orden a unos fines, propósitos y funciones, para lo cual se establece un procedimiento articulado en unas pautas determinadas que, al implementarse, produce unos efectos o resultados que deben transmitirse para su efectiva aplicación o utilización y, por ende, se alcancen los objetivos planteados. Esta investigación está inspirada por un enfoque o perspectiva determinados que integran y dan sentido a la evaluación y al conjunto de sus elementos constitutivos.

Estos enunciados, nos sitúan en el ámbito de la evaluación y destaca su articulación en los siguientes elementos:

1. Investigación sistemática específica, retrospectiva o prospectiva de una acción y/o intervención.- La evaluación implica el estudio de una materia específica, dígase, acciones y/o intervenciones que se concretan en políticas o programas públicos. Pero, la evaluación, no es una investigación cualquiera, sino que es un tipo de investigación especificada por determinados elementos que la distinguen de otros tipos de investigaciones, tales como: finalidad, propósitos, metodologías, publicidad, etc. que más adelante explicaremos.

2. Contextualización.- La investigación en que la evaluación consiste se orienta al estudio, como hemos dicho, de una política o programa públicos, los cuales están insertados en un contexto socio – político que, en cierta medida, los condiciona y afecta, por lo que es de importancia capital conocerlo.

3. Agentes.- La puesta en marcha de una evaluación requiere, necesariamente, de personas naturales o jurídicas que la lleven a cabo, o que al menos generen las condiciones necesarias para facilitarla. La evaluación comprende agentes, los cuales son una función del interés que tengan sobre ella, es decir, su participación, directa o indirecta, está determinada por el interés que tengan sobre la evaluación.

4. Funciones, propósitos y fines.- La evaluación tiene una intencionalidad es decir, tiende hacia algo. De no ser así, la evaluación carecería de un horizonte claro y no tendría ningún sentido, ni teórico, ni mucho menos práctico.

5. Procedimiento articulado en función de unas pautas determinadas.- La evaluación requiere de un procedimiento concreto, en el que se perfilen unos criterios o aspectos específicos que van a ser objeto de análisis. Es decir, la evaluación va a requerir de una estructura procedimental que la articule, con la finalidad de darle operatividad.

6. Aplicación y transmisión de resultados.- La evaluación adquirirá su sentido más pleno cuando se apliquen o utilicen sus resultados, en orden al cumplimiento de sus fines, propósitos y funciones. Para tal fin, es necesario que se transmitan adecuadamente en base a unas estrategias de comunicación.

7. Perspectivas o enfoques .- Toda evaluación parte de determinadas perspectivas o enfoques es decir, desde una visión particular de la misma que la informa, dándole un sentido concreto en razón de lo que con ella se plantee conseguir.

Estos elementos que integran nuestra definición de evaluación conviene estudiarlos por separado, ya que cada uno de ellos comprende una serie de planteamientos que nos van a dar una visión más completa de la evaluación, dándonos también criterio en base al cual elaborar enfoques de análisis propios que se adecuen, por ejemplo, al objeto de estudio en la presente investigación. Entonces, vamos a analizar los elementos conceptuales de la evaluación, en tanto que son la base para comprender y articular cualquier enfoque evaluativo, independientemente del objeto específico que se pretenda analizar.