How does the sophistication of the terrorist group affect material and target selection?

La evaluación, hemos dicho, es una investigación y, en cuanto tal, utiliza un método en el que se emplean técnicas, tanto cuantitativas como cualitativas. Pero, su método y sus técnicas, también son empleados por otro tipo de investigaciones así, lo que distinguiría a la evaluación de otro tipo de investigaciones, no sería su método, sino el propósito para el que está hecha. En tal sentido, en base al propósito para el que está hecha, Weiss (1998, 15 – 17) distingue entre la evaluación y otro tipo de estudios:

− La evaluación tiende hacia la utilidad es decir, mientras otro tipo de investigaciones ponen el énfasis en la producción de conocimiento, la evaluación empieza con una clara intención de utilidad. Es decir, en su forma más simple, la evaluación está orientada para un cliente que debe tomar decisiones y que busca en la evaluación información suficiente y relevante para ello.

− Las preguntas que la evaluación tiende a responder derivan de los agentes involucrados en la política y/o programa. Por el contrario, en otro tipo de investigaciones son los propios investigadores quienes formulan sus propias hipótesis.

− La evaluación tiende a comparar el “qué es” con el “qué debe ser”; sin embargo, en otro tipo de investigaciones, son los propios investigadores quienes intentan buscar la objetividad. Así, ellos están preocupados por el fenómeno que demuestra si el programa está funcionando o si está alcanzando sus propósitos.

− La evaluación cobra relevancia dentro de un conjunto de acciones, donde lo más importante viene a ser el desarrollo del programa y/o política. En ese sentido, si hay un conflicto entre el programa y la evaluación, debe darse prioridad al programa, ya que el programa está sirviendo a la gente involucrada en él.

− Cualquier tipo de investigación tiende a ser publicada, a tal punto que su difusión entre investigadores del mismo ámbito es considerada como esencial. En cambio, en evaluación, la mayoría de investigaciones no son publicadas ya que se cree que la información producida sólo incumbe y sirve para los propios evaluadores e intervinientes del programa y/o política.

Desde mi punto de vista y atendiendo a estos planteamientos, la evaluación presenta diferencias de motivación y de finalidad, respecto de otras investigaciones. Es decir, tanto los móviles del evaluador como los del investigador son distintos, así como los fines perseguidos por cada uno. Mientras el investigador persigue conocimiento para ampliar su formación; el evaluador busca información para poder determinar el valor o el mérito de un programa y/o política, lo cual no quita que investigue, sino que esta investigación se circunscribe a una actuación concreta con el fin de verificar su idoneidad y así me sirva de ejemplo para posteriores actuaciones. Otras investigaciones no son tan concretas como la evaluación, tienden a que el objeto de su estudio sea más amplio o abarcante.

En cuanto a la finalidad perseguida, la evaluación está marcada por un matiz eminentemente práctico, es decir tiende a ser utilizada como instrumento modélico para verificar si un programa y/o política se han desarrollado conforme a las expectativas previstas en sus objetivos. Otras investigaciones, no necesariamente tienen la misma finalidad que la evaluación; básicamente, se utilizan para ampliar el conocimiento sobre algo, sin que se utilicen como modelos, si acaso para hacer estudios doctrinarios comparativos.

Un análisis más sistemático y complementario al de Weiss, lo ofrece Bustelo (2003, 22 – 25) quien establece, también, una distinción entre evaluación y otro tipo de estudios. Aquí, la autora, distingue entre evaluación e investigación; evaluación y observatorios de problemas públicos; y, evaluación y seguimiento o monitorización.

La evaluación y la investigación se diferencian en su naturaleza, finalidad, objeto, destinatarios y agentes. En cuanto a su naturaleza, evaluación e investigación son indagaciones sistemáticas pero la primera siempre es aplicada y la segunda no; es decir, puede que la investigación se plantee para la solución de problemas específicos pero ello, no siempre es así, en cambio la evaluación, siempre se hará con la finalidad de valorar cómo es que se ha dado solución a algún problema práctico. En cuanto a la finalidad, la investigación busca la construcción de conocimiento; en cambio, la evaluación busca la mejora de las políticas, el rendimiento de las responsabilidades sobre las mismas y la ilustración sobe acciones futuras. En cuanto al objeto, la investigación pretende dar solución a determinados problemas sociales; mientras que la evaluación pretende indagar sobre cómo los poderes públicos abordan tales problemas y si son efectivos o no. En cuanto a los destinatarios, en la investigación lo

constituyen los miembros de la comunidad científica; mientras que en la evaluación, son grupos de personas específicos y concretos. Por último, en cuanto a los agentes, tanto en la investigación como en la evaluación, éstos necesitan de formación y habilidades específicas y diferenciadas.

La Evaluación y los observatorios de problemas públicos, al respecto, las actividades realizadas en sus respectivos ámbitos se potencian y complementan; no obstante, plantean diferencias. Los observatorios son unidades o estructuras dedicadas al seguimiento exhaustivo y periódico de un determinado problema o conjunto de problemas, en algunos casos, recopilan y analizan información sobre las respuestas de los ciudadanos a los problemas. La evaluación, como hemos visto, tiene funciones más amplias: mejora de las políticas, rendimiento de cuentas e ilustración para acciones futuras; quizás con esta última, coincide con los observatorios.

La evaluación y el seguimiento o monitorización, al respecto, ambos términos suelen confundirse sin embargo, existen algunas diferencias. El seguimiento es una actividad interna que sirve para ir comprobando que el programa va cumpliendo los objetivos, el calendario y los recursos previamente establecidos; significa la generación de retroalimentación sobre el proceso de ejecución y los posibles problemas que puedan darse, así como la supervisión de diversos aspectos durante su desarrollo. La evaluación, en cambio, no sólo analiza, sino que también juzga globalmente, centrándose no sólo en el proceso de ejecución de las acciones, sino también en sus resultados, pudiendo ser, además, una actividad interna o externa; la evaluación significa una reflexión más global y profunda.

Las distinciones que plantea Bustelo, desde mi punto de vista, son clave para tener una idea más concreta y específica acerca de la evaluación, toda vez que, las actividades con las cuales la distingue, son aquellas con las que más se suele confundir la evaluación. Es por ello, que es necesario tener claridad conceptual al respecto y Bustelo (2003, 14) apuesta por ello, así tal especificidad y concreción de la evaluación las presenta reflejadas en la forma en la que se evalúa o, lo que comúnmente se denomina, “Metodología de Evaluación”.

En tal sentido, Bustelo entiende que existen unos elementos clave para la práctica de la evaluación y que deben concebirse y desarrollarse como parte del concepto “Metodología de la Evaluación”, éstos son: el contexto como organizador previo y motor de la evaluación; la centralidad de los criterios de evaluación; una metodología

que, además de dirigir la recopilación y el análisis de la información, establezca la forma de enjuiciar y hacer recomendaciones; y, la comunicación del proceso y de los resultados de la evaluación (Bustelo 2003, 25 – 31).

En cuanto al primer elemento, el contexto como organizador previo y motor de la evaluación, se trata de que cada evaluación debe adaptarse a la situación concreta de la política y/o programa como requisito indispensable para que la evaluación sea relevante y útil. Pero, no basta con que el contexto se tenga en cuenta y se incorpore a la evaluación, sino que, además, debe de ser el elemento desde el cual debe partir y ejecutarse la evaluación pero, además, la realidad concreta y específica a la que la evaluación debe responder. Es decir, el contexto debe de ser el marco habitual y normal de desarrollo de la evaluación, es el paso previo necesario de todo diseño evaluativo. El tener en cuenta el contexto nos va a permitir tres cosas: determinar el por qué, los objetivos y los propósitos de la evaluación; los intervinientes en el proceso evaluativo: destinatarios y agentes críticos; el tipo de evaluación que va a realizarse; y, adoptar el enfoque de evaluación más adecuado.

El segundo elemento, la centralidad de los criterios de evaluación, se trata de determinar qué es lo que se quiere evaluar, una vez clarificado el por qué y el para qué queremos evaluarlo. Los criterios de evaluación son una pieza clave en el proceso evaluativo, ya que van a determinar y guiar el estudio, orientando la recopilación y el análisis de la información. A la vez que se determinan los criterios de evaluación, van a determinarse también, los criterios de valor es decir, a través de la definición de los criterios se define la base lógica con la que posteriormente se van a emitir los juicios sobre la Política y/o Programa evaluado, los criterios de evaluación son los que definen la perspectiva de valoración a utilizar.

El tercer elemento, una metodología que dirija la recopilación y el análisis de la información y que establezca la forma de enjuiciar y hacer recomendaciones, se trata de emitir juicios sobre la misma evaluación, a la luz de los criterios de evaluación previamente elaborados y este proceso debe concluir en una serie de orientaciones hacia la acción para la mejora, la responsabilidad y el mejor conocimiento de las políticas evaluadas. Las evaluaciones se hacen con la clara y directa intención de ser utilizadas, ya sea para tomar decisiones y modificar aspectos concretos del programa a evaluar, ya sea para contribuir al aprendizaje de las organizaciones que tienen como una de sus misiones la función de evaluar sus actuaciones públicas. Por tanto, en el concepto de “metodología de la evaluación” no sólo deben incluirse las formas en las

que se deben recopilar y analizar las informaciones, sino también las formas en las que se enjuicia sistemáticamente y en la que se establecen recomendaciones.

Y, por último, el cuarto elemento, comunicación del proceso y de los resultados de la evaluación, se trata de que, tanto los procesos como los resultados de la evaluación deben de ser comunicados como condición necesaria para su posterior utilidad y utilización. En ese sentido, el éxito de la evaluación no sólo debe medirse por el grado en que ésta contribuye al aumento o mejora del conocimiento, sino, sobre todo, por el grado en el que ha resultado valiosa para cubrir necesidades específicas de información.

Estos cuatro elementos van a configurar lo que Bustelo denomina “lo específico” de la evaluación, nos referimos a la metodología que va a caracterizarla, definirla y, por tanto, diferenciarla de otros tipos de investigación. La metodología es de importancia fundamental si se pretende hacer una evaluación realmente operativa y funcional en tal sentido, la metodología, en los términos arriba mencionados, marca las pautas a seguir para obtener realmente unos resultados de evaluación útiles y prácticos. Aquí, cabe precisar que, el concepto de “metodología” aportado por Bustelo, no se limita a “métodos” o “procedimientos” que es a lo que comúnmente remite tal concepto, sino que es algo más amplio, en el que se integran cuatro elementos fundamentales: contexto, criterios, técnicas y transmisión de resultados que, junto con la finalidad a la que se orienta la evaluación, harán que ésta sea un ámbito de estudio autónomo y distinto al de cualquier investigación.

Por tanto, la investigación en la que la evaluación consiste tiene unas particularidades que le dan especificad y que la distinguen de otro tipo de investigaciones. Así, nos encontramos frente a una investigación realizada en un contexto, con unos fines concretos, para cuya consecución utiliza unos criterios y unas técnicas determinados y, cuyos resultados están orientados a difundirse, en aras de alcanzar los fines para los que ha sido prevista. Quizás, este es el planteamiento de fondo que deberíamos tener al elaborar cualquier evaluación o, más todavía, para identificar si nos encontramos frente a una evaluación o no, independientemente, del objeto que se trate.

Desde mi punto de vista, el planteamiento de Bustelo sobre la especificidad de la evaluación, nos muestra los distintos ámbitos de análisis a los que tendría que aplicarse en razón del objeto propio que investiga. En tal sentido, la envergadura del

análisis propio de la evaluación, fortalece su carácter de disciplina autónoma e independiente a cualquier tipo de investigación. Así, nos situamos en un nivel de análisis orientado a investigar sobre unas acciones y/o intervenciones concretas, tal nivel, nos puede servir como punto de partida o referente para el análisis que planteamos realizar en la presente investigación. Pero, el análisis en la evaluación no se da en un ambiente “puro”, sin ningún tipo de influencia, sino que se da en un ambiente dinámico y cambiante, que hace falta conocer para poder valorar mejor la información de la que disponemos al momento de evaluar; nos estamos refiriendo al contexto en tanto elemento de la evaluación que, además, la especifica.