Según la comisión europea Europeaid (Europeaid, 2009), las principales etapas de un análisis multicriterial son:
- Etapa 1: Determinar el ámbito de aplicación e identificar la lógica de intervención - Etapa 2: Designar al grupo (o a los grupos) de negociación o de juicio
- Etapa 3: Designar al equipo técnico que colaborará con el grupo de juicio - Etapa 4: Determinar la lista de alternativas para incluir en el análisis multicriterial - Etapa 5: Identificar y seleccionar los criterios de juicio
- Etapa 6: Determinar el peso relativo de los criterios - Etapa 7: Juicio por criterio
- Etapa 8: Agregación de los juicios
A continuación se describen de forma resumida cada una de estas etapas.
Etapa 1: Determinar el ámbito de aplicación e identificar la lógica de intervención. En el contexto de la evaluación, el análisis multicriterial no se suele emplear para el conjunto de los temas objeto del estudio. Por esta razón, a menudo es aconsejable precisar ante todo en qué ámbito de la evaluación va a aplicarse.
Cuando el equipo de evaluación ya haya determinado el ámbito de aplicación del análisis, es importante tener presente el marco lógico de la intervención o, si no existe, definirlo. En efecto, es fundamental que, en un proceso en que los actores van a tener que valorar acciones alternativas, la lógica de intervención esté absolutamente clara y a disposición de todos.
Etapa 2: Designar al grupo de negociación o juicio.
El análisis multicriterial se basa en valoraciones (puntuaciones) y la selección por preferencias que efectúan los miembros de un grupo de negociación (en el contexto de la planificación) o de un grupo de juicio (en el contexto de la evaluación).
Para poder guiar el análisis, el equipo de evaluación debe, pues, seleccionar a dicho grupo. Se trata de una selección crucial y compleja a la vez. Los actores del ámbito analizado pueden pertenecer a dos grandes categorías:
- Actores directos: Los actores "directos" son aquellos a quienes atañe el ámbito de la evaluación porque el programa les concierne directamente (por ejemplo beneficiarios, o víctimas), así como los especialistas en el tema, los responsables administrativos en el ámbito en cuestión, etc.
- Delegados de los actores directos: Los delegados pueden ser autoridades y representantes (territoriales o profesionales), responsables de ONG (por ejemplo asociaciones de personas afectadas, para la protección del medio ambiente, para la defensa del consumidor, representantes de los intereses de la mujer, etc.), responsables administrativos directamente relacionados con el ámbito del estudio, representantes de los donantes implicados, etc.
Los miembros del grupo suelen pertenecer a esta segunda categoría. Los miembros del grupo deben conocer adecuadamente el tema objeto de debate y, sobre todo, saber que su punto de vista podrá ser discutido y replanteado por otras personas.
Es responsabilidad del equipo de evaluación controlar que todos los grupos de actores relacionados con las alternativas que se cotejan tengan la representación necesaria, y de forma equitativa.
Tesis Doctoral. Mª Dolores Álvarez del Castillo
En algunas evaluaciones, se constituyen dos grupos distintos. Por un lado, un grupo de especialistas capaces de puntuar las alternativas que se comparan en relación con el criterio de juicio y, por el otro, un grupo de responsables que, a un nivel más decisorio, se encargue de la ponderación de los criterios de juicio.
Para que el grupo pueda funcionar, es fundamental que exista acuerdo entre sus miembros respecto del objetivo global de la intervención (por ejemplo, mejorar el grado de protección del entorno natural en una zona determinada). Si hay desacuerdo en el objetivo general, será muy difícil trabajar en objetivos específicos (por ejemplo, proteger la biodiversidad forestal), y aún más en objetivos operativos o acciones destinadas a la consecución de dicho objetivo (por ejemplo, impulsar la certificación de gestión forestal sostenible, crear reservas naturales, etc.).
Etapa 3: Designar al equipo técnico que colaborará con el grupo de juicio.
Según la envergadura y complejidad de los estudios, este equipo puede ser más o menos grande.
Entre los miembros del equipo debería designarse, un coordinador y un ayudante técnico. El coordinador es una persona clave e imprescindible en el dispositivo. Su función es fundamental, ya que es imposible que un grupo sea capaz de realizar tal ejercicio sin que haya una coordinación.
Los principales cometidos del coordinador son:
- Delimitar el tema objeto del análisis y dilucidar la problemática estudiada.
- Ayudar a los participantes en la tarea de reelaboración del marco lógico del proyecto o del programa evaluado.
- Participar en la definición de las acciones, alternativas o escenarios que haya que incluir en el análisis multicriterial.
- Ayudar al grupo a identificar criterios de juicio y a elaborar reglas de ponderación. - Ayudar al grupo en la puntuación de las alternativas por criterio.
- Decidir, de común acuerdo con el grupo, la realización de estudios complementarios llevados a cabo por expertos para facilitar las decisiones del grupo.
- Garantizar, en caso necesario, la asistencia técnica de una persona que domine a la perfección los programas informáticos necesarios para realizar determinados tipos de análisis multicriterial.
- Coordinar el funcionamiento del proceso de análisis en su globalidad, manteniendo la cohesión del grupo y asegurándose de que todos participen.
La elección del coordinador debe basarse en su experiencia en este tipo de tarea. También se valorarán sus conocimientos en el campo objeto de estudio. Es importante que el coordinador conozca a la perfección los posibles sesgos del método, a fin de evitar la formulación de resultados erróneos; en efecto, determinadas operaciones matemáticas pueden resultar algo opacas para los miembros del grupo (por ej.: diferencia de clasificación entre dos alternativas según se emplee la suma ponderada o el producto ponderado).
La asistencia técnica la proporciona una persona ("ayudante técnico") que domina el funcionamiento de los programas necesarios para realizar determinados análisis multicriterial. En la mayor parte de análisis multicriterial de importancia es necesario recurrir a programas informáticos de cálculo, a veces incluso cartográficos. El empleo de estas herramientas requiere evidentemente la cualificación adecuada, por lo que es imprescindible recurrir a una persona con los conocimientos técnicos necesarios para manejar estos programas. Finalmente, es importante que el técnico sepa formular los resultados de forma que sean fácilmente comprensibles.
Puede suceder que, lo largo del análisis, el grupo requiera información adicional para poder continuar con su trabajo (por ejemplo, una mayor precisión en determinados efectos sobre el medio ambiente que pueda producir una acción). En estos casos, es necesario recurrir a uno o a diversos expertos competentes en la materia.
La participación de estos expertos puede reducirse a una sencilla opinión o, en determinados casos, llegar hasta la realización de estudios en mayor profundidad.
Etapa 4: Determinar la lista de alternativas para incluir en el análisis multicriterio. Se deben seleccionar las distintas alternativas que se van a comparar. Según sean sus objetivos, el análisis multicriterial ayudará a comparar:
- Escenarios o soluciones potenciales en un ejercicio de planificación o de evaluación ex ante (por ejemplo medidas susceptibles de disminuir el índice de pobreza);
- Alternativas de un proyecto de infraestructura (por ejemplo. situación de un puerto, trazado de una carretera, etc.);
- Acciones ejecutadas en el marco de un programa (por ejemplo valoración de distintas acciones dentro de un mismo programa de educación).
Evidentemente, la selección de las distintas alternativas es crucial, y todos los participantes deben entender sus mecanismos. A veces las soluciones son de fácil visualización (como por ejemplo dos trazados viarios mostrados sobre plano), pero en otros casos resulta más complejo (por ejemplo distintas modalidades de ayuda a las empresas).
El coordinador será el encargado de comprobar que todos los miembros del grupo han comprendido bien el contenido de cada una de las alternativas que se comparan.
El final de esta cuarta etapa consistirá en la elaboración de una lista de las acciones, escenarios o alternativas que se incluirán en el análisis.
En algunos métodos, esta lista puede irse ampliando a medida que se avanza en el estudio gracias a un reiterado proceso de reflexión que sirve tanto para elegir la solución óptima (o consensuada según el caso) como para pulir el contenido de las acciones.
En determinados ejercicios, la definición de las acciones puede ser especialmente prolongada y sofisticada. A menudo, el evaluador interviene una vez finalizada esta etapa para ayudar a
Tesis Doctoral. Mª Dolores Álvarez del Castillo
elegir entre las posibles acciones de un programa, por ejemplo en el contexto de una evaluación ex ante.
Etapa 5: Identificar y seleccionar los criterios de juicio.
Se trata de una etapa central del análisis multicriterial; puede llegar a ser muy técnica.
Las reglas básicas para establecer los criterios de juicio pueden resumirse de la siguiente forma:
- Los criterios deben definirse antes de realizar el análisis, a partir de unas reglas que todos los participantes conozcan y acepten.
- Deben contemplar todos los puntos de vista expresados por los miembros del grupo (por ejemplo inquietudes económicas o ecológicas de algunos actores).
- No deben ser redundantes entre sí (por ejemplo no debe considerarse una misma preocupación en diversos criterios).
- Deben formar un conjunto coherente que conduzca a resultados plausibles e indiscutibles. Los criterios pueden ser muy variados. En la literatura sobre el análisis multicriterial, es habitual encontrar las siguientes familias de criterios, fácilmente aplicables a todos los campos:
- económicos, - ambientales,
- sociales u organizativos, - legales y políticos.
Si es necesario, a estos grupos pueden añadirse criterios tecnológicos, especialmente vinculados a la fiabilidad de determinadas tecnologías y criterios de utilidad.
Para definir los criterios con el grupo, las técnicas son muy variadas, desde el brainstorming
("tormenta de ideas") hasta una lista predeterminada por el coordinador o por subequipos técnicos de trabajo.
Al finalizar este ejercicio, que en ocasiones puede ser largo, el sistema de criterios definido debe incluir todos los puntos de vista, de un modo u otro.
Salvo que el grupo no conozca debidamente el tema analizado y olvide puntos importantes, dicha selección de criterios podrá considerarse completa cuando el grupo no tenga nada que objetar al respecto. Esto ocurre generalmente cuando cada miembro del grupo dispone de un criterio para el que la acción que él prefiere se sitúa en primer lugar.
Etapa 6: Determinar el peso relativo de los criterios.
Una vez definidos los criterios, una de las reglas del análisis consiste en ponderar estos criterios asignándoles un peso relativo que sea el indicador de su importancia relativa a los ojos de los actores.
Algunos análisis multicriteriales parten del consenso respecto al peso de los criterios. En ese caso, el grupo de juicio se limita a atribuir puntuaciones por criterio a cada propuesta.
Sin embargo, en la mayoría de los casos, el peso de los criterios no depende de un consenso, por lo que cada actor puede asignar un peso distinto a cada criterio.
Como en la etapa de selección de los criterios, en esta fase pueden manifestarse importantes divergencias de opinión entre los actores.
En los casos más sencillos, se le puede pedir al grupo que otorgue a los criterios una escala de valores cardinales, asignándoles por ejemplo coeficientes (por ejemplo, a cada criterio se le asigna un coeficiente entre 1 y 5, que refleja su peso o importancia relativa).
Otra solución sencilla sería la designación de una cantidad total de puntos que cada uno de los actores debería distribuir entre los distintos criterios (por ejemplo repartir un total de 20 puntos entre un total de 6 criterios).
Para los casos más complejos, se han desarrollado diferentes métodos que ayudan a formalizar estas ponderaciones (método Macbeth, matriz de resistencia, etc.).
Entre estos métodos hay uno que, por un lado es lo bastante sencillo como para que todos los interesados puedan entenderlo y, por el otro, lo bastante elaborado como para considerar nociones como la equivalencia, la preferencia y la clara preferencia; como si se tratase de un juego de naipes.
Todos los criterios se anotan en una serie de tarjetas o cartulinas, tipo baraja, y también pueden dejarse algunas en blanco (sin criterio escrito).
Cada uno de los miembros del grupo recibe una serie de cartas con los criterios, y tantas cartas blancas como desee.
Se trata de clasificar los criterios por orden (generalmente por orden decreciente de importancia). Este método contempla dos interesantes posibilidades: se pueden colocar diversos criterios en el mismo nivel (equivalencia), y se pueden insertar cartas blancas entre dos criterios para marcar la intensidad de la preferencia.
Entre todos los participantes se deben fijar dos sencillas reglas al principio: el número de niveles de cartas admitidos (por ejemplo, no se admiten más de 8 niveles de clasificación de los criterios) y el modo de puntuación (por ejemplo., la distancia entre la mejor y la peor puntuación no puede superar una razón de 5).
Por otro lado, determinados criterios pueden tener tanta importancia que requieran un tratamiento distinto de los demás. Es el caso de los criterios en los que puede introducirse la noción de umbral de veto. Según las decisiones del grupo, puede aplicarse en valor absoluto o relativo, intervenir solo o en serie, etc.
Tesis Doctoral. Mª Dolores Álvarez del Castillo
La definición de umbrales de preferencia y de indiferencia es también digna de consideración, especialmente en análisis largos y complejos.
Puede darse el caso de que haya actores que sólo dispongan de material de referencia general sobres estos temas y no apliquen las reglas de la misma forma, lo que a veces puede comportar sesgos.
Por ejemplo, si los umbrales de preferencia e indiferencia no se definen claramente al principio del proceso, dos actores con opiniones muy similares pueden clasificar dos alternativas de forma distinta: uno las puede situar al mismo nivel y otro a niveles distintos.
Así pues, estos umbrales deben quedar bien claros, por criterio y por actor; generalmente, se fijan en función del grado de precisión de los datos que permiten medir el criterio.
Cuando se ha elaborado junto con el grupo el conjunto del sistema para preparar el análisis, es importante probar su sensibilidad. El test de sensibilidad consiste en la observación del efecto de las modificaciones de los parámetros elegidos por el grupo sobre los resultados del análisis. De esta forma se pueden someter a prueba las reglas fijadas por el grupo para averiguar, por ejemplo, si variaciones en la puntuación de los resultados por criterio, en la ponderación, en la agregación de subcriterios en un solo criterio o en la definición de un umbral tienen un efecto importante o no en los resultados del análisis.
En los análisis largos y complejos, este tipo de test puede realizarse en diversas etapas del proceso.
Etapa 7: Juicio por criterio
Una vez definidos los criterios corresponde a cada uno de los actores emitir su juicio sobre cada una de las alternativas que se comparan, en relación con cada uno de los criterios. En el marco de una evaluación ex ante (antes de la acción), este estudio es prospectivo. Puede basarse en la opinión de expertos, en estadísticas o, según la complejidad del asunto, en modelos predefinidos.
En esta fase, se trata pues de intentar asignar valores a los impactos de cada acción en relación con el criterio.
En el marco de una evaluación ex post (después de aplicar la acción), se puede realizar el mismo ejercicio que en la evaluación ex ante a partir de los resultados reales obtenidos. A veces, estas estadísticas pueden presentar lagunas; en ese caso, los datos pueden ser reconstruidos a partir de la opinión de los expertos.
Esta evaluación puede ser cuantitativa (por ejemplo número de empleos creados), pero también cualitativa (por ejemplo se puede responder al criterio "impacto paisajístico" mediante una escala del tipo "moderado, medio, fuerte").
Asimismo, la evaluación puede ser relativa; por ejemplo, al criterio "aceptabilidad social de la acción X", se puede responder simplemente que, según el actor Y, la acción A es más aceptable que la acción B.
Así, los resultados de este análisis de impactos pueden ser de carácter muy diverso, proceder de cálculos técnicos muy complejos o sencillamente de la opinión de expertos en la materia en cuestión.
El resultado del trabajo anterior es la calificación y, por ende, la valoración mediante un juicio de cada una de las alternativas en relación con cada criterio.
El juicio es emitido por el grupo, mientras que el estudio de impactos puede ser realizado previamente por especialistas en el tema objeto de estudio.
El objetivo de esta fase es llegar a otorgar a cada acción una puntuación por criterio. Gracias a estas calificaciones se pueden comparar, por un lado, las alternativas entre sí y, por el otro, las opiniones entre los distintos actores respecto de una misma acción.
Si no se tiene la posibilidad de recurrir a programas informáticos que permitan acceder a las distintas posibilidades del análisis multicriterial, se pueden facilitar los cálculos y el progreso del análisis transformando las opiniones cualitativas en valores.
Etapa 8: Agregación de los juicios
Se trata de un punto crucial del análisis, y no precisamente el más sencillo. Cuando ya se han puntuado las distintas alternativas por criterio, la primera idea que suele proponerse es la aplicación de operaciones matemáticas simples para comparar las alternativas. Sin embargo, es importante controlar bien los métodos empleados ya que, de lo contrario, el riesgo de incoherencias y de resultados poco o nada fiables es elevado.
Para empezar, hay que comprobar que todos los datos funcionan en el mismo sentido en relación con la preferencia de los actores del grupo (por ejemplo se prefiere tal superficie para la realización de una obra aunque ésta sea más reducida). El empleo de puntuaciones por criterio empleando clases (por ejemplo clase de superficie de construcción) o rangos (por ejemplo acción clasificada en primer lugar para un criterio determinado) permite relativizar las distancias entre los criterios.
Sin embargo, sigue existiendo riesgo de llegar a resultados poco satisfactorios. En esta fase, es importante comprobar si diversas maneras de dirigir la operación conducen a resultados similares o, por el contrario, exageradamente dispares (por ejemplo una acción que ocupe el primer lugar en una matriz y el último en otra tan solo modificando una escala en un parámetro).
Tesis Doctoral. Mª Dolores Álvarez del Castillo
a
Suma ponderadaEl método de la suma ponderada es perfectamente aplicable a medidas de valores reales, comparables entre sí. Sin embargo, enseguida se revela confusa cuando intervienen valores de distinta naturaleza.
Si el grupo decide aplicar el método de la suma ponderada para agregar los resultados, significa que acepta que entre los criterios es posible toda compensación.
b
Producto ponderadoEl método del producto ponderado también se utiliza muy a menudo. A pesar de los riesgos matemáticos, su empleo permite considerar mejor los extremos. En este sentido, es más adecuado para incluir lo que algunos miembros del grupo puedan considerar como no compensable (o mal compensable). Por otro lado, con este sistema el veto se puede expresar con valor igual a cero en la puntuación de un criterio.
c
Métodos basados en las relaciones de superación (“outranking”)Los especialistas en el ámbito de la decisión multicriterial enseguida se vieron enfrentados a una serie de dificultades cuando las acciones alternativas eran poco o incluso nada comparables entre sí (por ejemplo, en el marco de un programa de salud, una acción de vacunación y otra acción de carácter informativo).
A partir de ahí, se han desarrollado tres conceptos básicos para valorar la noción de preferencia en los análisis multicriterial más recientes:
- La preferencia, que indica claramente que un actor se decanta más por una acción que por otra;