Dentro del procedimiento del método Delphi se pueden distinguir seis etapas, la formación del grupo monitor, la selección del panel de expertos, la preparación del cuestionario, el envío de la información al panel de expertos, el análisis de las respuestas al cuestionario y la publicación de la información recolectada. Estas etapas se detallan en la figura 4.4.
Evaluación del riesgo sísmico de edificaciones educativas peruanas - 47 -
4.3.1.
Grupo monitor
La primera etapa que se debe realizar en un estudio Delphi es la constitución del grupo encargado del diseño del ejercicio en todas sus fases, que en la literatura se define como grupo monitor. El grupo monitor es un conjunto reducido de personas encargadas de definir los alcances del trabajo, preparar y analizar los cuestionarios, realizar las iteraciones y conducir el proceso.
Las funciones principales del grupo monitor incluyen fijar los objetivos que se persiguen con el método Delphi, reunir la información inicial para el estudio del tema a tratar, fijar los criterios de selección de los panelistas (número y composición) y realizar el estudio del tema de acuerdo al objetivo planteado. También se busca elaborar un cronograma detallado del tiempo que tomará realizar el proyecto especificando la duración de cada una de las etapas y diseñar los cuestionarios y los métodos de tabulación y evaluación de la información obtenida. Finalmente el grupo se encarga de la distribución y recolección de los cuestionarios así como de la presentación de la información final.
El grupo monitor debe tener un coordinador, encargado del funcionamiento eficiente y ordenado del grupo monitor. El coordinador debe dirigir al equipo de trabajo así como administrar los recursos necesarios, supervisar el cumplimiento de los plazos, servir de vínculo con el panel de expertos y atender las consultas de los panelistas. Esta persona puede ser elegida entre los integrantes del grupo monitor, por sus características personales de liderazgo, por su capacidad organizativa o conocimiento sobre el tema.
4.3.2.
Formación del panel de expertos
Un experto es una persona con un alto conocimiento del tema, debido a su propia experiencia profesional o a sus trabajos de investigación. La selección adecuada del panel de expertos y la obtención de su compromiso de participación es una de las tareas de mayor cuidado. El panel de expertos se encarga de proporcionar la información que se requiere para el estudio, es por eso que su selección es tan importante.
Las personas elegidas deben ser grandes conocedoras del tema en estudio y deben presentar una pluralidad en sus conocimientos para evitar así la aparición de sesgos en la información disponible. Deben ser personas proactivas con ganas de colaborar y deben tener un particular interés en el tema a tratar. Así mismo, se debe asegurar diversidad en los puntos de vista, por lo tanto es recomendable que en el panel de expertos estén representadas todas las instituciones vinculadas al tema.
El número óptimo de panelistas depende del tema a tratar, de los objetivos del estudio y de los recursos con los que se cuenta. El número de panelistas esta directamente relacionado con el objetivo final del análisis, de lo que se quiera dar a conocer en términos
Evaluación del riesgo sísmico de edificaciones educativas peruanas - 48 -
de difusión y del efecto que los resultados puedan tener en la toma de decisiones. La limitación de recursos tanto humanos como financieros determinan en algún grado el número de panelistas. Por último, hay que tener en cuenta los abandonos y las no respuestas, por lo que es recomendable que el número de expertos no sea muy pequeño. La cantidad de panelistas será determinada por el grupo monitor.
Es importante que los panelistas entiendan en que consiste el método Delphi, así para cada etapa del proyecto ellos sabrán cual es el objetivo de cada procesos que requiere la metodología. Antes de iniciar la sesión se les debe detallar a los expertos la finalidad y el espíritu de Delphi, así como las condiciones prácticas del desarrollo de la encuesta, plazo de respuestas y garantía de anonimato.
4.3.3.
Preparación del cuestionario
Otra etapa del ejercicio Delphi es el diseño y elaboración de los cuestionarios que contienen las preguntas y la información sobre el tema de investigación. La confección de las preguntas y formas de seleccionar y representar la información son aspectos determinantes ya que pueden afectar los resultados del ejercicio. Las preguntas de un ejercicio Delphi, no son las típicas preguntas de una encuesta común y corriente, aunque igual que ellas, deben ser cuidadosamente elaboradas y cumplir ciertos requisitos.
Uno de los principales requisitos es la claridad de conceptos, un diseño cuidadoso exige precisión y claridad de los conceptos vertidos en cada pregunta. La cantidad de conceptos que deben ser definidos dependerá de las características y composición del panel. Así por ejemplo para una encuesta sobre la contaminación del agua con petróleo, si todos los panelistas son químicos no es necesario definir los conceptos técnicos de la composición molecular del agua y del petróleo.
La extensión y presentación también son muy importantes. Dado que por lo general las preguntas reflejan la cultura, el conocimiento y los sesgos de quienes las formulan, están sujetas a diferentes interpretaciones por parte de los panelistas. Una pregunta demasiado concisa conduce a una excesiva variedad de interpretaciones, y una demasiado larga, requiere asimilar demasiados elementos de una sola vez. Por lo tanto, es necesario encontrar una extensión adecuada que conduzca al más amplio acuerdo de interpretaciones. El mayor consenso se obtiene en aquellas preguntas de mediana longitud.
Así mismo, se debe mantener el interés de los panelistas. Para lograr esto, se deben preparar cuestionarios concisos y presentados en forma atractiva y amena. Una forma de lograr esto es, reduciendo al mínimo el número de hojas, de tal modo, que el panelista no se desanime al ver el cuestionario demasiado voluminoso.
Evaluación del riesgo sísmico de edificaciones educativas peruanas - 49 -
Dado que un panelista no siempre domina todos los aspectos de un tema, las preguntas que se formulen en un ejercicio Delphi, deben incluir el grado de certeza de la respuesta y el grado de experiencia del encuestado. Para cada pregunta, los expertos deben dar un valor del 0 al 10 tanto a su nivel de experiencia como a su nivel de confiabilidad en su respuesta, donde cero significa una falta de experiencia o confianza en ese tema y 10 significa una amplia experiencia o certeza absoluta. Este valor indica el grado de certeza que cada experto tiene en su respuesta. Así un valor de confianza en la respuesta de 9 implicaría que hay 10% de probabilidades de que la respuesta que se haya dado sea incorrecta y un 90% de que sea correcta.
Con los valores de experiencia y confianza se obtiene un peso para la respuesta de cada participante, de manera tal que una respuesta con mayor experiencia y confiabilidad pesará más que una con poca experiencia y confiabilidad.
4.3.4.
Envío de la información al panel de expertos
Una vez terminado y corregido el cuestionario, este es enviado a los expertos (primer envío). En muchos casos el cuestionario es enviado con información complementaria para aclarar temas y conceptos. Los panelistas tienen un tiempo determinado para contestar y enviar sus respuestas luego del cuál, el equipo monitor se encarga de analizarlas.
Al terminar de analizar las respuestas y formular el documento de retroalimentación que contiene las respuestas de la primera encuesta en forma estadística, el equipo monitor, vuelve a enviar otra encuesta incluyendo el documento de retroalimentación. La iteración de encuestas continúa hasta que el grupo monitor considere que se alcanzó un consenso estadístico.
4.3.5.
Análisis de las respuestas al cuestionario
El procesamiento de datos empieza con un resumen claro y detallado de toda la información. Cada respuesta es ponderada de acuerdo al nivel de confianza y grado de experiencia del experto. El análisis estadístico se centra en el cálculo de la mediana (lo que consideran el 50% de los expertos), el primer cuartil o el cuartil inferior (lo que consideran el 25% de los expertos) y el tercer cuartil o cuartil superior (lo que consideran el 75% de los expertos).
Los resultados deben presentarse en cuadros estadísticos, en la forma de medias, frecuencias, medianas, histogramas de distribución, etc. Con esta representación se procede a identificar los puntos donde se han logrado consensos y discrepancias.
Evaluación del riesgo sísmico de edificaciones educativas peruanas - 50 -
En la mayoría de los casos se entiende como consenso estadístico cuando una alternativa acumula al menos el 50% de los votos ponderados por nivel de confianza y grado de experiencia y cuando la variabilidad no excede de 25%. Sin embargo, la definición de consenso puede variar según el uso de Delphi y deberá ser determinada por el equipo monitor. Una vez que se llegue al consenso estadístico el procedimiento Delphi habrá concluido.
4.3.6.
Publicación de la información recolectada
Al final del proceso de iteraciones de Delphi queda sólo la elaboración del informe final en el cual se incluyen todas las conclusiones del análisis de las respuestas de los expertos y los comentarios realizados por los panelistas. Es preciso que la información que se presente al final también se encuentre en forma estadística. En la figura 4.5 se presenta un ejemplo de representación de las respuestas en esta forma.
Evaluación del riesgo sísmico de edificaciones educativas peruanas - 51 -