En la literatura de evaluación, podemos encontrar diversos desarrollos acerca de las estrategias de transmisión de resultados en autores como Morris, Fitz – Gibbon y Freeman (1987), y Patton (1997) quienes destacan aspectos prácticos para una adecuada transmisión. También encontramos autores más recientes como Torres
(1996 y 2001), Russ – Eft (2001), Preskill (1996 y 2001) y Piontek (1996) quienes, además de destacar aspectos prácticos de la transmisión, los amplían y adecuan a determinadas exigencias comunicativas actuales de los diversos agentes.
La transmisión suele hacerse en un Informe escrito, a través de la formulación de “conclusiones” y/o “recomendaciones”, en la que las primeras, muestran identificaciones y hallazgos; y, las segundas, muestran y sugieren acciones concretas que implementar, siendo éstas más relevantes y prácticas que las anteriores dado su carácter aplicativo. No obstante, al respecto hay aspectos más específicos que cabría precisar así, por ejemplo, para Torres (2001, 347 y ss.), la transmisión o comunicación debe articularse en función de los siguientes elementos:
1. El público.- Aquí nos estamos refiriendo a todos aquellos que tienen algún interés o expectativa en el proceso evaluativo y, por ende, en la comunicación de sus actividades y resultados, son los llamados stakeholders. En este punto, Russ-Eft y Preskill (2001, 141 – 143) distinguen entre tres grupos de stakeholders:
a. De primer orden, vienen a ser los agentes responsables del diseño, el desarrollo, la implementación y el financiamiento de la evaluación. Aquí se incluyen: entidades financiadoras, diseñadores, implementadores y personal.
b. De segundo orden, son los que pueden ser excluidos de las actividades ordinarias de la política y/o programa, pueden no tener control económico sobre la evaluación, pero tienen un importante interés en los resultados, tanto del programa como de la evaluación. Se incluyen: gerentes, administradores, estudiantes/participantes, usuarios y consumidores.
c. De tercer orden, los que tienen algún interés en la evaluación cara a una futura planificación o proceso de toma de decisiones; o, tienen algún interés general o derecho para conocer los resultados de la evaluación. Aquí pueden incluirse: usuarios potenciales, organizaciones profesionales, legisladores, Consejos de Gobierno.
Esta clasificación, mencionan las autoras, no es cerrada pero, nos sirve como un mecanismo de sistematización de agentes. Ahora, desde el punto de vista de la comunicación de resultados, todos los agentes arriba mencionados son potenciales receptores de los contenidos del proceso evaluativo pero,
principalmente, los agentes del primer orden, ya que son ellos los que diseñan, dirigen la implementación y/o la evaluación y, además, tienen un interés expreso en los resultados y en la dirección de la evaluación.
Morris, Fitz – Gibbon y Freeman (1987, 10 – 11) establecen la distinción entre “usuarios primarios” y “usuarios secundarios”. Los “usuarios primarios”, son los individuos cuyas necesidades de información son de responsabilidad directa del propio evaluador, como por ejemplo: el promotor de la evaluación, los que solicitan la evaluación, determinados agentes clave para la investigación, etc. Los “usuarios secundarios” son otros individuos o grupo de individuos que pueden estar ligados al programa en algún sentido y tienen un interés en él y en su evaluación, como por ejemplo: grupos comunitarios, personal de organizaciones, legisladores, grupos especiales de interés, etc.
Patton (1997, 41 – 42) nos da una visión más amplia de los stakeholders y establece que son agentes que tienen un algún interés en los hallazgos de la evaluación así, pueden haber múltiples agentes: financiadores de programas, personal, administradores y clientes o participantes en el programa. Asimismo, incluye dentro de este concepto a los que tienen un interés directo o indirecto en la eficacia del programa, como: periodistas, el público en general, algunos contribuyentes para el caso de programas públicos y aquellos que toman decisiones o quieren información acerca del programa. La relevancia que Patton le da a los stakeholders para el desarrollo del proceso evaluativo es tan importante, que plantea que toda evaluación debe iniciarse delimitando el conjunto de agentes interesados en la utilización del programa. Así, vemos que para el citado autor los
stakeholders tienen un rol protagónico en la evaluación en función del interés que
tengan en ella y más que nada en su utilización.
2. Los propósitos.- La comunicación de los resultados tiene dos propósitos generales: comunicar los propios contenidos de la evaluación y dar a conocer los hallazgos de la evaluación. De estos dos propósitos el más importante es el segundo es decir, la comunicación más importante se produce cuando se ponen a disposición los hallazgos de la evaluación pues, en cierta medida, dan a conocer el contenido de la acción y/o intervención que ha sido evaluada. Dentro de este marco, la recomendaciones pueden plantearse como una prolongación de los hallazgos, en el sentido que los originan.
3. La duración.- En la gran mayoría de los casos, la duración está íntimamente ligada al ciclo de vida del programa, departamento, organización o del asunto objeto de la evaluación. Asimismo, la duración es una función del número de agentes que la llevan a cabo; en ese sentido, si es un solo agente el que establece el marco temporal de la evaluación, puede establecer de manera discrecional cuándo tendrán lugar las diferentes comunicaciones; si la evaluación es más participativa, habrá que estar pendientes de los diversos individuos o grupos interesados con quienes se tendrá una comunicación regular.
De todas formas, siempre se necesitarán datos específicos y plazos de tiempo para comunicar y dar cuenta de los hallazgos al público interesado. Los plazos son necesarios para planificar y programar; preparar las comunicaciones y los informes; o, sino para involucrar a otros agentes en su revisión y desarrollo.
Ahora, cabe precisar además que, la duración de la evaluación guarda una estrecha relación con la utilidad de la misma, en ese sentido, Morris, Fitz – Gibbon y Freeman (1987, 16 – 17) establecen que la entrega de los resultados coincidirá con el marco de toma de decisiones así, si la información se proporciona muy pronto, puede perder su impacto; por el contrario, si la información llega muy tarde, ésta será historia y, probablemente, no tendrá impacto. Por tanto, es necesario trasmitir la información contenida en los resultados de manera oportuna, de tal manera que la evaluación no devenga en inservible.
4. El formato y el contenido.- El contenido de las comunicaciones e informes de evaluación debe referirse siempre a sus propósitos. El más importante criterio de éxito, es que el contenido sea presentado de tal manera que pueda ser inmediatamente entendido y fácilmente asimilable para los agentes a los cuales se dirige. Para tal fin, Torres (2001, 362 – 363) establece cuatro grandes aspectos para escribir adecuadamente las comunicaciones y, particularmente, los informes:
a. La redacción debe de realizarse con un estilo claro, por tanto, deben de eliminarse todo tipo de jergas, junto con todos los términos técnicos que pueden no comprenderse. Asimismo, deben utilizarse herramientas de ortografía, gramática y estilo que ayuden a verificar la claridad de lo escrito; y, en esa misma línea, se debe de prever tiempo suficiente para escribir varios
borradores, hacer retroalimentación y las correcciones que se consideren pertinentes.
b. Puede utilizarse tablas, gráficos, diagramas e ilustraciones con la finalidad de mostrar mejor determinados contenidos. Al respecto, se entiende que tales contenidos deben de estar referidos a aspectos cuantitativos de la evaluación, ya que son los más adecuados para ser mostrados con este tipo de herramientas. Así, para garantizar una coherente transmisión de contenidos con el uso de estas herramientas, pueden tenerse en cuenta las siguientes pautas: buscar el modo más efectivo de presentación de información, teniendo en cuenta el contenido del mensaje; verificar la exactitud de los datos que se transmiten; una vez elaboradas las tablas, gráficos, diagramas o ilustraciones, conviene explicarlas con un texto escrito a continuación de su presentación; etc.
c. Para la transmisión de hallazgos, ya sean cualitativos o cuantitativos, va a ser necesario formar grupos de evaluadores especializados que transmitan la recolección de datos, su análisis y los informes respectivos pertinentes. Respecto a estos últimos, es necesario que se trate de informes cortos y sumarios en los que haya una transmisión selectiva de datos que muestren realmente todo el proceso evaluativo, lógicamente, teniendo en cuenta al público al cual se va a dirigir.
d. La comunicación de hallazgos negativos, es un aspecto de la transmisión de resultados de una relevancia especial ya que, principalmente, sitúa la evaluación dentro de un contexto de aprendizaje organizacional, ya que los aspectos negativos se plantean como oportunidades de mejora; y, permite tener presente las perspectivas y la posición de los agentes interesados, en tanto capaces de resolver problemas, en vez de verse como culpables. La transmisión de este tipo de hallazgos debe de hacerse de manera adecuada, tanto en la forma como en el fondo, con la finalidad de evitar posibles desconciertos y extrañezas en los destinatarios, por ejemplo: en el modo de referirse a ellos podría utilizarse una denominación como “áreas o cuestiones de interés particular”, en vez de “hallazgos negativos”.
Morris, Fitz – Gibbon y Freeman (1987, 28 – 45) también nos dan unas pautas precisas para garantizar una adecuada transmisión del contenido, así establecen
unos consejos prácticos para transmitir el mensaje de evaluación (realización de un informe creíble, transmisión sólo de la información necesaria, presentar un informe ajustado al público, etc.); para la redacción (empezar con la información más importante, resaltar los aspectos más importantes, hacer un informe legible); para la presentación verbal (presentaciones visuales, naturalidad en la exposición, hacer presentaciones participativas, etc.); y, para trabajar con la prensa (instruir a los reporteros, preparar notas de prensa, transmitir información veraz). Con estos consejos, los citados autores, pretenden causar un gran impacto que se traduzca en la utilización de los resultados de la evaluación.
Desde mi punto de vista, el contenido viene a ser el núcleo de la transmisión de los resultados plasmados en las recomendaciones es decir, nos va a mostrar lo que a través de éstas se ha identificado y que debe implementarse para perfeccionar la acción y/o intervención evaluada. La transmisión de tales resultados es clave, entonces, para que el proceso evaluativo cumpla sus propósitos, fines y funciones, en ese sentido, esa transmisión debe de cuidarse, tal como lo plantean las autoras antes citadas. Pero, no basta con transmitir, sino que también hay que prestar atención al modo de transmitir o a los mecanismos de transmisión, esa es la función de los formatos.
En cuanto a los formatos para comunicar e informar, Torres (2001, 367 – 369), sostienen que, generalmente, los evaluadores y los grupos de evaluación tienen mucha discrecionalidad para elegir los formatos mencionados; no obstante, deben de guiarse por el principio de elegir el formato – y el método de entrega – que maximice el acceso y el compromiso del público. Así, los formatos más vinculantes son aquellos que involucran al público de la evaluación, en vez de posicionarlos como receptores estáticos de información. En ese sentido, establecen tres niveles de interacción con sus respectivos formatos:
a. Nivel “más interactivo”, aquí los formatos empleados se circunscriben a sesiones de trabajo, encuentros improvisados o encuentros planificados.
b. Nivel “potencialmente interactivo”, en este nivel priman presentaciones verbales, presentaciones audiovisuales, afiches e internet.
c. Nivel “menos interactivo”, quizás este el nivel más tradicional y común existente en la actualidad, en el cual, la transmisión de resultados se hace por cartas, memorándumes, informes escritos amplios, informes ejecutivos sumarios, boletines, folletos y los medios de comunicación masiva.
Podemos apreciar que existe una gama muy amplia de formatos para transmitir los contenidos, la cual está en función del matiz participativo que se le quiera dar a los mismos. Particularmente, me inclino por los formatos participativos, ya que son una garantía de que se están involucrando los diversos agentes interesados en la evaluación, sobre todo, los del “primer orden” apuntados arriba. Asimismo, porque es un modo de garantizar que aquellos que deben implementar las recomendaciones participen en la forma cómo se comunican las mismas, en el sentido de que son ellos los más interesados en conocerlas detalladamente. Y, también, podemos añadir, es un modo dar continuidad y coherencia a las funciones participativas y democráticas que, desde mi punto de vista, deben dársele a toda evaluación. Así, si hubo participación y transparencia durante el proceso evaluativo, ¿por qué no ha de haberla en la comunicación de sus resultados y, en ellos, de las recomendaciones?, parece razonable, entonces, que haya más interacción entre los agentes.
No obstante, tan deseable situación, puede tener una contrapartida, ya que, al participar varios agentes, se puede caer en el riesgo a que haya discrepancias y que no se llegue a ningún acuerdo respecto de las recomendaciones. Al respecto, considero que para evitar ese tipo de situación, sería necesario, en primer lugar, revisar los fines, propósitos y funciones de la evaluación y, que sean ellos el marco ordinario que sirva de guía para la discusión, el establecimiento y transmisión adecuados de las recomendaciones. En segundo lugar, considero que deben de tener especial relevancia las intervenciones de la administración, la entidad evaluadora y los ejecutores de la acción evaluada.
La administración, toda vez que ella es la que ha encargado las evaluaciones; la entidad Evaluadora, ya que ella es la que lleva a cabo la evaluación y le interesa, en principio, realizar un trabajo de calidad; y, los ejecutores, porque es su actividad la que se está evaluando y porque, de ser el caso, tendrán que implementar las recomendaciones. La consideración de estas intervenciones es de capital importancia, ya que implica tener en cuenta la participación de tres tipos de
agentes de particular relevancia para el proceso evaluativo, ya que sin ellos, éste no podría articularse.
Asimismo, Torres, Preskill y Piontek (1996, 65 y ss.), establecen que los evaluadores pueden no dedicar tiempo a planificar la comunicación de sus actividades realizadas, por lo que se van a encontrar insatisfechos con los resultados de su propia evaluación. Entonces, la comunicación debe de planificarse, para lo cual, señalan las autoras, podrían seguirse las siguientes etapas:
1. Identificación del público.- Una de las características que distinguen a la evaluación de la simple investigación, es la responsabilidad que tienen los evaluadores de transmitir información útil a agentes que tienen algún interés particular en la planificación, implementación y hallazgos de la evaluación. Así, el público interesado pude incluir a agentes que: patrocinan la evaluación; elaboran decisiones en base a los resultados de la evaluación; están proporcionando información en calidad de grupo objetivo; están participando en la planificación o creación y, en la implementación de lo que se está evaluando; están interesados en lo que se está evaluando; tienen un derecho a la información (p. ej.: legisladores, contribuyentes, etc.); o, pueden ser afectados por los resultados de la evaluación. Aquí, es válido aplicar la distinción entre público de primer, segundo y tercer orden, precisada anteriormente.
Un modo práctico de identificar al público interesado en la evaluación, mencionan las autoras, es identificar a las personas que tienen roles de dirección y preguntarles sobre los demás agentes interesados. Así, en toda evaluación, los evaluadores deben identificar a todos aquellos agentes que puedan estar interesados en la evaluación o ser afectados por ella; y, tener especial cuidado en asegurar que el público identificado sea representativo de todos los públicos posibles. Ahora, desde el punto de vista de la información que se transmite, no todos los agentes interesados precisan que se les dé la misma información, sino que a cada agente se le debe proporcionar información según sus intereses y necesidades, en cierto sentido, se trata de dar información en función del agente de que se trate.
2. Planes de evaluación.- Un plan de evaluación es una herramienta esencial, no sólo para planificar y organizar las evaluaciones, sino también para determinar el rol de
la evaluación en encontrar la información necesaria para el variado público interesado en ella.
La planificación de la comunicación de los hallazgos de la evaluación empieza con el encuentro con los clientes y los agentes interesados a quienes la evaluación está dirigida. El desarrollo de la evaluación, generalmente, involucra una larga discusión con agentes clave acerca del contenido del programa y las razones de la evaluación. La información producida de estas discusiones puede ayudar a determinar la mayor parte de métodos para transmitir o comunicar los resultados que se produzcan. Es decir, si desde un principio hay un conocimiento amplio de los agentes interesados, posteriormente, se les podrán transmitir adecuadamente los resultados producidos.
3. Planes de comunicación y de informe.- Al respecto, es importante elaborar un plan de comunicación e información que incluya cómo y cuándo los hallazgos de la evaluación van a ser distribuidos a todos los agentes relevantes. Los evaluadores que no desarrollan un plan de este tipo, pueden tender a difundirlo no más allá que al propio ejecutor del programa, quizás, no con mala intención, sino porque tienen una agenda de trabajo amplia y compleja que les impide transmitir los resultados de la evaluación a un público variado.
El primer paso para desarrollar un plan de comunicación e informe es discutir acerca del propósito de la difusión de los resultados de la evaluación y quiénes pueden recibirlos. Al respecto, es útil consultar al público de primer orden y considerar cómo ellos van a utilizar los resultados finales: para hacer políticas; para adoptar decisiones operativas y/o proveer información para respuestas específicas; o, simplemente, por puro interés.
El plan de comunicación sirve como una guía para asegurar que el público interesado reciba a tiempo información adecuada a sus necesidades específicas. Asimismo, el desarrollo de este plan ayuda también a que los potenciales usuarios definan qué información necesitan de la evaluación, ya que, no siempre tienen claro qué información les convendrá disponer. El plan de comunicación se orienta a determinar los tipos de comunicación que cada público necesita, el formato de su presentación y la frecuencia de su difusión. En ese sentido, trabajar participativamente con el público del primer orden permite que el evaluador
establezca un acuerdo aproximado sobre cómo se van a trasmitir los resultados de las evaluaciones y qué información va ser más útil.
Morris, Fitz – Gibbon y Freeman (1987, 19), en la línea de que es necesario planificar los informes y, en ellos, la comunicación de los resultados, sugieren que en la planificación se lleven a cabo las siguientes actividades: hacer una lista de los usuarios primarios y, si es posible, de lo secundarios; añadir a la lista una reseña acerca de lo que se sabe de los usuarios deseados; diseñar un documento maestro de todas las actividades de evaluación realizadas y fijar el tiempo límite de presentación de informes; y, utilizar la información proveniente del documento maestro para que, en base de ella, organizar una línea de tiempo que permita seguir las fechas importantes en el informe. Estas pautas que marcan los autores nos sirven de ayuda “en” y “desde” la praxis de la comunicación de resultados y, complementadas con las aportaciones de Torres, Preskill y Piontek (1996), nos dan criterio para transmitir los resultados de una evaluación.
Quizás quepa destacar, la importancia que para tales autores tienen los agentes destinatarios de la evaluación o usuarios de la misma, a tal punto que vienen a ser una de las primeras cosa en las que los evaluadores deben de fijarse. Ello guarda relación con los caracteres de utilidad y practicidad que dan sentido y finalidad a la evaluación es decir, que no se podría hablar de evaluación si ésta no se utilizara para algo en provecho de alguien; de ahí, la importancia que tiene conocer a los agentes interesados ya que son ellos quienes va a hacer efectivos los resultados de la evaluación. Cuando hablo de “conocer”, no me refiero sólo a un conocimiento