La evaluación de las políticas públicas tiene como propósito producir información de calidad para orientar nuevos procesos de decisión, por lo que su análisis no pue- de correr por separado de su implementación ni de los problemas que se planteó resolver. Es por ello que, según Aguilar Villanueva, se trata de una pedagogía pública
(Aguilar Villanueva, 1996) que, teniendo en cuenta los errores de las decisiones
públicas, induce a modificaciones. En el caso de las políticas públicas de integración de las TIC en los sistemas educativos de América Latina, la evaluación representa un tema de preocupación central, debido a que, con frecuencia, se convierte en una debilidad del proceso de implementación de las acciones. Si bien existe el consenso, visible a través de iniciativas puntuales en los diferentes países, de que la evaluación es un insumo clave para la toma de decisiones y para dar apoyo durante la implementación, puede señalarse que, en el presente, existe poca información que dé cuenta, en forma sistemática, del alcance de estas políticas de modo integral, es decir, abarcando todos los aspectos involucrados en las iniciativas.
Si bien es posible afirmar que no parece posible que un proceso de evaluación abar- que todos los aspectos que implica el accionar de una política o de un programa, es necesario adoptar decisiones estratégicas sobre los aspectos considerados priorita- rios, aquellos sobre las cuales se debe profundizar y aquellos cuyo desempeño es urgente conocer. Los criterios por los cuales generalmente un programa selecciona qué evaluar se orientan, por ejemplo, a partir de las necesidades de conocimiento y de aprendizaje sobre su propio accionar, sobre los requisitos de información direc- tamente asociados con determinados procesos de implementación o sobre requeri- mientos específicos de información solicitados por los responsables de la conducción del programa o política. De este modo, es de esperar que una evaluación así entendi- da se constituya en un proceso permanente y continuo de indagación y valoración de las distintas etapas de un programa o proyecto (inicio, ejecución, finalización), lo que posibilita que se transforme en una herramienta de gestión de carácter estratégico. Si bien en la región se hacen esfuerzos para desarrollar acciones de monitoreo, se- guimiento y evaluación de los programas, tales iniciativas aún no logran suficiente madurez y continuidad como para generar información sistemática. En parte, ello se debe a la complejidad intrínseca de los programas de inclusión de TIC en educación y también a la escasez de un ejercicio sostenido de acciones de seguimiento y eva- luación de programas y políticas, en el ámbito educativo en general.
Las experiencias hoy vigentes en la región enfrentan desafíos que obedecen al menos a tres conjuntos de interrogantes diferentes, a los que se intenta dar respuesta desde las acciones de evaluación. En primera instancia, se busca la identificación de diferen- tes tipos de efectos, resultados e impactos, que se espera produzcan las políticas de inte- gración de TIC en el sistema educativo, lo cual despliega un amplio espectro de dimen- siones a indagar y la necesaria diferenciación entre resultados directos de las acciones y transformaciones estructurales de más largo plazo, entendidas estas como impactos. En segundo lugar, se procura sopesar la temporalidad de los efectos de las políticas, lo que resulta un aspecto más complejo de anticipar a la hora de diseñar procesos de evaluación, pues, en definitiva; ¿cuándo es razonable esperar que se operen determi- nados tipos de transformaciones consideradas como resultados o impactos? Luego,
65
INFORME SOBRE TENDENCIAS SOCIALES Y EDUCATIVAS EN AMÉRICA LATINA 2014en estrecha relación con los dos anteriores aspectos, el tercer evento a evaluar está vinculado con la idea de progreso, es decir, si es necesario que los dispositivos de evaluación generen información consistente que permita construir una mirada lon- gitudinal sobre los procesos de integración de TIC buscando dar cuenta de la progre- sión temporal de los resultados e impactos. Esto último se requiere para lograr una mejor aproximación a la estimación del valor agregado que aportan efectivamente las iniciativas vinculadas con la integración de las TIC en educación.
De algún modo, la ausencia de información disponible en relación con el alcance de las políticas TIC en el sector educativo nos remite a un aspecto ya abordado a lo largo del documento en relación con la corta trayectoria que poseen las experiencias que se están llevando adelante en la región. Si bien esta cuestión no explica, en muchos casos, la ausencia o debilidad de los dispositivos de evaluación sobre las experien- cias que están en marcha, quizá permita comprender la escasa sistematización de información en torno a los distintos aspectos de implementación de las políticas TIC. En concordancia con lo planteado, otra característica señalada por los entrevistados se refiere a la dispersión existente entre los distintos actores involucrados en la implemen- tación de políticas TIC, por lo que las instancias de seguimiento, monitoreo y evaluación también deberían contribuir a evitar tal disgregación, y a generar espacios de encuentro e intercambios a partir de compartir la mirada sobre los efectos de las acciones, si bien todo esto incrementa la complejidad de la gestión de las acciones de evaluación. A partir de esta situación y con cierto contraste respecto de la ausencia de información sistemática, existen algunas propuestas de abordaje de las tareas de evaluación que, en términos generales, postulan conjuntos organizados de indicadores sobre los aspectos clave de las políticas TIC, lo que contribuye a ordenar, en algún sentido, la mirada sobre los múltiples aspectos que intervienen y son objeto de atención durante el diseño e implementación de las políticas. Estos indicadores son: acceso, infraestructura, uso, contenidos, personas, apropiación, procesos y gestión, entre otros.
Una propuesta para el diseño, la implementación y la evaluación de las iniciativas de políticas TIC en la región es la que desarrolla el BID (2011), que reconoce e identifica cuatro componentes mínimos necesarios para pensar la evaluación: la infraestruc- tura, los contenidos, las personas y los procesos. Estos componentes permiten eva- luar los resultados y el impacto de las intervenciones planificadas por los distintos proyectos, planes y políticas en los diferentes países que componen la región. Dicho marco se plantea como amplio y flexible, para ser capaz de considerar proyectos de diversa naturaleza –nacionales o subnacionales–, en contextos diferentes, en diver- sas etapas de desarrollo y maduración. El propósito de este marco es aportar una visión sistémica e integrada que apoye la toma de decisiones de los responsables de las políticas educativas en los países de la región, cuyo objetivo final es la mejora en los aprendizajes de los estudiantes, ya que ellos son considerados los beneficiarios directos y últimos de las políticas TIC.
Cada uno de los componentes del marco conceptual posee una serie de indicadores para la acción y el ejercicio del proceso de seguimiento o monitoreo de las iniciativas que se desarrollan en diferentes contextos. Esta propuesta de abordaje no solo con- sidera esos diversos componentes sino que a la vez identifica diferentes momentos que permiten aproximar la mirada al grado de maduración que presenta la imple- mentación de las políticas TIC en un momento dado. Existen diferentes gradacio-
66
INFORME SOBRE TENDENCIAS SOCIALES Y EDUCATIVAS EN AMÉRICA LATINA 2014nes puestas en circulación, que diferencian desde un momento inicial hacia niveles crecientes de integración de las TIC en los sistemas educativos. Por ejemplo, se ha difundido ampliamente la propuesta elaborada en 2003 por Carmen Villanueva, que diferencia cuatro instancias: el momento emergente, la aplicación, la integración y el momento de transformación (Sunkel, 2006).
Otro abordaje conceptual para la evaluación de políticas TIC es la matriz de análisis planteada por Guillermo Sunkel, Daniela Trucco y Andrés Espejo, a través de la Cepal (2013). Se trata de una sistematización contextual de las experiencias de políticas TIC en América Latina que pone de manifiesto la existencia de diferencias significati- vas en los niveles de desarrollo de los distintos componentes de cada política. En algunos países, los componentes de las políticas TIC (como acceso, uso, contenido, apropiación y gestión) están bastante desarrollados, mientras que en otros recién empiezan a perfilarse y, por lo tanto, se presentan como necesidades. Tal es así que, en la región, la sistematización contextual realizada manifiesta cómo han tenido mayor desarrollo las políticas en relación con el acceso, ya que muchos países han efectuado inversiones en el establecimiento de infraestructura y equipamiento tec- nológico en los centros de enseñanza, lo que ha permitido ampliar la entrada en el mundo digital a diferentes sectores de la población.
El uso de las TIC se ha convertido en una preocupación cada vez mayor en la región y ha pasado a ser considerado un factor clave para el éxito del proceso, tanto en el caso de los estudiantes como respecto de los usos pedagógicos por parte de los docentes. Teniendo en cuenta este panorama, la propuesta de seguimiento se centra en una matriz de análisis del proceso de integración de las TIC en los sistemas educativos de América Latina. Para ello, se propone el estudio de los principales componentes abordados en la ejecución efectiva de una política o un programa y se compara el progreso alcanzado teniendo en cuenta las dimensiones –a partir de las proyeccio- nes iniciales–, según la concepción de cada política de que se trate.
GRÁFICO 2.1
Evaluación y seguimiento: ejes de la matriz de análisis de políticas TIC en educación
DIMENSIONES > Equidad > Calidad > Eficiencia EVALUACIÓN MULTIDIMENSIONAL COMPONENTE DE APLICACIÓN > Acceso > Uso > Contenido > Apropiación > Gestión PROGRESO DE LA INCORPORACIÓN DE LAS TIC EN EL SECTOR EDUCACIÓN
FUENTE: Sunkel, G., Trucco, D. y Espejo, A. (2013), La integración de las tecnologías digitales en las escuelas
67
INFORME SOBRE TENDENCIAS SOCIALES Y EDUCATIVAS EN AMÉRICA LATINA 2014En el caso de América Latina, los autores entienden que la equidad, la calidad y la eficiencia son las finalidades que alientan a la concepción política que se está ana- lizando, por lo tanto, los desafíos que la política o el programa busca responder, a modo de horizontes deseados u objetivos prioritarios, representan las dimensiones de la matriz. Luego, los componentes de aplicación son aquellos que aluden a los conte- nidos de las políticas, esto es, a la integración de las TIC en el sector de la educación, y son monitoreados a través de indicadores. El cruce entre componentes y dimen- siones permite el seguimiento del progreso de las políticas y pone de manifiesto un conjunto de brechas que remiten necesariamente a la distancia que existe entre lo deseable y la realidad constatada a partir de los indicadores.
Esta matriz de análisis nace de la dificultad de utilizar, en la región, una concepción evolutiva y lineal del proceso de integración de las TIC en educación. Mediante este dispositivo, se proponen horizontes que son comunes a todos los países de Améri- ca Latina, en los distintos componentes de ejecución de las políticas, los cuales no están sujetos a linealidad alguna, sino que pueden manifestarse de manera simultá- nea y con diferentes grados de avance.
En síntesis, es posible afirmar que si bien existen varias propuestas sobre cómo abor- dar las acciones de evaluación y el seguimiento de las políticas, los programas y los proyectos, la práctica de la evaluación aún es algo deficitaria. Es de esperar que, en el corto plazo, esto se desarrolle en forma más robusta, teniendo en cuenta que toda evaluación adquiere relevancia cuando se transforma en una herramienta que per- mite advertir sobre desvíos respecto de los objetivos iniciales, o un insumo estraté- gico para tomar decisiones durante el proceso de implementación y gestión. Por ello, se espera que los dispositivos de evaluación centren sus tareas en:
> producir información sobre los procesos de implementación de los programas y proyectos para que se transforme en recomendaciones de mejora;
> registrar las experiencias de aprendizajes colectivos e institucionales sobre procesos de inclusión digital social y educativa;
> contribuir a la atención de las necesidades de la comunidad educativa en la gestión del cambio;
> promover el desarrollo y favorecer la multiplicación de experiencias valiosas; > contribuir a la construcción de un sistema de información de carácter
permanente que dé cuenta del avance de la inclusión de TIC en los sistemas educativos.