Sensitivity Analysis

tilos de aprendizaje de los estudiantes a su cargo, establece objetivos pedagógicos apropiados, usa diversos recursos pe- dagógicos, es coherente en su instrucción y evalúa a sus estudiantes de manera apropiada. El componente de manejo del aula busca evaluar si el docente crea un ambiente de respeto y reconocimiento, proyecta una cultura del aprendizaje, mo- dera el comportamiento del grupo y organiza de manera apropiada el espacio físico para los fines pedagógicos. El compo- nente de instrucción evalúa si el maestro se comunica de manera efectiva, hace preguntas, genera atención por parte de los estudiantes y demuestra flexibilidad y sensibilidad. Por último, el componente de responsabilidad profesional evalúa si el maestro reflexiona sobre su docencia, lleva registros veraces, se comunica con las familias, contribuye en el colegio, de- muestra crecimiento personal y se desempeña con profesionalismo.

(…) los resultados sugieren que los bene- ficios en términos de formación en servi- cio y desempeño estudiantil sobrepasan los costos que significa la puesta en mar- cha de un sistema integral de evaluación docente, de tal manera que un sistema de evaluación de dichas características es una inversión socialmente rentable.

119 Ca pítul o 4 Inn ov ac io nes a p equ eñ a es cal a da p ar te

Por otro lado, un estudio reciente de la Fundación Bill y Melinda Gates (2013) también corrobora la noción de que un modelo de evaluación docente multidimen- sional e integral es efectivo para medir el desempeño docente. En particular, como parte de este estudio, investigadores demostraron que la combinación de tres políticas —uso de medidas

de valor agregado basadas en el desempeño estudiantil en prue- bas estandarizadas, una rúbri- ca de evaluación docente como la de Danielson (1996) y valo- raciones de estudiantes sobre la calidad de la enseñanza a partir de preguntas (como las que re-

coge PISA y que se usaron en el análisis del Capítulo 1)— proporciona información fidedigna sobre quién es un buen docente y quién no (Kane et al., 2013).

Otro ejemplo sobre los impactos de la evaluación docente en el desempeño de maestros y estudiantes se puede encontrar en la India. La experiencia de este país sugiere que para que la evaluación sea efectiva, ésta debe ser personalizada, detallada e integral. En la India, los maestros del servicio civil tienen, en gene- ral, excelente formación previa: 85% tienen un título universitario y 98% tienen un certificado o título de docencia. Sin embargo, el des-

empeño estudiantil en India es pobre, y muchos en el gobierno argumentan que, en parte, esto se explica porque a pesar de te- ner suficiente acreditación, los maestros no están equipados con herramientas para la docen- cia efectiva en el salón de clase. Bajo este contexto, Mu- ralidharan y Sundararaman (2011a) quisieron evaluar la posibilidad de que a partir del

diagnóstico del desempeño de cada maestro (in- cluyendo recomendaciones sobre cómo mejorar la práctica) se pudiera hacer un uso más efectivo de la fuerza docente en la India. Los autores lo hicieron a través de un diseño experimental en el estado de Andhra Pradesh. La intervención que evalúan, sin embargo, es un modelo mucho más simple y menos detalla- do que el de Danielson (1996) o la métrica multidimensio- nal de Kane et al. (2013). En particular, el esquema de eva- luación que se usa en este experimento consiste simple- mente en: i) administrar una prueba académica al inicio del año escolar para de- terminar los niveles de logro base de los estudian- tes y ii) informar a los maestros sobre el logro base de sus estudiantes y sugerencias de cómo usar es- tos reportes para mejorar la enseñanza.

Muralidharan y Sundararaman (2011a) encon- traron que, a diferencia de los resultados en Cin- cinnati, después del primer año de funcionamiento del esquema, aunque los maestros evaluados te- nían mayor probabilidad de estar presentes en el aula y enseñando, sus estudiantes no tuvieron me-

jor desempeño. Estos resulta- dos sugieren que aunque los maestros se esforzaron más al ser monitoreados, la retro- alimentación que ofrece dicho esquema de evaluación es poco útil para cambiar las prácticas en el aula y, por tanto, no es costo-efectivo.

Tras analizar todos estos es- tudios, vale la pena recordar los resultados de nuestros análisis con los datos PISA 2009 (Capí-

Otro ejemplo sobre los impactos de la evaluación docente en el desempeño de maestros y estudiantes se puede encon- trar en la India. La experiencia de este país sugiere que para que la evaluación sea efectiva, ésta debe ser personalizada, detallada e integral.

De ahí que las conclusiones del experi- mento de Cincinnati y del estudio de la Fundación Gates resalten la importan- cia, no sólo de la evaluación para el me- joramiento continuo, sino del tipo de evaluación que se utilice para ello. Espe- cíficamente, se rescata la necesidad de emplear modelos de evaluación multidi- mensionales validados por expertos, pues éstos son los que pueden tener impactos positivos en la calidad de la docencia y, por ende, en el desempeño estudiantil.

120 tr as l a e xc elen ci a d o cente

tulo 1), donde se encontró que no hay diferencias en- tre colegios de excepcional y pobre desempeño en el uso de pruebas estandarizadas para la evaluación do- cente. A primera vista, esto parecería contradecir la evidencia de Cincinnati y el estudio de la Fundación Bill y Melinda Gates (2013), según los cuales, el uso de rúbricas multidimensionales de evaluación docen- te tiene impactos positivos en el aprendizaje.

Sin embargo, nuestra interpretación es que am- bos resultados son consistentes. Al igual que el ex- perimento de evaluación docente de la India, lo que sugieren nuestros resultados estadísticos a partir de

la prueba PISA 2009 es que modelos unidimensio- nales de evaluación pueden ser poco efectivos para mejorar el desempeño docente. De ahí que las con- clusiones del experimento de Cincinnati y del estu- dio de la Fundación Gates resalten la importancia, no sólo de la evaluación para el mejoramiento con- tinuo, sino del tipo de evaluación que se utilice para ello. Específicamente, se rescata la necesidad de em- plear modelos de evaluación multidimensionales va- lidados por expertos, pues éstos son los que pueden tener impactos positivos en la calidad de la docencia y, por ende, en el desempeño estudiantil.

Formación en servicio

En países como Singapur y Canadá, la formación en servicio es frecuente, se fomenta de manera conti- nua y está enfocada en mejorar aspectos específicos en cada docente, los cuales se identifican general- mente por medio de una evaluación personalizada e integral. Sin embargo, la evidencia disponible so- bre el impacto de programas de formación en servi- cio sobre la calidad educativa es mixta, y sugiere que tanto la forma como el contenido del programa im- portan (Jackson, 2012).

En general, los programas de formación en servi- cio tienen diferentes enfoques y formatos. En cuan- to a enfoque, hay programas que buscan transmitir comportamientos genéricos

de un buen maestro, como por ejemplo, cómo fomentar la cooperación en el aula. Otros programas dan orientación sobre el currículo y pedagogía para la enseñanza de una asig- natura específica. En cuanto al

formato, hay variación en intensidad, distribución horaria durante el año escolar y uso de complemen- to empírico en el aula (Kennedy, 1998).

Tanto Kennedy (1998) como Harris y Sass (2011) coinciden en afirmar que los programas de for- mación en servicio que enfocan su contenido en dominio de la materia y, en especial, en cómo los estudiantes aprenden dicha asignatura, son más efectivos que aquellos que se centran en compor- tamientos del maestro. De otra parte, Kennedy (1998) encuentra que el formato importa poco, pues los impactos sobre el aprendizaje son simi- lares, independiente de la frecuencia de contacto, la distribución horaria o el uso de visitas al aula.

Angrist y Lavy (2001), por su parte, estudiaron el impacto de un programa de formación en servi-

cio en Jerusalén (Israel) que se focalizó en colegios con una proporción alta de estudian- tes inmigrantes y con bajo desempeño académico. En esta intervención, los docen- tes de los colegios focalizados recibían, en promedio, 12 ho- ras semanales de apoyo por parte de instructores externos. La participación era obligatoria y todos los maestros del mismo grado y materia tomaban

(…) los programas de formación en ser- vicio, que enfocan su contenido en domi- nio de la materia y, en especial, en cómo los estudiantes aprenden dicha asignatu- ra, son más efectivos que aquellos que se centran en comportamientos del maestro.

121 Ca pítul o 4 Inn ov ac io nes a p equ eñ a es cal a da p ar te

la instrucción de manera conjunta. En términos de tiempo, la intervención representaba un aumento de diez horas adicionales de formación en servicio respecto a los colegios que no fueron intervenidos. Aunque el de Jerusalén no era un programa de formación fuera de la norma —pues se basaba en principios pedagógicos bien establecidos como el “aprendizaje individualizado” y las “matemáticas hu- manísticas”— sí tenía algunas características que lo distinguían de otras intervenciones similares. Su con- tenido era eminentemente práctico, simulando cla- ses reales. El programa también estaba alineado con el contenido curricular de cada semana. De esta forma, el instructor podía enfocarse en la mejor manera de en- señar lo que los estudiantes debían aprender en la co- rrespondiente semana, lo cual hacia que el contenido de formación fuera muy relevante para los docentes. Por último, los maestros participantes recibían retro- alimentación inmediata del instructor, lo cual les per- mitía modificar aspectos de la enseñanza en tiempo real y en relación al contenido curricular de la semana. En la evaluación de impacto, Angrist y Lavy (2001) encontraron que el programa es muy efec- tivo en mejorar el desempeño

de los estudiantes en lenguaje y matemáticas. Más aún, una vez se tienen en cuenta los cos- tos (alrededor de USD12,000 por clase por año) los autores concluyeron que un programa de formación en servicio de es- tas características es notoria- mente más costo-efectivo que otras estrategias para mejorar el aprendizaje estudiantil, tales como la reducción del tamaño de la clase.

Jacob y Lefgren (2004), por su parte, evaluaron el im-

pacto de un programa de desarrollo docente en Chi- cago, uno de los distritos escolares más grandes de Estados Unidos, con cerca de 400,000 estudiantes de bajos ingresos y reconocido por el pobre desem- peño académico de sus alumnos. Con el fin de me- jorar el desempeño escolar, el distrito introdujo en 1996 una política de rendición de cuentas basada en logros. Bajo esta nueva política, colegios en los cua- les menos del 15% de los estudiantes obtuvieran des- empeño satisfactorio en pruebas nacionales entraban en un periodo de condicionalidad. Las escuelas en pe- riodo de condicionalidad recibían recursos adiciona- les para contratar servicios de formación en servicio con el oferente de su elección, que podía ser un con- sultor privado, una organización sin ánimo de lucro o una universidad. Durante el primer año de condicio- nalidad, los colegios recibían un subsidio que cubría el 100% del costo de las actividades, aunque luego se reducía a la mitad para el segundo año.

La evaluación encontró que, en efecto, la disponi- bilidad de recursos para colegios en situación condicio- nal sí aumentó el tiempo que los docentes dedicaron a actividades de formación profesional en cerca del 25%. Sin embargo, el progra- ma no mejoró el desempeño académico de los estudiantes. Los autores argumentan que, al comparar esta intervención con el ya reseñado programa de Is- rael, en el programa de Chicago había demasiada heterogenei- dad en los contenidos de for- mación, dada la multiplicidad de oferentes; la intensidad horaria era mucho menor; el contenido no estaba tan bien alienado con el currículo; y en raras ocasio- nes los docentes recibían retro- alimentación inmediata.

Así, estas evaluaciones nos permiten re- saltar que los programas de formación en servicio efectivos parecen ser aquellos que: i) se llevan a cabo durante los perio- dos de enseñanza, tal que puedan tener como referente específico el contenido cu- rricular respectivo, ii) se centran en la práctica docente a partir de simulación de situaciones pedagógicas con contenidos temáticos relevantes al desarrollo del cu- rrículo, iii) son relativamente intensivos y iv) brindan retroalimentación inmediata sobre fortalezas y debilidades, de manera que el docente puede adaptar sus prácti- cas pedagógicas según sea necesario.

122 tr as l a e xc elen ci a d o cente

Así, estas evaluaciones nos permiten resaltar que los programas de formación en servicio efectivos pare- cen ser aquellos que: i) se llevan a cabo durante los periodos de enseñanza, tal que puedan tener como referente específico el contenido curricular respecti- vo, ii) se centran en la práctica docente a partir de si-

mulación de situaciones pedagógicas con contenidos temáticos relevantes al desarrollo del currículo, iii) son relativamente intensivos y iv) brindan retroali- mentación inmediata sobre fortalezas y debilidades, de manera que el docente puede adaptar sus prácti- cas pedagógicas según sea necesario.

remuneración

En los países que sirven como punto de referen- cia sobre la calidad de la profesión docente, los maestros son relativamente bien remunerados. De hecho, Carnoy et al. (2009) encontraron que el desempeño de los estudiantes en pruebas interna- cionales es mayor en países donde, respecto a otras profesiones, los maestros son

bien pagados. Los distritos escolares estadounidenses con los mayores incrementos en logro estudiantil son tam- bién aquellos con los mayo-

res incrementos en los salarios docentes (Loeb y Page, 2000). Esta evidencia sugiere la importancia de remunerar bien la docencia para atraer a exce- lentes candidatos y motivar el esfuerzo. En efecto, una encuesta reciente a profesionales entre los 25 y 60 años en Estados Unidos demuestra que mu- chas más personas considerarían la labor docente si los salarios fueran más altos, es decir, su princi- pal reserva frente a la docencia es la remuneración poco atractiva (Haselkorn y Hammerness, 2008).

Usando datos más recientes del departamento de Florida, Estados Unidos, Chingos y West (2010) también descubrieron que los docentes más efec- tivos son los que tienen mejores prospectos sa- lariales fuera de la docencia. Este contexto sirve como base para iniciativas recientes de colegios en concesión estadounidenses que ofrecen salarios a maestros de USD125,000 al año, con posibilidad

de ganar bonificaciones adicionales por desempe- ño. “Prefiero poner a un maestro fenomenal en un salón con 30 estudiantes, que a un maestro pro- medio con la mitad de los niños y todas las ayudas pedagógicas y tecnológicas del mundo”, señala el director de un colegio en concesión recientemen-

te creado en la ciudad de Nue- va York (citado en Gootman, 2008, marzo 7).

Una implicación directa de la teoría económica es la impor- tancia de que la remuneración refleje, al menos en parte, el desempeño. Ahora bien, ¿será que introducir esquemas de remuneración basa- da en desempeño mejora los resultados de maestros y estudiantes? Desafortunadamente, la evidencia más rigurosa al respecto es mixta. Sin embargo, permite extraer importantes lecciones en cuanto al diseño de posibles programas de incentivos a docentes basados en desempeño.

Algunos experimentos recientes en India y Ke- nia sugieren que los incentivos al desempeño docen- te pueden ser una herramienta efectiva para mejorar la calidad educativa, generando un mayor esfuerzo por parte de los maestros. En India, por ejemplo, Mu- ralidharan y Sundararaman (2011a) estudiaron un programa de incentivos a docentes que otorga bonifi- caciones de alrededor de 3% del salario docente anual, condicional al desempeño promedio de los estudian- tes. Cabe recordar que en India los docentes del servi-

(…) el desempeño de los estudiantes en pruebas internacionales es mayor en paí- ses donde, respecto a otras profesiones, los maestros son bien pagados.

123 Ca pítul o 4 Inn ov ac io nes a p equ eñ a es cal a da p ar te

cio civil tienen buenas condiciones laborales y salarios relativos altos. Sin embargo, la mayoría se ausenta re- petidamente de sus responsabilidades docentes. En este contexto, la interpretación del incentivo al des- empeño debe verse, más como un llamado a la impor- tancia de la calidad de la docencia, que desde la óptica de una mayor remuneración incondicional.

Los autores encontraron que los estudiantes en colegios con incentivos a los docentes obtienen me- jor desempeño en pruebas de matemáticas y len- guaje (las asignaturas cuyos profesores recibieron incentivos). De igual manera, dichas escuelas re- portaron mejoras en logros en asignaturas donde los maestros no recibían incentivos. Muralidharan y Sundararaman (2011a) también hallaron que los incentivos al desempeño no tuvieron consecuen- cias indeseadas (tales como manipulación de prue- bas o trampa) y atribuyen el impacto positivo al mayor esfuerzo de los docentes en el aula de clase. Muralidharan y Sundararaman (2011b) reportaron que la gran mayoría de los maestros —en especial los jóvenes con poca experiencia— tienen una opi- nión favorable sobre la idea de ligar parte de la re- muneración al desempeño.

Uno de los obstáculos para resolver el problema del ausentismo docente es el poder sindical de los maestros que se oponen a reformas que impongan mayor control y monitoreo a su labor. Sin embargo, la posibilidad de ejercer mayor control y monitoreo se facilita si el grupo objetivo son los docentes por con- trato, ya que ellos carecen de apoyo sindical y, por el contrario, tienen incentivos a desempeñarse lo me- jor posible para mejorar sus posibilidades de ingreso al servicio civil. Duflo, Hanna y Ryan (2012) estudia- ron la posibilidad de afrontar este problema de ausen- tismo docente en la India a través de una estrategia alternativa novedosa para maestros por contrato, donde se combinan incentivos y mayor monitoreo. En este programa, cada docente por contrato recibe

una cámara que debe usar para tomar una foto diaria en su clase, donde aparezcan los alumnos, el maestro, la fecha y la hora de la sesión. Al final de cada mes, el maestro recibe una bonificación adicional en fun- ción de la asistencia docente, medida por el número de fotos que suministra cada maestro. Duflo, Hanna y Ryan (2012) encontraron que este programa de in- centivos al desempeño redujo la inasistencia docente y, como consecuencia de ello, aumentó el desempeño estudiantil en el corto y largo plazo.

Ahora bien, el ausentismo docente es común en muchos países en desarrollo, Kenia entre ellos. Por ejemplo, Glewwe, Ilias y Kremer (2010) repor- tan que en Kenia el maestro típico está ausente cer- ca del 20% del tiempo que supuestamente debería estar enseñando. La principal razón de la ausencia docente es la negligencia de los rectores para exi- gir la asistencia puntual, pues el rector no asume el costo de la ausencia (lo asumen los estudiantes), pero sí asume el costo de las disputas con el cuerpo docente, el sindicato y los costos administrativos de reportar y sancionar a los maestros que se au- sentan sistemáticamente. En muchos colegios, las asociaciones de padres tratan de compensar la ne- gligencia del rector frente a las ausencias ofrecien- do regalos en especie a los maestros y denunciando ante el Ministerio los casos más notorios. Sin em- bargo, no es claro cuál es el impacto del papel de