4. Results
4.1. Unit Design by EQF A Learning Unit in Floristry
En la literatura de la Economía de la Educación se identifica en forma generalizada al Informe Coleman (Coleman et al., 1966) como el trabajo pionero en la investigación acerca de los determinantes del desempeño educativo. Este estudio, impulsado por el gobierno de Estados Unidos, es el más conocido y controvertido entre los primeros en aplicar a gran escala el enfoque de la función de producción educativa (Hanushek, 1986), y constituye aún hoy una referencia clave en el tema. Como conclusión principal, el informe sostenía que las diferencias entre las escuelas sólo explicaban una proporción muy pequeña de las diferencias en la performance de los estudiantes americanos, siendo las características familiares y de los pares los determinantes más relevantes.
Esta aparente escasa capacidad de las escuelas para influir en los logros de sus alumnos se convirtió en el foco de un debate que incentivó el desarrollo de una abundante literatura empírica (Creemers, 2006). A pesar de las críticas dirigidas hacia el enfoque, la metodología y la interpretación de los resultados (como las de Bowles y Levin, 1968), el hallazgo sobre el rol clave que cumple el contexto familiar en la calidad de los aprendizajes no ha sido refutado (Hanushek y Luque, 2003; Cervini, 2002). Sí persiste la controversia, en cambio, acerca de la influencia relativa de los insumos escolares (Todd y Wolpin, 2003) y, en menor medida, de la composición estudiantil.
i) La influencia de los recursos escolares
Muchos de los estudios publicados luego del Informe Coleman concordaban con su visión acerca de la irrelevancia de las características institucionales para explicar el rendimiento educativo. Esto determinó, según Creemers (2006), que las publicaciones de Brookover et al. (1979) y Rutter et al. (1979) recibieran gran atención por argumentar que las escuelas sí podían marcar una diferencia, motivando así la aparición de numerosos trabajos enfocados en la efectividad escolar.
Desde estos estudios iniciales hasta mediados de los años noventa, un conjunto amplio de investigaciones para distintos países ha encontrado efectos-escuela significativos –según el meta-análisis construido por Scheerens y Bosker (1997)–. En el balance realizado dos décadas después de su publicación, Rutter y Maughan (2002) reafirman sus conclusiones iniciales acerca del impacto significativo de factores como la composición estudiantil, la forma de organización y administración de las escuelas, y el clima escolar, entre otros. Sostienen que la investigación sobre la efectividad de las escuelas indica que el rendimiento educativo puede ser incidido por las características generales de los centros. Sin embargo, reconocen que aún resta responder muchas preguntas para identificar los elementos más relevantes o conocer la intensidad de los efectos, especialmente en relación a los recursos más tradicionales.
Uno de los autores que se ha encontrado en el centro de esta controversia es Eric Hanushek, quien condujo una serie de influyentes revisiones de la literatura (1986, 1989, 1997). La conclusión de sus estudios acerca de la inexistencia de una relación sistemática y significativa entre los gastos escolares y la performance de los estudiantes ha sido frecuentemente cuestionada (Vignoles et al., 2000). En particular, durante los años noventa distintos trabajos como los de Hedges, Laine y Greenwald (1994) o Greenwald, Hedges y Laine (1996) pusieron en duda la validez de los resultados y la metodología de Hanushek79, concluyendo que los recursos escolares (como la experiencia de los docentes, el tamaño de la clase y el gasto por alumno) sí se encontraban significativamente relacionados con el rendimiento de los alumnos. Sin embargo, como señalan Vignoles et al. (2000) las críticas dirigidas a su vez hacia estos últimos estudios no permiten considerar sus hallazgos como concluyentes.
Una disputa particular se ha desarrollado en torno a la relevancia del tamaño de la clase (o el ratio estudiantes-por-docente). Mientras que revisiones de la literatura como la de Hanushek (1997) concluyen que este factor es poco significativo, Vignoles et al. (2000) mencionan distintos trabajos rigurosos que aportan evidencia en el sentido contrario. Así, los estudios de Krueger (1999) en base al proyecto STAR de Tennessee, de Hanushek, Kain y Rivkin (1998) con datos para Texas, y de Angrist y Lavy (1999) para Israel, encuentran una asociación positiva entre las clases más pequeñas y el rendimiento educativo. Sin embargo, estos efectos son cuestionados por otros trabajos, también robustos, como el de Hoxby (1998) para Connecticut, o el de Hanushek y Luque (2003) en su análisis internacional de las pruebas TIMSS.
La relación entre las características de los docentes y el desempeño de sus alumnos también ha sido objeto de debate. La mencionada investigación de Hanushek, Kain y Rivkin (1998) determinó que los docentes son el factor más importante en la explicación de las diferencias en el rendimiento entre escuelas, siendo relevante la experiencia durante los primeros años. Similares resultados obtuvo Rockoff (2004) empleando información sobre los logros de niños de nivel primario en Nueva Jersey. En contraste, el análisis de Krueger (1999) otorga un peso mucho menor a esta característica. Respecto al nivel educativo de los docentes, la revisión realizada por Vignoles et al. (2000) encuentra escaso soporte empírico para su significatividad; mientras que en relación al efecto del salario parece haber algo de evidencia robusta. El trabajo de Konstantopoulos (2005), por su parte, a partir de evaluaciones a alumnos en el último año del nivel secundario en E.E.U.U. –pruebas NLS para los años 1972, 1982 y 1992–, aporta evidencia en favor de la presencia de efectos-escuela positivos y significativos, derivados principalmente de las características de los docentes.
Respecto a otros recursos escolares, son numerosos los trabajos que han analizado su incidencia a partir de distintos métodos y fuentes de información, aportando evidencia en muchos casos contradictoria. En relación al indicador general de gasto por alumno, un ejemplo que indica su significatividad es el estudio de Steele, Vignoles y
79
Estos argumentos fueron reforzados en Krueger (2003), quien analizó los datos empleados en el meta- análisis de Hanushek (2003) bajo otros criterios, alcanzando conclusiones opuestas.
Jenkins (2007) para el Reino Unido. A partir de un análisis de ecuaciones simultáneas robusto al problema de endogeneidad, se encuentra que el gasto por alumno y el ratio alumnos-por-docente tienen un efecto positivo sobre el progreso en matemáticas y ciencias de estudiantes de 14 años. Para el caso de E.E.U.U., Figlio (1997) también presenta evidencia en favor de la relevancia del primer factor en los logros. Sin embargo, Vignoles et al. (2000) mencionan que al igual que otros estudios que presentan similares resultados, dudas acerca de la calidad de los datos y la metodología no permiten desestimar la visión general de que el gasto per se no afecta al desempeño.
En general, puede afirmarse que las diferencias en los recursos materiales de las escuelas no han resultado tan relevantes para explicar las brechas en el rendimiento como las diferencias entre docentes o el tamaño de clase, especialmente entre los países industrializados (Montt, 2011). Duarte, Gargiulo y Moreno (2011), mencionan diversos estudios en los que se han encontrado asociaciones positivas entre las condiciones físicas de las escuelas (como la infraestructura y el acceso a distintos servicios) y el aprendizaje de los alumnos de E.E.U.U. Asimismo, según Martins y Veiga (2010) la evidencia analizada en el reporte OCDE (2004) indica que distintas variables escolares relativas a la organización, el clima interno y la calidad de los recursos pueden contribuir significativamente al desempeño. En contraste, Hanushek y Luque (2003) encuentran escasa evidencia de que alguna de las medidas estándar de recursos escolares se relacione con las diferencias en los resultados dentro de cada país. Una conclusión similar puede extraerse del estudio menos reciente de Summers y Wolfe (1977), en base a datos de nivel primario de Philadelphia para los años 1970-71. Si bien estos autores encuentran un impacto significativo de la calidad de los estudios recibidos por los maestros y el tamaño de las clases (para los niños de bajo rendimiento inicial), sostienen que otros inputs tradicionalmente estudiados no presentan un efecto relevante, como las instalaciones de las escuelas o la formación y experiencia de los directivos.
En suma, la extensa literatura desarrollada durante las últimas tres o cuatro décadas sobre el efecto de los recursos escolares en el desempeño de los estudiantes no ha permitido arribar a un consenso. La evidencia empírica en este caso es mucho menos clara que la relativa al efecto del contexto socioeconómico de los alumnos (Calero y Escardíbul, 2007). Los hallazgos aportados por distintos estudios frecuentemente resultan contradictorios o incomparables, e incluso los intentos por resumir la literatura, como los diversos meta-análisis, han derivado en conclusiones opuestas.
Estas discrepancias se deben a la complejidad del fenómeno analizado: los aprendizajes de los estudiantes dependen de múltiples factores interrelacionados, que actúan en distintos niveles y que resultan difíciles de cuantificar (Duarte, Bos y Moreno, 2011). Las potenciales variables explicativas suelen estar correlacionas, dificultando la posibilidad de aislar cada efecto particular (Martins y Veiga, 2010). A su vez, la significancia y magnitud de los efectos identificados suelen depender de la metodología empleada; la especificación de los modelos; el nivel de agregación de los datos; el indicador de logro educativo adoptado; la calidad de las mediciones de las variables de recursos; el contexto geográfico y sociocultural, y la sub-población considerada (Teddie y Reynolds, 2000; Duarte, Bos y Moreno, op. cit.; Krueger, 1999).
Por otra parte, se ha señalado que una de las razones por las que los insumos escolares no presentan asociaciones fuertes y sistemáticas con la performance de los alumnos es que la mayoría de los estudios ha analizado escuelas que diferían poco en sus dotaciones de recursos. Por ello, no puede asumirse que alteraciones importantes en los niveles o la calidad de los mismos serían inocuas (Rutter y Maughan, 2002). Así, podría esperarse que en los países en desarrollo –donde los centros pueden presentar mayores carencias en sus insumos básicos, los cuales a su vez se distribuyen de forma más desigual– estos factores resultaran de mayor relevancia (Mancebón y Muñiz, 2003). Sin embargo, tampoco existen resultados concluyentes en relación a esta cuestión.
Esta noción, según la cual la calidad de la escuela podría tener una influencia más marcada en los aprendizajes en los países menos desarrollados, se relaciona en gran medida con los estudios de Heyneman (1976) y Heyneman y Loxley (1982, 1983). Estos trabajos cuestionaron la existencia de un patrón consistente en la forma en que los distintos factores explican la varianza de los logros educativos. A partir de una revisión crítica de la literatura previa y de nuevos análisis en base a una muestra más amplia, los autores concluyeron que la asociación entre influencias pre-escolares y el rendimiento académico disminuye en forma lineal con el ingreso per cápita de los países. Así, la ambigüedad presente en países industrializados en torno al impacto de las características de las escuelas y los docentes no existiría para los países de bajos ingresos. En estos sistemas, los efectos-escuela explicarían una proporción entre dos y tres veces mayor de la varianza en el rendimiento (Heyneman y Loxley, 1982). El denominado “efecto Heyneman-Loxley”, entonces, indicaría que las conclusiones del Informe Coleman y otras subsiguientes investigaciones no tendrían validez universal.
En los países en desarrollo la escuela estaría llamada en mayor medida a compensar las diferencias de origen. En este sentido, distintos estudios reseñados en Glewwe (2002) –Harbison y Hanushek (1992) para Brasil, Glewwe y Jacoby (1993) para Ghana, Glewwe et al. (1995) para Jamaica, y Kingdon (1996) para la India– sugieren que las instalaciones de las escuelas, los materiales didácticos, la formación y los salarios docentes, serían determinantes significativos del logro cognitivo de los estudiantes. Asimismo, según la revisión de Fuller y Clarke (1994), basada en más de 300 estudios realizados en países en desarrollo, diversos factores escolares se asocian positivamente con el rendimiento educativo. Entre los insumos que presentan un efecto significativo en al menos la mitad de los estudios revisados, puede identificarse a: la presencia de biblioteca escolar; el tamaño del colegio; la calidad de la infraestructura; la disponibilidad de textos; la capacitación, la educación y la experiencia docentes (Brunner y Elacqua, 2004). Desde la UNESCO (2004), con base en la revisión realizada por Hanushek (1995), también se señala que entre los países en desarrollo existe una mayor cantidad de investigaciones que encuentran efectos positivos y significativos de inputs escolares como las características de los docentes, el gasto por alumno y las instalaciones de los centros. Esto llevaría a concluir que en estos países existe un mayor margen para mejorar los resultados educativos a través de incrementos en los recursos escolares, conclusión que se estaría viendo reforzada con la aparición de estudios más rigurosos basados en experimentos naturales (UNESCO, op. cit.).
Sin embargo, algunos trabajos recientes que emplean datos del Trends in International Mathematics and Science Study (TIMSS) cuestionan la vigencia del efecto Heyneman-Loxley. En particular, los estudios de Ilie y Lietz (2010) con base en el TIMSS 2003, de Hanushek y Luque (2003) y Baker, Goesling y Letendre (2002) con base en el TIMSS 1995, presentan resultados que sugieren que la incidencia de los recursos escolares no se encuentra relacionada con el nivel de desarrollo de los países o con el nivel general de estos recursos. Así, las variables relativas al contexto socioeconómico de origen serían los predictores más importantes del rendimiento académico en forma generalizada, independientemente del ingreso per capita de los países. Según estos últimos autores, este cambio podría deberse a que los procesos de masificación de la escolarización en gran parte del mundo han permitido que se cubra un umbral mínimo de recursos escolares y que se reduzca la desigualdad en su distribución al interior de cada sistema. Esta situación habría incrementado la influencia de los factores familiares en detrimento de los escolares en los páises en desarrollo.
ii)La influencia de la composición estudiantil
Además de enfatizar el rol del contexto de pertenencia frente a los factores escolares en la determinación del rendimiento educativo, el Informe Coleman (1966) dio preeminencia al efecto de las características de los compañeros en el desempeño individual. Desde entonces el tema ha ocupado un lugar destacado en la agenda de investigación internacional. Así, como afirman Alegre, Benito y Gonzalez (2008), han proliferado los estudios que indagan acerca del impacto de distintos rasgos de la composición estudiantil de una escuela o aula, como su perfil socioeconómico, su distribución étnica, o el desempeño académico medio.
Si bien en relación a este tema parece existir un mayor consenso en la literatura que en torno al efecto de otros factores escolares, la investigación ha producido resultados variados en términos de la significatividad y magnitud del impacto esperado de este elemento (Schindler Rangvid, 2007; Dumay y Dupriez, 2008). Según Calero y Escardíbul (2007), la mayor parte de los estudios disponibles defiende la importancia de la composición estudiantil en el desarrollo académico de los alumnos, siendo minoritarios los trabajos que encuentran que su efecto es despreciable.
Referencias clásicas que hallan evidencia de un efecto de pares positivo son Henderson, Mieszowski y Sauvageau (1978) y Summers y Wolfe (1977). Asimismo, diversos estudios para Estados Unidos indican la relevancia de los efectos contextuales grupales en este país. Por ejemplo, Caldas y Bankston (1997) estudiaron la relación entre el estatus socioeconómico de los pares y el rendimiento académico individual de los estudiantes de nivel secundario en Louisiana. Encontraron que la misma es significativa y positiva, siendo apenas más débil que la relación entre el rendimiento y el propio nivel socioeconómico. Hoxby (2000), basándose en una variación exógena del grupo de pares en las escuelas públicas primarias de Texas durante los años noventa, sostiene que los estudiantes son afectados por el desempeño de sus compañeros, y que estos efectos interactúan con cuestiones étnicas y de género. Valiéndose de la asignación aleatoria de los compañeros en residencias universitarias, Sacerdote (2001) y
Zimmerman (2003) sugieren que también en el nivel superior existe evidencia robusta acerca del efecto de pares. Otro trabajo reconocido es el de Hanushek et al. (2003), en el cual se emplean métodos que intentan evitar el problema de endogeneidad en la conformación de los grupos. En el mismo se aporta evidencia en favor de que el rendimiento de los pares tiene un efecto positivo en el progreso académico de los estudiantes de nivel primario en Texas. A su vez, se concluye que todos los estudiantes parecen beneficiarse de la presencia de alumnos exitosos, y que la varianza o heterogeneidad en el rendimiento no aparece como relevante. Asimismo, Rumberger y Palardy (2005) emplearon datos del National Education Longitudinal Survey 1988 para estimar los determinantes del crecimiento en la performance en distintas asignaturas entre el 8vo y 12vo año. Sus resultados indican que la composición socioeconómica del alumnado tiene tanto impacto en el progreso académico como el estatus individual. Por su parte, los estudios de Betts y Zau (2004) con datos para San Diego, de Lefgren (2004) para escuelas públicas primarias de Chicago, de Konstantopoulos (2005) en base a pruebas nacionales y de Hoxby y Weingarth (2006) para Carolina del Norte, identifican efectos de compañeros positivos y significativos en el crecimiento o el nivel de la performance individual en E.E.U.U.
Son asimismo numerosas las investigaciones que abordan este tema en otros sistemas educativos. Van Ewijk y Sleegers (2010) realizan un meta-análisis que incluye 30 estudios (principalmente enfocados en países industrializados de occidente, si bien algunos analizan otras regiones) que evalúan el efecto del estatus socioeconómico promedio de un grupo en el rendimiento individual. Concluyen que el efecto estimado de la composición varía considerablemente entre las investigaciones, ya que esta relación se ve afectada por cómo se mide el NSE, por el modelo implementado, y por los datos utilizados. Así, sostienen que aún no se ha alcanzado un consenso en el tema: mientras que algunos autores encuentran efectos de pares importantes (Ho Sui Chu y Willms, 1996; Robertson y Symons, 2003), otros no reportan efectos (Bondi, 1991; Evans, Oates y Schwab, 1992).
Un trabajo frecuentemente citado es el de Zimmer y Toma (2000), en el que se examina el efecto de pares en cinco países (Bélgica, E.E.U.U., Canadá, Francia, y Nueva Zelanda). El estudio se basa en datos provistos por la evaluación de 1981 aplicada por la International Association for the Evaluation of Educational Achievement (IEA) a alumnos de 13 y 14 años. En el mismo se estima una función de producción educativa examinando cómo el progreso académico se relaciona con distintos indicadores de la composición de cada clase (el rendimiento académico promedio, el porcentaje de estudiantes de alta y baja habilidad, y la varianza de los puntajes). Se incluyen también el rendimiento promedio al cuadrado para detectar efectos no lineales, e interacciones con la habilidad propia para evaluar si los efectos son asimétricos. Los autores encuentran que los efectos de pares son un determinante significativo del logro académico; que los mismos son decrecientes; que los efectos parecen ser mayores para estudiantes de baja habilidad; y que una mayor heterogeneidad en el rendimiento en cada clase beneficia a todos.
Dumay y Dupriez (2008) presentan un resumen de distintos trabajos que analizan el efecto de pares en diversos países. Para Nueva Zelanda, mencionan el estudio de Lauder et al. (1999), en el que se determina que un amplio abanico de variables relativas a la composición estudiantil explica más del 40% de la varianza entre escuelas en exámenes nacionales para el 10mo grado. En Duru-Bellat et al. (2004) se evalúa la influencia de las características de los compañeros sobre el progreso de los alumnos en escuelas primarias y secundarias de Francia. Se observan efectos poco significativos con respecto al rendimiento, pero importantes en relación a resultados no-cognitivos como las expectativas y actitudes. Van der Slik et al. (2006) analizan el sistema educativo holandés considerando las dimensiones étnica y de estatus socioeconómico de la composición estudiantil en las escuelas primarias. Encuentran que las características de los pares más relevantes para explicar el rendimiento individual son la variación en los ingresos de los hogares y la proporción de madres empleadas. En el caso de Bélgica,