Antes de proseguir con la presentación de los modelos estimados y sus resultados, es preciso realizar algunas consideraciones acerca del potencial alcance y las restricciones del enfoque, la metodología y la fuente de datos.
En principio, cabe señalar que si bien el enfoque de la función de producción educativa escogido surge de establecer una analogía entre el proceso de aprendizaje y los procesos productivos que tienen lugar en una empresa (UNESCO, 2004), no es ésta la interpretación que se desea darle aquí a los resultados. Reconociendo que los procesos de enseñanza-aprendizaje son complejos e involucran una diversidad de comportamientos, subjetividades y formas de interacción entre sus distintos actores, no pueden representarse como una relación determinista entre insumos y producto. La intención es sólo comprobar si existe una asociación estadística sistemática entre distintas características individuales y escolares y los resultados educativos de los alumnos. No se desconoce por ello la existencia de un margen para la innovación y el desarrollo de prácticas que permitan a los docentes y estudiantes superar los condicionantes socioeconómicos a nivel alumno y escuela. Sin embargo, una de las limitaciones del enfoque es indudablemente su escasa capacidad para abrir la “caja negra” y descubrir la forma en que los distintos factores pueden interactuar para favorecer estos procesos.
Asimismo, es necesario asumir el carácter multidimensional del “output” del proceso educativo (Bowles, 1970) y, por consiguiente, la imposibilidad de reflejarlo a través de un único indicador como el resultado de una evaluación. Los procesos de enseñanza-aprendizaje generan múltiples y diversos efectos difíciles de discernir y especialmente de cuantificar, tanto en términos de las trayectorias educativas como de las laborales. Por ello, al considerar sólo el rendimiento en una prueba estandarizada
(Binder, 1996) se optó por aplicar una técnica más simple. A su vez, uno de los métodos más populares en la literatura –la sustitución por los valores medios de las variables y la creación de variables dicotómicas que señalen a las observaciones con datos faltantes– es sujeto de diversas críticas que permiten dudar de su adecuación (Medina y Galván, 2007; Willms y Smith, 2005). Más apropiada parece, en su lugar, la aplicación de un método de máxima verosimilitud como el Algoritmo EM, que no presenta el riesgo de introducir sesgos en los estimadores o en sus errores estándar, ni altera la interpretación de los coeficientes (Schafer, 1999; Medina y Galván, op. cit.; San Luis Costas, Hernández, y Ramírez, 1997; De Leeuw y Meijer, 2008).
88
Así, al excluir finalmente algunas observaciones con datos faltantes no se ha eliminado completamente la posible introducción de un sesgo en las estimaciones.
como la de PISA, probablemente se estén subestimando los impactos de la segmentación escolar sobre los logros educativos89.
Adicionalmente, los resultados dependen de la calidad de los datos y de los procedimientos estadísticos aplicados. Si bien las evaluaciones de PISA parecen presentar una amplia aceptación en la literatura especializada, no carecen de limitaciones como fuente de información. Entre ellas, puede mencionarse a: i) la medición de los resultados es contemporánea a la de los insumos y la composición de los pares, por lo que no es posible contemplar el carácter acumulativo de sus efectos (Hanushek, 1986), posiblemente subestimándolos (Arnold y Kaufman, 1992); ii) PISA no presenta información a nivel del aula, sino sólo de la escuela, lo que dificulta la identificación de los efectos escolares a los que efectivamente está sujeto cada alumno (Schneeweis y Winter-Ebmer, 2007; Van Ewijk y Sleegers, 2010); iii) muchos de los indicadores de recursos escolares surgen de las respuestas de los directivos, por lo que adolecen de un alto grado de subjetividad; iv) no existe información relativa a la localización de las escuelas en términos territoriales o administrativos; v) en la base del año 2009 no se aporta información acerca de cuestiones potencialmente relevantes como la calidad de la infraestructura de las escuelas o la experiencia de los docentes. A pesar de ello, el programa de la OCDE resulta indispensable por ser actualmente la única fuente de información libremente disponible que permite relacionar los logros educativos de los jóvenes argentinos con distintas variables de contexto.
Respecto de la metodología empleada, diversos problemas pueden interferir con los objetivos del análisis. Por ejemplo, la existencia de una alta correlación entre los distintos factores de interés dificulta la identificación de sus efectos particulares, y puede incrementar las chances de inferir erróneamente una falta de significatividad estadística de algunos insumos (Hanushek, 1986). A su vez, si bien en este caso se ha realizado un esfuerzo por mitigar el problema de endogeneidad, no puede descartarse la presencia de un sesgo de selección. Dada la naturaleza no experimental del estudio, las asociaciones entre los distintos factores y el rendimiento educativo deben ser consideradas como correlacionales, y los efectos no pueden ser interpretados en términos de causalidad (Raudenbush y Willms, 1995; Duarte, Bos y Moreno, 2011).
En suma, dadas las limitaciones mencionadas, los resultados sólo pueden aportar cierta evidencia en relación a cómo se vinculan la composición estudiantil y los distintos insumos escolares con el rendimiento educativo de los jóvenes, condicional a
89 Es claro que si bien existe cierto consenso en utilizar este tipo de resultados como una aproximación al
concepto de calidad educativa (Santos, 2007), este método no se encuentra exento de críticas (Evans, Oates y Schwab, 1992; Hanushek, 1986; Bowles, 1970). Por ejemplo, Aguerrondo (1993b) sostiene que “la complejidad de elementos que están expresados en cualquiera de las instancias fenoménicas de la educación hace imposible elaborar una `medición´ confiable”. Pese a ello, plantea que: “no creo adecuado despreciar la medición, en tanto que estos datos son los insumos más concretos que pueden darse a los que toman decisiones”. Llach, Montoya y Roldán (1999) por su parte, señalan que las pruebas estandarizadas dejan de lado las habilidades no-cognitivas como la motivación, los valores o las expectativas de los alumnos, tan o más relevantes que las cognitivas. Sin embargo, sostienen que sería un error descalificar estas pruebas, entre otras razones por la asociación entre los resultados obtenidos en las mismas y la permanencia en el sistema educativo (cuestión también resaltada en Hanushek, 2005).
sus atributos personales y familiares. Los hallazgos deben interpretarse con cautela, especialmente si se pretende extraer de los mismos lineamientos de política.