4.3 Benchmark test results
4.3.8 Efficient data sampling
4.3.8.1 From Qbeast indexing to data storage
PISA2009,comoenedicionesanteriores,haelaboradouníndiceestadísticode
estatussocial,económicoycultural(ESCS),conelfindecontribuiralaexplicaciónde
larelaciónentrelosresultadosobtenidosyelnivelsocioeconómicoyculturaldelas
familiasdelosestudiantes.
ComohanpuestodemanifiestoanterioresedicionesdePISAylosestudiosnacionales
einternacionalesdeevaluación,elgradodeadquisicióndelascompetenciasbásicas
porelalumnadotienerelaciónconelestatussocial,económicoyculturaldelas
familias.LarelaciónentreelESCSyelrendimientodelalumnadosepuedeinterpretar
comounamedidadeequidad.Sienunsistemaeducativoaunavariacióndeunpunto
enlaescaladelESCSlecorrespondenescasasvariacionesenlaspuntuacionesdelos
alumnos,esesistemacontribuyeareducirlasdiferenciassocioeconómicasyculturales
y,portanto,esmásequitativoqueotrosistemaenelquelasvariacionesdelas
puntuacionesseanmayores.
Figura3.1.ValorpromediodelESCSdelospaísesdelaselecciónenPISA2009
Nota:lospaísessejerarquizandemaneradescendenteenfuncióndelvalorpromediodelESCS.
Fuente:OECDPISA2009database,Vol.II,TableII.1.1.
Elaboración:InstitutodeEvaluación,Anexo3,Tabla3.1.
PISAhacalculadoelESCSapartirdelasrespuestasdelosalumnosaloscuestionarios Canadá Finlandia Suecia PaísesBajos ReinoUnido Alemania EstadosUnidos Austria Japón Grecia Italia Francia CoreadelSur FederaciónRusa España Portugal Chile Argentina Uruguay Panamá Colombia Brasil México Perú Ͳ1,50 Ͳ1,25 Ͳ1,00 Ͳ0,75 Ͳ0,50 Ͳ0,25 0,00 0,25 0,50
unvalortipificadoparaelPromedioOCDEconmedia0ydesviacióntípica1.Seha
elaboradoesteíndiceparaelconjuntodelospaísesparticipantesteniendoencuenta
diversascomponentesentrelasquedestacanelnivelmásaltodeestudiosdelos
padres,laprofesiónmásaltadelospadres,elnúmerodelibroseneldomiciliofamiliar
yelnivelderecursosdomésticos.
Enlasfiguras3.1y3.2serepresentanlosvalorespromediosdelESCSdelospaísesde
laselecciónylascomunidadesautónomas.LosvalorespromediosnegativosdelESCS
correspondenapaísesenlosqueelnivelsocial,económicoyculturalesinferioral PromedioOCDE.LospaísesconuníndicesuperioraldelPromedioOCDEsonCanadá,
lospaísesescandinavos,EstadosUnidos,Japónyalgunosdelospaíseseuropeos
occidentales. El resto de los países europeos, incluidos España y todas las
comunidades autónomas que han ampliado muestra, así como los países
iberoamericanos,tienenuníndiceinferioralpromedioOCDE.
Figura3.2.ValorpromediodelESCSdelascomunidadesautónomasparticipantes
enPISA2009
Nota:lospaísessejerarquizandemaneradescendenteenfuncióndelvalorpromediodelESCS.
Elaboración:InstitutodeEvaluación,Anexo3,Tabla3.1,apartirdelosdatoscontenidosenOECDPISA2009database.
Variacióndelrendimientodelalumnado
Lavariacióndelrendimientodelosalumnospuededeberseadiversascausasque
tienenqueverconlosfactorespropiosdecadasistemaeducativo;entreellas,los
recursoshumanos,materialesyfinancierospuestosadisposicióndeloscentros,los
procesoseducativosderivadosdelasdiferentesformasdeorganizarloscentrosylas
enseñanzasdentrodeellos,delosfuncionamientosdelosequiposdocentesodel
trabajoenlasaulasy,desdeluego,delatrayectoriaacadémicadelosalumnos,desu Madrid PaísVasco Navarra CastillaYLeón Cantabria Aragón Asturias Cataluña LaRioja Baleares España Galicia Murcia Andalucía Canarias Ͳ1,00 Ͳ0,75 Ͳ0,50 Ͳ0,25 0,00 0,25 0,50
actitudyesfuerzoanteelaprendizajeydelaconfianzaqueenéldepositansufamilia,
susprofesores,elcentroyelpropiosistema.Partedeestosaspectosesabordadaen
elVolumenVdelInformeinternacionaldePISA2009.
Enesteapartadosepresentalavariabilidaddelrendimientoescolarqueseproduce
entrelasescuelasydentrodeellasyquépartedeestavariaciónesatribuiblealas
circunstanciaseconómicas,socialesyculturalesdealumnosycentros.Seutilizala varianzaparavalorarladispersióndelosresultadosdelosalumnosqueseproduce
entreydentrodelasescuelas.
Figura3.3.Variacióndelrendimientodelosalumnos“entrecentros”y
“dentrodeunmismocentro”
Nota:lospaísessejerarquizandemaneraascendenteenfuncióndelavarianzatotalentrecentros.
Fuente:OECDPISA2009database,Vol.II,TableII.5.1.
80 60 40 20 0 20 40 60 80 100 Finlandia España Suecia Canadá Federación Rusa Portugal Corea del Sur Reino Unido Colombia México Estados Unidos Brasil Grecia Uruguay Chile Japón Países Bajos Francia Austria Perú Alemania Panamá Italia Argentina PROMEDIO OCDE 64,5% PROMEDIO OCDE 41,7%
Varianzatotalentrecentros Varianzaentrecentrosexplicada
pormediodelíndicesocio
económicoyculturaldelos
alumnosydeloscentros
Varianzatotaldentrodelcentro Varianzadentrodeuncentro
explicadapormediodelíndice
socioeconómicoyculturaldelos
EnlaFigura3.3sepresentalavarianzaenlosresultadosdelosalumnoscalculadapara
cadapaísenporcentajessobrelavarianzamediaOCDE.Sedistinguelavarianza
atribuiblealasdiferenciasderesultadosdelosalumnosdelosdiferentescentros
(varianzaentrecentros),queserepresentanenlasbarrassituadasalaizquierdadela
líneacentral,ylavarianzaatribuiblealasdiferenciasderesultadosdelosalumnosde
unmismocentro(varianzadentrodeloscentros),queserepresentaenlasbarrasdela
derecha.Lalongituddelasbarrascorresponde,encadacaso,alporcentajedela
varianza.
EnelconjuntodeOCDE,lavariaciónglobalqueseproduceenlosresultadosdelos
alumnosentreunoscentrosyotros(41,7%)esnotablementeinferioralaquese
producedentrodeloscentros(64,5%).Esteresultadoconcuerdaconlosobtenidosen
estudiosnacionaleseinternacionalesprevios.
Lasdiferenciasdelosresultadosqueseproducenentrecentrosvaríandeunosaotros
países.EsnetamentesuperioralamediaOCDEenAlemania,Argentina,Austria,
Francia, Italia, Japón, Países Bajos, Panamá, Perú y Uruguay. El país con una
variabilidadderesultadosmenorentrecentrosesFinlandia;lesiguendecercaEspaña,
SueciayCanadá,convaloresligeramentesuperioresal20%.Lapartedelavarianza
atribuiblealascircunstanciaseconómicassocialesyculturalesdesusalumnosesen
muchoscasossuperioral50%delavariacióntotalentrecentros.Comoseha
señalado,existeunamayorequidadenlospaísesenlosquelasdiferenciasentre
centrossonmenores.Estosresultadosponendemanifiestoqueelsistemaeducativo
españoles,despuésdelfinlandés,elquepresentamayorequidadentrelospaíses
seleccionados.
Este cálculo realizado por PISA 2009 corrobora losresultados obtenidos en la
evaluacióngeneraldediagnósticoespañola(InstitutodeEvaluación,2010c),que
permitenafirmarlanotableequidadyhomogeneidaddelsistemaeducativoespañol,
circunstancia que confirma el análisis similar realizado para las comunidades
autónomasespañolas.
Lasdiferenciasdelosresultadosdelosalumnosqueseproducendentrodeloscentros
sonmuyconsiderablesenOCDE(64,5%)yenlamayoríadelospaíses.Enestecaso,la
partedelavarianzaatribuiblealascircunstanciaseconómicas,socialesyculturalesde
susalumnosesconsiderablementeinferioralaqueseobservaentrecentros,casi
irrelevante.Esdecir,comosehaseñalado,laexplicacióndelasdiferenciasentrelos
resultadosdelosalumnoshayquebuscarlafundamentalmentedentrodeloscentros.
Lavariaciónglobalqueseproduceenlosresultadosdelosalumnosespañolesentre
unoscentrosyotrosesdel19,5%(Figura3.4).Estacifraessuperadaligeramenteen
PaísVascoyCanarias,peroesinferiorenelrestodelascomunidadesautónomas.Por
tanto,laconsideración sobrelaequidaddelsistemaeducativosespañol queda
elocuentemente confirmada por el comportamiento de la variabilidad de los
resultadosylapartedelavarianzaqueesexplicadaporlasdiferenciasentrecentros
Figura3.4.Variacióndelrendimientodelosalumnos“entrecentros”y“dentrodeunmismo
centro”lascomunidadesautónomasespañolas.
Nota:lasCCAAsejerarquizandemaneraascendenteenfuncióndelavarianzatotalentrecentros.
Elaboración:InstitutodeEvaluación,Anexo3,Tabla3.2,apartirdelosdatoscontenidosenOECDPISA2009database.
Siseconsideralavariabilidaddelosresultadosentrelascomunidadesautónomas
españolasseconstataquelavariaciónglobalqueseproduceenlosresultadosdelos
alumnosentreunasyotrascomunidades(Figura3.5)noexplicamásdel3%dela
varianza. Este dato de PISA ofrece una evidencia incuestionable sobre la
“homogeneidad”delsistemaeducativoespañolquenohacesinoconfirmarlaqueya
seobtuvoenlaevaluacióngeneraldediagnósticode2009.Además,enestecaso,la
homogeneidadseconstatanoenlosprimerosañosdelaeducaciónprimaria,sinoal
finalizarlaeducaciónsecundariaobligatoria.
80 60 40 20 0 20 40 60 80 100 Aragón Cantabria Galicia Murcia Navarra Cataluña Baleares Asturias Castilla y León Andalucía La Rioja Madrid Canarias País Vasco España Promedio OCDE PROMEDIO OCDE 64,5% PROMEDIO OCDE 41,7% PROMEDIO España 19,5% PROMEDIO España 69,8%
Varianzatotalentrecentros Varianzaentrecentrosexplicada
pormediodelíndicesocio
económicoyculturaldelos
alumnosydeloscentros
Varianzatotaldentrodelcentro Varianzadentrodeuncentro
explicadapormediodelíndice
socioeconómicoyculturaldelos
Figura3.5.Variacióndelrendimientodelosalumnos“entrecomunidadesautónomas”y
“dentrodeunacomunidadautónoma”,ycomparacióndelosresultados
entrecentrosenEspañaylaOCDEyentrepaísesOCDE.
Elaboración:InstitutodeEvaluación,Anexo3,Tabla3.2,apartirdelosdatoscontenidosenOECDPISA2009database.
RendimientodelalumnadoenrelaciónconelESCS
Sepresentaacontinuaciónelrendimientopromediodelosalumnosespañolesyde
OCDEsegúnsuscircunstanciasysituaciónenalgunasdelasvariablesconsideradasen
elestatussocial,económicoycultural.
Cuandoseconsideralavariableniveldeestudiosdelospadreslasdiferenciasenlos
resultadossonimportantes,ylleganaalcanzarenEspañacasi100puntosyenOCDE
120,puntossegúnseadichonivel(Figura3.6).Debeconsiderarselaimportanciade
estasdiferenciasdepuntuaciónalaluzdelaquecorrespondeaunniveleducativooa
laqueseparaadiversospaísesycomunidadesautónomas.
Figura3.6.PuntuaciónmediadelalumnadoPISA2009segúnelniveldeestudiosdelospadres
Elaboración:InstitutodeEvaluaciónapartirdelosdatoscontenidosenOECDPISA2009database.
80 60 40 20 0 20 40 60 80 100
PaísesOCDE
CC.AA.España
CentrosOCDE
CentrosEspaña
Variaciónentre... Variacióndentrode...
407 455 479 504 400 442 487 520 350 400 450 500 550 600
Primarios ESO Postobligatorios Superiores
ESPAÑA OCDE
Lavariableocupacióndelospadrestieneuncomportamientosimilaraladenivelde
estudiosdelospadres.Existendiferenciasde60puntosenelcasoespañolyde80en
elpromedioOCDE(Figura3.7).
Figura3.7.PuntuaciónmediadelosalumnosPISA2009segúnlaocupacióndelospadres
Elaboración:InstitutodeEvaluaciónapartirdelosdatoscontenidosenOECDPISA2009database.
Lapuntuaciónmediaobtenidaporlosalumnosencomprensiónlectoraseveinfluida
demodonotableporelnúmerodelibrosencasa.Cuantomayoreselnúmerode
librosqueelalumnadotieneencasa,másaltaeslapuntuaciónmediaqueobtiene.Las
diferenciasdepuntuaciónmediaenestecasolleganaserde125puntosenEspañay
enOCDE(Figura3.8),esdecir,seaproximanadosnivelesderendimiento(unos140
puntos).
Figura3.8.Puntuaciónmediadelosalumnossegúnelnúmerodelibrosencasa
Elaboración:InstitutodeEvaluaciónapartirdelosdatoscontenidosenOECDPISA2009database. 455 512 443 523 350 400 450 500 550 600 Bajacualificación Altacualificación España OCDE 10%8% 43%56% 402 437 475 505 521 526 426 458 496 524 551 552 350 400 450 500 550 600 0Ͳ10 11Ͳ25 26Ͳ100 101Ͳ200 201Ͳ500 Másde500 España OCDE 8%12%14%16%32%31%20%18%16%4%10%8%
EnlaFigura3.9serepresentalarelaciónentrelaspuntuacionesdelospaísesen
comprensiónlectoraysuESCS.HayunarelaciónpositivaentreresultadosyESCS,pero
tambiénhaycomportamientosnotablesquemerecenunareflexión.
PaísescomoFinlandiaySuecia,conunESCSsimilar,tienenresultadosquedifierenen
40puntos;másacusadoesestehechoentrepaísescomoCoreadelSurylaFederación
Rusa,oentreChileyPanamá,conESCSsimilaresyunadiferenciaenlapuntuación
mediaquesuperalos80puntos.
Figura3.9.RelaciónentrelospromediosdelospaísesyelESCS
Fuente:OECDPISA2009database,Vol.II,TableII.1.1.
Elaboración:InstitutodeEvaluación,Anexo3,Tabla3.1.
Lascomunidadesautónomasespañolastienen,engeneral,resultadossuperioresalos
quecorrespondenapaísesconESCSsimilar.Peroalconsiderarestasdosvariablesse
constatantambiéndiferencianotablesentrecomunidades.Estehechoconfirmaque
lossistemaseducativosdisponendemediosquepermitencompensarsituaciones
desfavorablesdelentornosocial,económicoyculturaldesusalumnosycentrosy
obtenerresultadospositivosaúnencondicionesadversas.
Japón Argentina Perú FederaciónRusa Italia Colombia PaísesBajos Alemania
ReinoUnidoSuecia
Brasil Panamá Finlandia Austria Uruguay Canadá Portugal España México Grecia CoreadelSur
Chile EstadosUnidos Francia OCDE 350 400 450 500 550 Ͳ1,4 Ͳ1,2 Ͳ1,0 Ͳ0,8 Ͳ0,6 Ͳ0,4 Ͳ0,2 0,0 0,2 0,4 0,6
EnlaFigura3.11,sepresentaparacadapaíselresultadopromedioenlaescalaPISA
2009descontadoelESCS,esdecir,lospromediossitodostuvieranelmismoESCS
(cero). Como puede comprobarse, si se descuenta el efecto del ESCS en las
puntuacionespromediodeciertospaíses,éstasseaproximandetalmodoquesus
diferenciasdejandesersignificativas,comoocurrecuandosehaceesteejerciciocon
laspuntuacionesdeAlemania,EstadosUnidos,ReinoUnido,España,Italia,Sueciay
Grecia.
Siserealizaeste“descuento”delefectodelESCSenlosresultadosdelascomunidades
autónomas,el“efecto”estambiénnotable,comopuedeobservarseenlaFigura3.12.
Enestecaso,lasdiferenciasextremasseacortande55a44puntos.Aparecendos
gruposdecomunidadesautónomassindiferenciassignificativasdentrodecadauno
deellos.Unoprimero,cuyasmedias“corregidas”conelefectoESCSsesitúanentorno
alos505puntosdeCataluña,queenglobaaCastillaLeón,LaRioja,Madrid,Cataluña,
Navarra,AragónyAsturias.Unsegundogrupo,concomunidadesconpuntuaciones
corregidasligeramentesuperioresalasdeEspaña(491)ysindiferenciassignificativas
entresí,estáintegradoporPaísVasco,Galicia,CantabriayMurcia.Aambosgruposles
separan14puntosdepromedio,cantidadfrancamentemodesta,considerandolos
valorespromediodelosintervalosdeconfianzadelascomunidadesautónomas,que
rondanprecisamenteesos15puntos(Tabla2.1).
Figura3.12.Puntuacionespromediodelascomunidadesautónomasespañolasdescontando
elESCS
Nota:lasCCAAseordenandemaneradescendenteenfuncióndelamediaenlecturaPISA2009descontandoelESCS.
Elaboración:InstitutodeEvaluación,Anexo3,Tabla3.1,apartirdelosdatoscontenidosenOECDPISA2009database.
UnmododemedirelefectodelESCSenelrendimientoylacapacidaddelossistemas
educativosparacontrarrestarsuefectoesvalorarenquémedidaseveafectadoel
rendimientodelosalumnossegúnvaríasuESCS.EnlaFigura3.13serepresentan
precisamenteloscambiosenelrendimientocuandoseproduceunamodificaciónde
400 425 450 475 500
unaunidadenelíndicedeestatussocioeconómicoycultural;enlasfigurasde
rendimientoquesepresentanmásadelantepuedecomprobarseelefectodeestas
diferenciasenlapendiente(inclinación)delaslíneasderegresión.
LasdiferenciasmenoresqueaparecenenlaFigura3.13indicanunmenorimpactodel
ESCSenelrendimientoescolar;esdecir,enesoscasos,lossistemaseducativos
contribuyenenmayormedidaamoderarelefectodelESCSo,loqueeslomismo,son
másequitativos.Lasdiferenciasmayoresindicanunmayorimpactodelentorno
socioeconómicoyculturalenelrendimientoescolar,esdecir,másdesigualdad,o
menoseficaciadelsistemaeducativoparacompensardesigualdadesenelESCS.
Elordenresultantedelospaíses,enestecasounamedidaindirectadelaequidadde
sus respectivos sistemas educativos, es considerablemente diferente a aquellas
ordenacionesresultantesdelaspuntuacionespromediodesusalumnos.Enestecaso,
tresdelospaísesconmejorespromedios(excelencia),Finlandia,CanadáyCoreadel
Sur, se encuentran entre los que presentan mayor equidad, medida por esta
pendientedelalíneaderegresión.Estavaloracióncombinadadelaexcelenciayla
equidades,sinduda,lamejoraproximaciónalamedidadelacalidaddeunsistema
educativo.
Figura3.13.Variacióndelrendimientodelosalumnosporcadapuntode
incrementodelESCS
Fuente:OECDPISA2009database,Vol.II,TableII.1.1.
20 25 30 35 40 45 50 55 México Colombia Brasil España Portugal Finlandia Chile Panamá Canadá CoreadelSur Italia Grecia Uruguay PaísesBajos FederaciónRusa Argentina Japón Perú EstadosUnidos Suecia Alemania ReinoUnido Austria Francia PromedioOCDE
Comopuedecomprobarse,enestecomportamientodelefectodelavariacióndel
ESCSenelrendimientodelosalumnos,juntoalospaísescitadosaparecenlos
mediterráneos,conrendimientosmediosybuenosvaloresenequidad,ybuenaparte
deloslatinoamericanos,conequidadtambiénelevada,perorendimientosbastante
másmodestos.
ElvalordeEspañaeselmenordelospaísesdesarrolladosconsiderados,próximoalos
delossistemasmásequitativos:Portugal,Finlandia,Canadá,CoreadelSur,Italiay
Grecia(Figura3.13).Sonestossistemaseducativoslosquedeacuerdoconestefactor
presentanunamayorequidadenPISA2009.EnelextremoopuestosesitúanEstados
Unidos,Suecia,Alemania,ReinoUnido,AustriayFrancia,convaloresentre40y50
puntos,superioresalospromediosOCDE.
Figura3.14.Puntosdevariacióndelrendimientodelosalumnosporcadapuntoquevaría
elESCSenlascomunidadesautónomasespañolas
Elaboración:InstitutodeEvaluación,Anexo3,Tabla3.1,apartirdelosdatoscontenidosenOECDPISA2009database.
Losvaloresdelascomunidadesespañolasofrecendiferenciasentreellosqueno
superanlos15puntos(Figura3.14).EnGaliciayelPaísVascounadiferenciade1
puntoenelESECsecorrespondeconunavariaciónenlosresultadosinferiora25
puntos;sonlascomunidadesenlasqueelsistemaeducativosemuestra“más
equitativo”.EnelextremoopuestosesitúanAsturiasyLaRioja,comunidadesdonde
porcadaunidaddeESECvaríalapuntuaciónentornoa35puntos,cifraentodocaso
inferioraladelospaísesconsistemas“menosequitativos”.
20 25 30 35 40 Galicia PaísVasco Canarias Murcia Aragón Cataluña Baleares Cantabria CastillaYLeón España Navarra Andalucía Madrid Asturias LaRioja PromedioOCDE
Entodaslascomunidadesautónomasestascifrasdifierenmuypocodelamedia
españolaylosvaloressonsiempreinferioresalosdelpromedioOCDE.Alavistade
estavariable,sepuedeconcluirqueenEspaña,entodaslascomunidadesautónomas
españolas,elsistemaeducativosecomportaconungradonotabledeequidad.
LíneasderegresióndelrendimientoenfuncióndelESCS
EnlaFigura3.15serelacionanlosnivelessociales,económicosyculturalesdelos
alumnos consu rendimiento,utilizando los mismos criteriosde representación
empleadosenlaEvaluacióngeneraldediagnóstico2009,quemerecenexplicaciones
técnicassimilaresalasallíexpuestas.Cadapuntodelgráficorepresentalosresultados
dedieciséisalumnosyexpresadosvalores:surendimientoencomprensiónlectora
(enlaescalademedia500ydesviacióntípica100,delejevertical)yelvalordelESCS
desuentornofamiliar(enlaescalademedia0ydesviacióntípica1,deleje
horizontal).Lacurvaderegresiónrepresentalaspuntuacionespromedioesperadas
paracadavalordelíndicesocial,económicoycultural.
Cadacurvaderegresiónrepresentadaenestayenlassiguientesfigurasofrecetres
informaciones:primero,elpuntodecortedelacurvaconelejeverticaltrazadoenel
punto 0 de laescala del ESCS. En las líneas de regresión esas intersecciones