4.2 Hardware Support for Barrier Synchronizations
4.3.5 Full-system Simulation
3b y 3d, el ítem 3d a pesar de que carga en un factor los ítems de este factor no tienen un relación teórica interesante) y de acuerdo al análisis de confiabilidad previo estos ítems reducen la confiabilidad global del instrumento, por lo anterior se decidió que estos ítems no van a ser tenidos en cuenta en el análisis posterior.
Se realizó de nuevo el análisis factorial sin los 3 ítems anteriores (Ver Anexo 26-Análisis Factorial AAE 5 factores pos-test sin 1h, 3b y 3d). Analizando los resultados se puede observar que la mayoría de los ítems cargan en 4 factores y en el quinto factor sólo cargan tres ítems que teór icamente no están muy correlacionados. Por lo anterior se corrió de nuevo el modelo pero solo con 4 factores (Ver Anexo 27-Análisis Factorial AAE 4 factores pos-test sin 1h, 3b y 3d). Al analizar los resultados se puede observar que los ítems están cargando bien en los 4 factores predeterminados y la mayor ía de los ítems dentro de cada factor tienen una correlación teórica interesante.
Hay algunos ítems dentro de la agrupación anterior que no se correlacionan teóricamente muy bien con los demás ítems del factor correspondiente. Tal es el caso de las preguntas 4e y 4f, las cuales son muy ambiguas y teóricamente no proporcionan una asociación interesante. Además, por el análisis de confiabilidad realizado se sabe que estos dos ítems reducen la confiabilidad global del instrumento. Por lo anterior, se decidió que las preguntas 4e y 4f no deben ser tenidas en cuenta para el análisis posterior.
Se realizó de nuevo el análisis factorial sin los 5 ítems que no van a ser tenidos en cuenta (ver Anexo 28-Análisis Factorial 4 factores pos-test sin 1h, 3b, 3d, 4e, 4f). Al analizar los resultados se puede observar que los ítems están cargando bien en los 4 factores predeterminados y presentan una correlación teórica interesante.
Se realizó de nuevo un análisis de confiabilidad del instrumento sin los ítems 1h, 3b, 3d, 4e y 4f. El alfa de Cronbach para esta configuración es de 0,780 que es una buena medida de la confiabilidad, sabiendo que es menor que el alfa obtenido al retirar todos los ítems que no estaban aportando a la confiabilidad. Esto se da porque los ítems 1i y 4d que según el análisis de confiabilidad no estaban aportando para incrementar el alfa, para el análisis factorial cargan bien en un factor y además ayudan a interpretar teóricamente el mis mo, razón por la cual estos dos últimos ítems sí van a ser tenidos en cuenta.
Al comparar los resultados obtenidos por el análisis de validez en las dos mediciones (pre-test y pos-test) se puede observar que la mayor ía de ítems cargan de manera similar en los mis mos factores tanto en el análisis del pre-test como del pos-test, solo los ítems 1e, 1g, 1i, 2g, 4b, 5a y 5b cargan diferente en el análisis factorial del pre-test comparado con el pos-test (ver Anexo 28-Análisis Factorial 4 factores pos-test sin 1h, 3b, 3d, 4e, 4f).
65
Como el tamaño muestral del pos-test se redujo por las condiciones comentadas anteriormente, y como la asocian de los factores es muy similar en las dos mediciones se va a concluir que los factores a tener en cuenta son los del análisis factorial concluido en el pre-test.
De acuerdo a todo el análisis se concluye que los factores en los cuales se van a agrupar las preguntas para la prueba de ambiente de aprendizaje para estudiantes son:
Trabajo Cooperativo: Conformado por las preguntas 1a, 1b, 1c, 1d, 1e, 1f, 1g, 1i, 1j, 2a,
4g y 5a.
Respeto de la palabra: Conformado por las preguntas 2h, 3a, 3c, 3f, 4a y 5d. Opinión y Participación: Conformado por las preguntas 2c, 2d, 2e, 3e, 4c y 5c.
Yo y m i relación con los dem ás: Conformado por las preguntas 2b, 2f, 2g, 4b, 4d, 5b y
5e.
Y las preguntas 1h, 3b, 3d, 4e y 4f no se van a tener en cuenta para el análisis. De acuerdo a este análisis el instrumento de ambiente de aprendizaje para cada estudiante se va a consolidar en 4 factores. En la tabla 3 se presenta la interpretación teórica de cada factor de ambiente de aprendizaje.
El análisis de validez para el instrumento de ambiente de aprendizaje para docentes no se realizó debido a que el análisis de confiabilidad de éste instrumento realizado en el criterio anterior dio resultados malos, concluyendo que el instrumento no fue confiable. Aparte del análisis estadístico se analizó la validez teórica de cada una de las preguntas y se decidió junto con el equipo de Pequeños Científicos reformular el instrumento para aplicarlo en una próxima medición.
Para el instrumento de competencias ciudadanas no se realizó un análisis de validez debido a las características particulares de la aplicación de la prueba que le introducen una variabilidad muestral muy grande. Por esto, como ya se comentó, no se va a realizar ningún tipo de agrupación de los ítems del instrumento.
66
Tabla 3. Factores del instrumento de am biente de aprendizaje
Trabajo Cooperativo
Preguntas que permiten identificar sí en el salón de clases están presentes elementos como: diferentes roles de trabajo, interdependencia positiva de objetivos y de recursos, trabajo dentro de los grupos con un fin compartido, cooperación para el logro de tareas, y identidad compartida. Se operacionaliza en preguntas como por ejemplo: Yo puedo aprender cosas de mis compañeros, cada uno tiene una labor dentro del grupo, el objetivo del grupo es que todos aprendamos, etc.
Respeto por la palabra
Preguntas que permiten identificar sí el ambiente de clase promueve la generación de opciones y el desarrollo de opiniones entre los niños. También en qué grado las opiniones del otro son consideradas como válidas, qué tanto escucho a mis compañeros, qué tanto mi profesor me escucha a mí. Finalmente, en esta categoría de preguntas se puede incluir algo de pensamiento crítico, es decir, preguntas que permiten ver qué tanto cuestiono las ideas de mis compañeros o de mi profesor y con qué bases las cuestionó.
Opinión y Participación
Preguntas que permiten ver cuál es el manejo que se le da al error dentro del aula de clases. Cuál es la reacción de mis compañeros cuando yo me equivocó, cuál es la reacción de mi profesor. Cómo afecta esa reacción mi participación en clase. Preguntas que permiten ver en qué medida los niños y niñas están participando en la construcción de acuerdos dentro del salón de clases.
Yo y Mi relación con los demás.
Preguntas que permiten ver la calidad de las relaciones entre el profesor y los alumnos y entre los alumnos y sus pares. Cómo perciben los niños a su profesor, qué rol está cumpliendo él, cómo perciben sus compañeros qué rol están cumpliendo ellos
5.6. PLAN DE A NÁLISIS
Las etapas básicas que siguieron para alcanzar los objetivos propuestos se desarrollan a continuación:
1. Estudio de las características a evaluar del subsistem a Resultados de la intervención:
a. Revisar el diseño del subsistema de evaluación Resultados de la intervención:
Se hizó una revisión del subsistema completo, analizando las variables a medir, la operacionalización de las variables a través de los indicadores, los instrumentos de recolección de la información y la población objetivo.
Se medió teóricamente la relevancia de las variables, indicadores e instrumentos de recolección de la información para determinar sí las variables
67
medidas permitían dar solución al problema plateado o faltaba tener en cuenta otras adicionales.
b. Realizar una revisión bibliográfica sobre sistemas de evaluación de procesos
educativos basados en indagación guiada: La revisión bibliográfica se centró
en identificar qué tipos de análisis estadísticos y procedimientos de medición se han utilizado para evaluar programas educativos basados en indagación guiada y además qué variables han tenido en cuenta que puedan afectar el desarrollo de un ambiente de aprendizaje coherente con los principios del proyecto y el logro de competencias ciudadanas.
c. Definir las variables a medir para el análisis del subsistema de evaluación
Resultados de la intervención
2. Diseñar un esquem a para el análisis estadístico de la inform ación
a. Definir la estructura de datos de las variables a medir para el subsistema de evaluación Resultados de la intervención: Se definió la estructura de las
variables a medir a través de la operacionalización de las mis mas, indicando los indicadores necesarios para medir una variable y la información y el instrumento utilizado para recolectarla.
b. Identificar los procedimientos estadísticos a ejecutar: Los procedimientos se seleccionaron de acuerdo a la estructura de datos de las variables y los objetivos e hipótesis de la investigación. El esquema para el análisis de la información fue:
i. Análisis de la representatividad de la muestra
ii. Análisis de validez y confiabilidad de los instrumentos de medición iii. Análisis descriptivo de las variables a medir
iv. Análisis MANOVA entre los dos momentos de aplicación de las pruebas de calidad: Se buscó identificar sí hubo diferencias significativas en los
resultados de los estudiantes en las pruebas de calidad después de un año de capacitación.
v. Análisis MANOVA: Identificar sí las variables independientes
(cobertura, consolidación, etc) producían diferencias significativas (y de qué tipo) en los puntajes de los estudiantes en las pruebas de calidad (Instrumento de ambiente de aprendizaje e instrumento de competencias ciudadanas). Para realizar este análisis se organizaron los datos en dos grandes grupos: Resultados del pre test y resultados del pos test.
68
En cada grupo se organizaron tres bases de datos a partir de los resultados obtenidos por los estudiantes en las pruebas de ambiente de aprendizaje y competencias ciudadanas: una pr imera base donde se encuentran los resultados por estudiante, una segunda base que contiene los resultados agrupados por curso (promedio de los resultados obtenidos por los estudiantes en cada curso). En esta base se le agregaron a los resultados obtenidos por los estudiantes las variables del instrumento de observación y visita de clase, las variables de consolidación por sede y las variables de consolidación por institución; y por último se organizó una base a nivel institucional (promedio de los resultados obtenidos por cada curso a nivel institucional). Esta base contiene los resultados en las pruebas de ambiente de aprendizaje y competencias ciudadanas a nivel institucional, las variables de consolidación a nivel institucional y las variables del formato de observación y visita de clase a nivel institucional (promedio de los cursos de cada institución).
vi. Análisis de correlaciones: Se buscó analizar las relaciones existentes
entre las variables de calidad (ambiente de aprendizaje y competencias ciudadanas) y las variables independientes (consolidación y factores del instrumento de visitas).
vii. Análisis de conglomerados: Se buscó agrupar los estudiantes o cursos
de la muestra en grupos afines de tal forma que se pudiera identificar las características de cada grupo en relación a los puntajes de los estudiantes en las pruebas de calidad, básicamente en los factores de ambiente de aprendizaje. Esto se aplicó a las variables continuas.
Con estos análisis se pretendió identificar cuáles serían los factores críticos institucionales que tienen una relación directa con el desempeño de los estudiantes vinculados al proyecto Pequeños Científicos Gas Natural Bogotá en las pruebas de calidad, aplicadas durante el 2006.
3. Resultados
a. Ejecutar los procedimientos estadísticos establecidos para el análisis de la información.
b. Validar los procedimientos utilizados de acuerdo a las teor ías de los expertos en los mis mos.
69
4. Análisis de resultados
a. Analizar los resultados obtenidos por medio de los procedimientos estadísticos
empleados.
b. Concatenar los análisis de los diferentes procedimientos para identificar cuáles
son las variables que tienen una relación directa con el desempeño de los estudiantes.
70
0 0,5 1 1,5 2 2,5 3 3,5 4 4,5 Trabajo cooperativo pre Respeto de la palabr a pre Opinión y par ticipación preYo y los demas pre 4,17 3,58 4,35 3,42 0,448 0,802 0,534 0,66
Resultados Factores de Ambiente de Aprendizaje
Pre test
Factor ambiente de apr endizaje Desviación del factor 6. RESULTADOSLos resultados de los diferentes análisis estadísticos se van a estructurar en tres grandes grupos:
• Análisis Descriptivo
• Análisis MANOVA
• Análisis de Conglomerados
6.1. ANÁLISIS DESC RIPTIVO
Se realizaron algunas gráficas para analizar el comportamiento de las variables independientes (factores de ambiente de aprendizaje y competencias ciudadanas) relacionándolas con las variables de consolidación y con los factores del formato de observación y visitas de clase.
Para comenzar el análisis descriptivo se graficaron los resultados promedios obtenidos por los estudiantes en los factores de ambiente de aprendizaje del pre test y del pos test.
Gráfica 1. Resultados de los estudiantes en la prueba de am biente de aprendizaje en el pre test.
71
0,00 0,50 1,00 1,50 2,00 2,50 3,00 3,50 4,00 4,50 Tr abajo cooperativo post Respeto de la palabr a post Opinión y participación post Yo y los demás post 4,23 3,64 4,43 3,44 0,43 0,79 0,51 0,66Resultados Factores de Ambiente de Aprendizaje
Pos test
Factor ambiente de apr endizaje Desviación del factor
Gráfica 2. Resultados de los estudiantes en la prueba de am biente de aprendizaje en el pos test.
Analizando los resultados obtenidos por los estudiantes en la prueba de ambiente de aprendizaje tanto en el pre test como en el pos test, se puede observar que los estudiantes mejoraron sus puntajes en todos los factores de ambiente de aprendizaje disminuyéndose la dispersión en cada factor. Hay que tener en cuenta que la muestra en el pos test se redujo por los factores ya comentados.
Los resultados de los estudiantes en la prueba de competencias ciudadanas se graficaron de acuerdo a las tres competencias (cognitivas, emocionales y comunicativas), comparando los resultados obtenidos en el pre test con los obtenidos en el pos test.
En la comparación de los resultados (pre test y pos test) hay que tener en cuenta que el tamaño de la muestra en el pos test se redujo. Analizando las gráficas de los resultados en las competencias cognitivas, emocionales y comunicativas se puede observar que en las competencias cognitivas y emocionales (en todos los escenarios) hubo incremento porcentual positivo en el desempeño de los estudiantes, mientras que en las competencias comunicativas hubo un descenso porcentual en 2 de los 5 escenarios (ver anexos 29- Resultados de los estudiantes en las Competencias Cognitivas, 30-
72
Resultados de los estudiantes en las Competencias Emocionales y 31- Resultados de los estudiantes en las Competencias Comunicativas).
Para continuar con el análisis descriptivo se realizaron algunas gráficas de dispersión que permitieran analizar los resultados de las diferentes instituciones en los factores de ambiente de aprendizaje en los dos momentos de aplicación. Al ver las gráficas se puede observar que en todos los factores hay una tendencia lineal positiva, lo que nos indica que en los 4 factores la tendencia de las instituciones fue a mejorar los resultados obtenidos en el pre test. No se realizaron las graficas a nivel de curso o estudiante porque estos gráficos no permitían ver ningún tipo de comportamiento debido a la cantidad de datos.
También hay que destacar que en los 4 factores hay instituciones que siempre se encuentran en el cuadrante superior derecho (por encima de la media muestral tanto en el pre test como en el pos test) como la 14 y la 11; as í mismo hay instituciones que en los 4 factores siempre se encuentran en el cuadrante inferior izquierdo (por debajo de la media muestral tanto en el pre test como en el pos test) como la 9 y la 12 (ver anexos 32- Resultados de las instituciones en el factor Trabajo Cooperativo, 33- Resultados de las instituciones en el factor Respeto de la Palabra, 34- Resultados de las instituciones en el factor Opinión y Participación y 35- Resultados de las instituciones en el factor Yo y mi relación con los demás).
Las gráficas de los resultados de las instituciones en las variables de competencias ciudadanas en los dos momentos de aplicación no se tuvieron en cuenta dentro de la estructura del informe. Debido a la aplicación misma del instrumento (donde cada estudiante solo contesto una historia) no se puedo agrupar las 15 variables en 3 factores (competencias cognitivas, emocionales y comunicativas) que para el proyecto sería lo más relevante. En cambio se trabajaron las 15 variables de manera individual para realizar todos los procedimientos estadísticos (ver sección 5.5 Instrumentos de medición).
Hay que tener en cuenta que los promedios por institución en los factores de ambiente de aprendizaje como en las variables de competencias ciudadanas son formados por los resultados de algunos cursos que fueron seleccionados en la muestra y no de todos los cursos de 4 y 5 de primar ia de cada institución. Por lo tanto, no se puede afirmar que toda la institución tenga el comportamiento descrito anterior mente en las gráficas.
Como el propósito principal de esta investigación es encontrar los factores críticos que tienen una relación directa con el desempeño de los estudiantes vinculados al proyecto Pequeños Científicos Gas Natural Bogotá en las pruebas de calidad se realizaron algunas gráficas para comparar los resultados de las instituciones en las pruebas de ambiente de aprendizaje en los dos momentos de aplicación con el porcentaje de consolidación (promedio de las variables de consolidación).
73
Al analizar las gráficas de los factores de ambiente de aprendizaje versus consolidación se puede observar que en los factores trabajo cooperativo, respeto de la palabra y opinión y participación tanto en el pre test como en el pos test hay una tendencia lineal positiva, es decir, aquellas instituciones que obtuvieron mejores resultados en estos factores de ambiente de aprendizaje también presentan los porcentajes de consolidación más altos. También hay que destacar que hay instituciones que siempre se encuentran en el cuadrante superior derecho (por encima de la media muestral en el factor de ambiente de aprendizaje tanto en el pre test como en el pos test y por encima de la media muestral del porcentaje promedio de consolidación) como la 2, 11 y la 14; así mismo hay instituciones que siempre se encuentran en el cuadrante inferior izquierdo (por debajo de la media muestral en el factor de ambiente de aprendizaje tanto en el pre test como en el pos test y por debajo de la media muestral del porcentaje promedio de consolidación) como la 4, 9 y la 12 (ver anexos 36- Resultados instituciones en el factor Trabajo Cooperativo pre vs promedio de consolidación, 37- Resultados instituciones en el factor Trabajo Cooperativo post vs promedio de consolidación, 38- Resultados instituciones en el factor Respeto de la Palabra pre vs promedio de consolidación, 39- Resultados instituciones en el factor Respeto de la Palabra post vs promedio de consolidación, 40- Resultados instituciones en el factor Opinión y Participación pre vs promedio de consolidación, 41- Resultados instituciones en el factor opinión y Participación post vs promedio de consolidación, 42- Resultados instituciones en el factor Yo y mi relación con los demás pre vs promedio de consolidación y 43- Resultados instituciones en el factor Yo y mi relación con los demás post vs promedio de consolidación).
Adicionalmente, en el mis mo sentido se relacionó los resultados de las instituciones en las pruebas de ambiente de aprendizaje en los dos momentos de aplicación con el promedio general de las visitas (promedio de los factores del formato de observación y visita de clase). Al analizar estas gráficas se puede observar que en los factores respeto de la palabra y opinión y participación tanto en el pre test como en el pos test hay una tendencia lineal positiva, que si bien no es tan marcada como en las anteriores gráficas (con respecto al porcentaje promedio de consolidación) da indicios de una posible relación importante entre estas variables. Cabe resaltar que el factor Yo y mi relación con los demás tanto en el pre test como en el pos test presenta una tendencia lineal negativa. También hay que destacar que hay instituciones (en los factores trabajo cooperativo,