Chapter 5: Task Reliability and Validity Study Two
5.2 Measuring Verbal, Visual and Spatial Working Memory
5.3.5 Spatial memory tasks
10 docentes sobre sus prácticas de evaluación en el aula, como parte del estudio 1 del proyecto de evaluación formativa.
Para comenzar, se rescataron los datos relacionados a la factibilidad de los instrumentos de evaluación, es decir, si los profesores aprovechan los recursos disponibles para la elaboración, diseño y aplicación de los instrumentos, así como, si toman el tiempo necesario para elaborar dichos instrumentos. En la tabla 1 se agrupan las respuestas obtenidas de las preguntas 1 a la 6 del instrumento 001 (Apéndice 1)
67
Tabla 1.
Factibilidad en el diseño y aplicación de instrumentos de evaluación
Pregunta Siempre Casi
siempre A veces nunca Casi Nunca Media
28. Preparo con suficiente
anticipación los instrumentos de evaluación de tal forma que puedo revisarlos con calma
antes de aplicarlos. 30% 70% 0 0 0 1.7 29. Diseño los instrumentos de
medición teniendo en cuenta que su aplicación esté acorde con la
duración de la clase. 50% 50% 0 0 0 1.5 30. Tengo contemplado, dentro de
mis funciones docentes, el tiempo que me va a llevar calificar los trabajos realizados por mis alumnos, bien sean
tareas o exámenes. 40% 40% 20% 0 0 1.8 31. Saco provecho de los recursos
que se encuentran disponibles en mi institución para elaborar los
instrumentos de evaluación. 50% 20% 20% 10% 0 1.9 32. Saco provecho de los recursos
que se encuentran disponibles en mi institución para aplicar los
instrumentos de evaluación. 70% 10% 10% 10% 0 1.6 33. Me siento capaz de diseñar
instrumentos de evaluación apropiados para la materia que
imparto. 60% 30% 10% 0 0 1.5
Se puede observar que la mayoría de los profesores afirmaron preparar con anticipación sus instrumentos, tomándose el tiempo necesario para ello, en cambio para su aplicación, los profesores de Inglés entrevistados consideran entre 5 y 10 minutos para aplicar dichas estrategias en clase; así como sacar provecho de los recursos disponibles en la institución para elaborar y aplicar los instrumentos de evaluación para la materia que imparten (Apéndice 3, fotografía 3). También, es importante señalar que el 60% de los profesores se sienten capaces de diseñar sus propios instrumentos de evaluación, ya que esta información se corrobora con la respuesta a la pregunta 5 del instrumento 002 (Apéndice 1) del profesor 1 al comentar que:
68
“Solo yo diseño mis instrumentos de evaluación” (Apéndice 3, entrevista 1) Y otros se apoyan en los propuestos por el libro y sus conocimientos en la materia como menciona el profesor entrevistado número 2.
“Según el libro y propio criterio” (Apéndice 3, entrevista 2)
De acuerdo a los principios marcados por la evaluación formativa, los
instrumentos de evaluación utilizados por los profesores deben estar relacionados con los objetivos de aprendizaje que se pretenden evaluar a lo largo del periodo o en éste caso al bimestre del ciclo escolar, a lo que el 80% de los profesores encuestados contestaron siempre diseñar los instrumentos de evaluación en función de los objetivos y el 90% declara las consecuencias que conlleva el copiar cuando se aplican dichos instrumentos en el salón de clases, aunque el profesor entrevistado 2, comento lo contrario al contestar la pregunta 26.
“No suelo sancionar a los alumnos que copian en clase, ni informar a los superiores” (Apéndice 3, entrevista 2)
Cabe señalar que, aunque la mayoría de los profesores mencionaron relacionar los objetivos con los instrumentos de evaluación, el 40% afirmó que nunca calculan la fidelidad de tales instrumentos, a lo cual una profesora comentó desconocer el tema sobre coeficientes de confiabilidad para evaluar los instrumentos y se puede llegar a concluir que es un tema desconocido para algunos más en el Colegio, ya que el 60% de ellos casi nunca o nunca recurre a la opinión de algún colega para asignar calificaciones a sus alumnos por medio de reuniones de academia o consejo técnico integrado por los trabajadores del nivel secundaria, como propone la SEP en las escuelas secundarias técnicas y federales. Aunque los profesores del área de Inglés se reúnen cada mes para
69
trabajar en actividades relacionadas con el colegio, ninguno de los tres entrevistados aseguró compartir ideas o resultados durante sus sesiones.
La evaluación del proceso enseñanza aprendizaje se debe retroalimentar , no solo a los alumnos, sino a toda la sociedad como los padres de familia, superiores de la escuela y otras instituciones educativas para tomar decisiones que favorezcan el
desarrollo integral, por lo que el 70% de los profesores afirmaron siempre o casi siempre tener en mente las calificaciones de sus alumnos como una constancia de su avance, en primer lugar, informar a los alumnos de manera cualitativa sobre sus resultados fue comprobada con un 90% de los profesores encuestados que comenta hacerlo casi siempre (Instrumento 001), confirmada por los 3 profesores entrevistados a través del instrumento 002 en la pregunta 10 que dice ¿ Provees información sobre los resultados del ejercicio, examen rápido o trabajo presentado con base en criterios previamente establecidos?
Una forma de retroalimentar los resultados obtenidos en la evaluación, debería ser la propuesta de cambios en la gestión de la institución educativa, pero solo 50% de los profesores opinó que siempre o casi siempre aprecian efectos positivos cómo la toma de decisiones unificada e integrada por todos los integrantes de la comunidad educativa (Instrumento 001).
Otro de los objetivos de la evaluación es fomentar la autorregulación y la mejora de las estrategias metacognitivas en el aprendizaje a partir de los resultados de los instrumentos de evaluación, sin embargo, el 40% de los profesores a veces o casi nunca promueve la reflexión y la autorregulación dentro del aula de clase, en este sentido el profesor 3 responde:
70
“Algunos, aunque están claramente identificados los alumnos que trabajan de manera autónoma durante la clase” (Apéndice 3, entrevista 3)
La evaluación diagnóstica permite conocer que habilidades y conocimientos tienen los alumnos al principio de un lapso de tiempo, por lo que se indagó dentro del centro escolar su uso para definir sus estrategias de enseñanza dentro de su planeación escolar (Apéndice 1, instrumento 001), En la tabla 2 se muestran las respuestas de los profesores sobre su aplicación.
Tabla 2.
Evaluación diagnóstica
Pregunta Siempre Casi
siempre A veces nunca Casi Nunca Media
Indico a mis alumnos, a partir de los resultados de la evaluación
diagnóstica, qué tipo de medidas pueden tomar para reforzar los conocimientos previos que deben tener para la materia que van a
estudiar. 60% 30% 0 10% 0 1.6 Ajusto los primeros temas del curso
que voy a impartir en función de los resultados de la evaluación
diagnóstica. 20% 40% 30% 10% 0 2.2 Excluyo los resultados obtenidos en
la evaluación diagnóstica de las calificaciones obtenidas por mis
alumnos a lo largo del curso. 30% 10% 20% 0 40% 3.2 Nota: la media se obtuvo de asignarle el valor de 1 al criterio siempre, 2 casi siempre, 3 a veces, 4 casi nunca y 5 nunca.
Como puede observarse los datos sobre la aplicación de la evaluación diagnóstica no aparecen de manera homogénea en la encuesta hacia los profesores ya que 70% indicó utilizarla para dar a conocer a sus alumnos que conocimientos deberían de reforzarse antes de comenzar la materia, mientras que el 40% de los profesores la excluye de las otros resultados de evaluación obtenidos a lo largo del curso, esto puede deberse a que dentro de la institución no se maneja la aplicación de un examen diagnóstico para cada
71
materia, ya que cada profesor es libre de decidir de qué forma evaluará el aprendizaje de sus alumnos, como menciona el profesor 1en la entrevista al contestar las preguntas ¿Cómo utiliza la información que arroja la evaluación de inicio?, ¿los resultados de esta evaluación tienen alguna influencia en la conducción de tus clases durante el ciclo escolar?
“No realizo en específico una evaluación, solo mediante los ejercicios o dinámicas me doy cuenta del nivel del grupo” (Apéndice 3, entrevista 1)
Al respecto, los otros dos profesores entrevistados, mencionaron no llevar a cabo la evaluación diagnóstica como una herramienta que les ayude a conocer el grado de conocimientos de sus alumnos.
Lo que concierne a la práctica de la evaluación formativa en el quehacer diario de los profesores, el 60% de ellos aseguró siempre o casi siempre identificar los errores que el grupo comete para señalar áreas débiles de aprendizaje y al mismo tiempo inferir el nivel de progreso de los alumnos a lo largo del curso.
Uno de los instrumentos propuestos para evaluar el proceso de enseñanza aprendizaje, es el examen (Apéndice 3, productos 1, 2 y 3), ya que permite conocer de manera amplia el grado de conocimientos de los alumnos, validar si se han alcanzado los objetivos de aprendizaje planteados al inicio del curso y a su vez identificar rápidamente los errores que el grupo comete, en éste sentido se les preguntó a los profesores que tipo de exámenes prefieren aplicar a sus alumnos; de respuesta abierta o cerrada, a libro abierto o sin posibilidad de consulta, escritos, orales o desempeño psicomotriz, cortos o largos, sorpresa o programados, individuales o por equipo. (Apéndice 1, instrumento 001).
72
En la siguiente figura se muestran los resultados obtenidos sobre el tipo de examen que los profesores prefieren.
Figura 2. Preferencias del tipo de examen
Como puede observarse el 100% de los profesores prefiere aplicar exámenes sin posibilidad de consulta y así poder medir el avance del aprendizaje de sus alumnos, como comentaros los tres profesores entrevistados de Inglés se aplica un examen bimestral ya programado en el calendario escolar, por lo que se puede observar, que 9 de los 10 profesores prefieren aplicar los exámenes programados. Respecto al tipo de exámenes, los profesores entrevistados, optan por aplicar exámenes de respuesta cerrada, a su vez, el 90% de ellos los eligen de respuesta corta, el 60% también aplican exámenes de
desarrollo creativo que permite reconocer el aprendizaje de los alumnos integrando todos sus conocimientos y habilidades.
0 1 2 3 4 5 6 7 8 9 10
73
Los exámenes que prefieren aplicar los profesores de respuesta cerrada, suelen ser de opción múltiple con una sola opción correcta en un 90% de acuerdo con la encuesta aplicada.
Siguiendo con la aplicación de exámenes y considerando la materia que imparten los profesores, se les preguntó, ¿con qué nivel de objetivos de aprendizaje diseñan las preguntas del examen? Basándose en la Taxonomía de Bloom, en la siguiente figura se presentan las respuestas obtenidas.
Figura 3. Tipos de preguntas de examen según la taxonomía de Bloom
De acuerdo con la taxonomia de Bloom, el dominio cognitivo de los objetivos de aprendizaje tiene seis niveles que giran en torno al conocimiento y la comprensión de cualquier tema dado por los profesores en orden ascendente comenzando por objetivos de conocimiento, comprensión, aplicación, análisis, síntesis y evaluación siendo éste el nivel más alto. De acuerdo con la figura 3, solo el 30% de los profesores diseña los reactivos del examen para evaluar conocimientos, el 60% los diseña para la comprensión, es decir, donde se demuestre que el alumno entiende y formula ideas. Sin embargo, ningun
Conocimiento 30% Comprensión 60% Aplicación 0% Análisis 10% Síntesis 0% Evaluación 0%
74
profesor aplica preguntas de evaluación, que son las propuestas con mayor nivel según Bloom ya que estan relacionadas con el desarrollo de un juicio de valor en el estudiante y el análisis crítico.
Los profesores de Inglés tambien consideran el examen como una buena herramienta para reconocer los aprendizajes esperados, en éste sentido se les pregunto ¿Cuáles son las estrategias que usted considera han sido más efectivas para evaluar periódicamente el desempeño de sus alumnos en esta disciplina? A lo que el profesor 1 mencionó que:
“utilizo los dictados, ya que refuerzan las cuatro habilidades de lenguaje que manejamos en el colegio” (Apéndice 3, entrevista 1; Apéndice 3, producto 4) Refiriendose a la tecnologia y los recursos disponibles en la escuela para
favorecer el aprendizaje en clase y por consecuencia la evaluación de éste, el profesor 1 comentó:
“diariamente utilizamos la computadora, los videos propuestos por la coordinación y los rota folios proporcionados por la editorial” (Apéndice 3, entrevista 1)
Agregado a esta respuesta el profesor 3 también respondió:
“los libros de texto utilizados en el colegio vienen con un cd interactivo por lo que trato de utilizar la computadora en todas mis clases” (Apéndice 3, entrevista 3)
Como puede observarse, dentro del colegio se fomenta el aprendizaje del Inglés con ayuda de la tecnología, como son computadoras y cd´s interactivos, por lo que respecta a la evaluación final, comentaron utilizar el examen propuesto por el libro de
75
texto y promediarlo con las tareas y ejercicios en clase; en ésta vertiente, el 70% de los profesores encuestados respondieron tomar en cuenta los resultados de las evaluaciones finales para rediseñar el curso que impartirán de su materia en el ciclo escolar sucesivo.
Siguiendo con el tipo de evidencias que los profesores solicitan a los alumnos como comprobantes del aprendizaje a los alumnos, se analizaron 60 productos de 4 alumnos por cada profesor de Inglés seleccionados de acuerdo a su promedio académico, obteniendo los datos presentados a continuación.
Tabla 3.
Tipo de evidencias por profesor
Producto Número de productos recolectados
Profesor 1 Profesor 2 Profesor 3
Conjunto de ejercicios 12 16 16 Examen 4 4 4 Proyectos / portafolios Escritos 4 Investigación Total 20 20 20
Los productos recolectados fueron seleccionados de acuerdo a la forma de trabajo de cada profesor, como puede observarse, la profesora 1 utiliza el libro de texto, la libreta para dictados o escritos (Apéndice 3, producto 5) y el examen final para evaluar a sus alumnos, el profesor 2, sólo utiliza los ejercicios proporcionados por el libro (Apéndice 3, producto 6) y el examen para dar a conocer a sus alumnos el resultado de su evaluación, por su parte la profesora 3 opta por la libreta (Apéndice 3, producto 7), el libro y el examen. Se puede concluir que dentro del colegio hace falta fomentar el uso de otros instrumentos para evaluar el aprendizaje como los portafolios y proyectos que permiten al alumno regular su aprendizaje y ver los errores conforme van avanzando en clase.
Para analizar detalladamente las evidencias proporcionadas por los profesores, se clasificaron dichos productos en una lista de cotejo (Apéndice 1, instrumento 003) de
76
acuerdo al tipo de mensajes que los profesores utilizan para retroalimentar a sus alumnos en clase en forma, contenido, aspecto afectivo y emisión y comunicación de la
calificación obtenida; los resultados obtenidos se presentan en la siguiente tabla.
Tabla 4.
Evaluación de productos academicos
Aspecto Frecuencia
Profesor 1 Profesor 2 Profesor 3
Forma 17 3
Contenido 2
Afectivo 12 12 12
Emision de resultados 4 4 4
Al interpretar los datos, las evidencias obtenidas por la profesora 1 dan a conocer que es la unica que fomenta el mejoramiento de redacción, ortografia y caligrafia en la forma de los productos academicos de sus alumnos, se encontraron dos señales (Apéndice 3, producto 5) que permitian a los alumnos hacer cambios de acuerdo a los
requerimientos presentados al inicio de las actividades de la maestra y 12 productos contenian señales de aceptación o rechazo como caritas felices y tristes; dentro del aspecto afectivo sólo se encontro un mensaje largo para mejorar el rendimiento de un alumno de la profesora 1.
Por parte del profesor 2, solo se encontraron 12 símbolos que representaron la aceptación de los ejercicios en el libro (Apéndice 3, producto 6), por medio de firmas de actividad aceptada por ser el único material con el que trabaja en clase en conjunto con el examen bimestral que cuenta para su evaluación final; cabe señalar que aparte de dichas firmas, no se encontro otro mensaje dentro de las evidencias que demostrara
77
que dio el profesor 2 en la entrevista a la pregunta ¿Cómo transmites los resultados de los ejercicios, tareas, prácticas o exámenes rápidos a tus alumnos?
“Los resultados se entregan por escrito en sus exámenes y tabla de promedio bimestral” (Apéndice 3, entrevista 2)
En cambio el profesor 3 que si utiliza una libreta para ejercicios independiente del libro (Apéndice 3, productos 8, 9 y 10) retroalimentó a sus alumnos para mejorar la forma de redacción en tres de los 20 productos recuperados en la lista de cotejo y contesto refiriendose a la pregunta mencionada anteriormente sobre la comunicación de resultados a sus alumnos lo siguiente:
“De manera verbal se los comunico a mis alumnos cuando llevan los ejercicios al escritorio” (Apéndice 3, entrevista 3)
Para que el proceso de evaluación del aprendizaje sea democrático, todos los involucrados deberían participar en él, es decir, tomar en cuenta la participación de los alumnos a la hora de asignarles una calificación, por lo que se propone la práctica de la coevaluación y la autoevaluación para fomentar la responsabilidad y el desarrollo de habilidades de reflexión. Frente a éste tipo de prácticas, el 80% de los profesores encuestados afirmó promover la autoevaluación de los alumnos en clase y sólo el 30% promueve la evaluación entre unos y otros en su práctica educativa; cabe señalar que ninguno de los 3 profesores de Inglés entrevistados dentro del estudio 1 comentaron utilizar la coevaluación o autoevaluación en clase.
78
4.2 Estudio 2. Perspectiva de los Estudiantes Sobre la Evaluación Formativa