Intuitive logics models

Una parte esencial del proceso de aprendizaje es la evaluación, no sólo al final del proceso para garantizar que éste ha sido correcto y se han alcanzado los objetivos de aprendizaje, sino también durante el propio proceso para que el alumno tenga información sobre en qué punto se encuentra, en qué objetivos está progresando y cuál es el nivel alcanzado en cada uno de ellos. Con esta información, el alumno puede revisar sus estrategias de aprendizaje reforzando las partes más débiles. Las dos utilidades de la evaluación que acabamos de describir reflejan los dos tipos de evaluación existentes: la evaluación sumativa y la evaluación formativa. La evaluación sumativa tiene lugar al final del proceso de aprendizaje y sirve para determinar el nivel de conocimiento del alumno, mientras que la evaluación formativa es parte del proceso de aprendizaje y tiene lugar durante el propio proceso. Este tipo de evaluación ofrece al alumno información sobre cuáles son sus conocimientos, cuáles son sus debilidades y qué partes debe reforzar. El objetivo de la evaluación formativa no es calificar, sino informar al alumno del grado de consecución de los objetivos de aprendizaje, por lo que este tipo de evaluación debe aparecer de forma continuada a lo largo del proceso de aprendizaje.

Según Sadler [92], la retroalimentación es esencial en la evaluación formativa, ya que ofrece a los alumnos información sobre la calidad de la ejecución del conjunto de tareas que van llevando a cabo para adquirir un conocimiento. Por otra parte, el lenguaje natural es la mejor vía de comunicación cuando nos dirigimos a seres humanos (y por tanto a los estudiantes), ya que es lo que mejor y más rápidamente comprenden. Basándonos en esto, consideramos que la evaluación formativa debe utilizar, no solo datos numéricos, sino principalmente la estructura de un informe en lenguaje natural. Con respecto a la calificación numérica, Sadler, en [92], es aún más radical, afirmando que ésta puede incluso ser contraproducente desde el punto de vista formativo.

Capítulo 4. Preliminares

En [12], Black y Wiliam afirman que la evaluación formativa puede ser una gran herramienta si ofrece al alumno una descripción clara y precisa, tanto de las partes en las que tiene errores, como de la manera de corregir dichos errores. Por tanto, para realizar este tipo de evaluación no basta con presentar un listado de respuestas correctas e incorrectas, como el que aparece, por ejemplo, en la revisión de los cuestionarios de Moodle corregidos, sino que debe relacionar dichas correcciones con los objetivos de aprendizaje que el profesor marca como metas y espera que el alumno alcance para dar como superado el proceso de aprendizaje. En [39], el estudio de Gikandi et al. sugiere que la evaluación formativa es una estrategia fundamental en el enfoque de los procesos de enseñanza aprendizaje que necesita, por una parte ser investigada en profundidad, y por otra conseguir que su utilización se extienda de forma general. Además, su implementación se debe hacer de forma que mejore la auto regulación de los alumnos en lo relativo a los tiempos y métodos de aprendizaje.

Parece que, en general, los autores se muestran de acuerdo en recomendar la utilización de frecuentes y detalladas evaluaciones formativas a lo largo del aprendizaje de un cierto tema o asignatura. El problema práctico es ¿cómo puede un profesor llevar a cabo esta tarea cuando tiene que ocuparse de un elevado número de alumnos, repartidos, además, en varias asignaturas? La tendencia que se está generalizando en estos casos es el uso intensivo de herramientas e-learning que proporcionen ayuda al alumno en su aprendizaje, bien mediante la práctica tutorizada por la herramienta (como es el caso del entorno GRAPHs descrito en el capítulo 3), bien mediante ejercicios de autoevaluación con corrección automática como los cuestionarios de Moodle. El problema es que, en ambos casos, la evaluación que se lleva a cabo no es una evaluación formativa, ya que no detalla el grado de consecución de los objetivos de aprendizaje, sino que aparece como un listado de aciertos y errores cometidos por el alumno. Si bien es cierto que los cuestionarios de Moodle permiten una retroalimentación muy detallada en función de cada una de las respuestas seleccionadas por el alumno, esto tampoco se puede considerar evaluación formativa en sentido estricto, ya que presenta una colección de informaciones locales, cada una de ellas restringida a una respuesta concreta dentro de una pregunta, y carece de una visión global de los resultados del cuestionario completo en función del grado de consecución de cada uno de los objetivos de aprendizaje.

A pesar de lo dicho anteriormente, no cabe duda de que la utilización de estas herramientas representa una importante ayuda para el alumno cuando el profesor no puede dedicarle personalmente mucha atención. La pregunta ahora es la siguiente: ¿habría alguna posibilidad de que el profesor procesara la información recopilada por las herramientas de aprendizaje para darle el carácter de evaluación formativa? Si el procesamiento de esta información es manual, la respuesta es clara: no es posible. Por muy hábil y experimentado que sea un profesor, el tratamiento de la ingente cantidad de datos generada por las herramientas e-learning, junto con la creación de informes detallados sobre las debilidades

Segunda parte. Evaluación formativa automática basada en los criterios del profesor

- 50 -

y fortalezas de cada alumno en cada ejercicio, necesita una enorme cantidad de tiempo de la que el profesor no dispone. Por tanto, si se quiere llevar a cabo este procesamiento, es necesario plantearse su automatización. Por otra parte, la efectividad de la evaluación formativa aumenta considerablemente con la rapidez en la respuesta de retroalimentación, lo que hace que, incluso en el caso de que el número de alumnos no sea demasiado elevado, la automatización del proceso sea algo a tener en cuenta.

La clave ahora es que el sistema que automatice este proceso sea capaz de implementar criterios similares a los que aplica un profesor experto y, además, sea capaz de detallar la evaluación con respecto al nivel de logro de cada uno de los objetivos de aprendizaje formulados por el profesor. En resumen, lo que necesitamos para poder llevar a cabo la automatización es un sistema experto que emule los procesos mentales de un profesor cuando evalúa.

Teniendo en cuenta lo dicho hasta ahora, para poder afrontar la evaluación formativa, nos enfrentamos al reto de construir un modelo que ofrezca un marco para reproducir, en general, el razonamiento de un profesor en la evaluación del aprendizaje. Los sistemas expertos basados en este modelo deberán ofrecer a los alumnos informes detallados sobre los logros obtenidos en cada momento del proceso de aprendizaje. Además, las calificaciones generadas por estos sistemas no deberán ser el resultado directo del recuento, como mucho ponderado, de las respuestas correctas e incorrectas, sino que deberán obtenerse mediante la agregación de resultados parciales teniendo en cuenta el tipo y la gravedad de los errores y dando lugar a una calificación que concuerde con los criterios del profesor. La solución que hemos dado a este reto, basada en técnicas de lógica borrosa se desarrollará en los capítulos 6, 7 y 8 de esta memoria.