La demarcación del enfoque de la evaluación aquí adoptado requiere, en primer lugar, una aclaración terminológica. Tomamos como referencia a Bachman y Palmer (2010: 19), en relación con dos conceptos: la recogida de información, para lo que la lengua inglesa cuenta con el término assessment ―que no encuentra traducción precisa en
español― y la evaluación propiamente dicha. El assessment consiste en la recogida
sistemática de datos acerca de la habilidad de los candidatos para utilizar la lengua. La evaluación se refiere a un posible uso de los resultados del assessment, que implica
16
realizar juicios de valor y una toma de decisiones derivada de la información recabada. La recogida de la información que avale y justifique las mencionadas decisiones constituye en principal objetivo de la evaluación.
El assessment, o recogida de datos, tiene dos características básicas: la sistematicidad y la fundamentación (Bachman y Palmer, 2010: 20). Respecto a la primera, es necesario que emplee un método bien definido, lo cual significa que ese método puede ser empleado con los mismos fines por cualquier persona, en cualquier contexto. En cuanto a la fundamentación, es preciso que la recogida de los datos esté basada en una teoría, ampliamente aceptada por la comunidad científica, por estar basada en investigaciones previas, que incluyen el análisis de necesidades de las poblaciones candidatas. Las decisiones que se derivan del uso de los datos recogidos, tras la valoración y su interpretación —en forma de datos cuantitativos (notas o calificaciones) o cualitativos (informes de evaluación)— tienen consecuencias para los candidatos, de mayor alcance, en los exámenes de alto perfil o de alcance inferior, en los exámenes de perfil bajo. Las consecuencias de los exámenes consisten en que sus resultados se interpreten en relación con los objetivos con los que el examen se realiza, es decir, en el caso de los exámenes de alto perfil, por ejemplo, el acceso a programas de estudios, la promoción profesional, la adquisición de un estatuto de ciudadanía, etc.
El enfoque de Bachman y Palmer (2010) reclama la necesidad de plantearse la forma en que estas consecuencias pueden ser lo más beneficiosas posible para los candidatos. Un modo de hacerlo es concebir la evaluación como la formulación de inferencias sobre la habilidad lingüística comunicativa de los candidatos, a partir de su actuación lingüística muestreada en un examen. Para Bachman (1990), Bachman y Palmer (1996, 2010), la recogida de datos (assessment) sobre las necesidades de los usuarios (candidatos, padres, profesores…) delimitaría los ámbitos de uso de la lengua y permitiría describir lo siguiente: las situaciones meta de uso y el modo en que se emplea la lengua en estas situaciones. El análisis de la actuación lingüística de los candidatos en situaciones similares, simuladas en un examen, permitiría predecir el comportamiento lingüístico del candidato en las situaciones de la «vida real».
Para McNamara (2000: 3) la evaluación consiste asimismo en la formulación de inferencias acerca de la habilidad lingüística de los candidatos. Este autor insiste en que la única posibilidad de hacerlo es mediante la evaluación directa (performance
17
evaluation). Nos situamos así en el paradigma de la evaluación comunicativa de las lenguas, a partir de la actuación, no exento de problemas y objeto de polémicas. Este enfoque —que se opone a la corriente que lo precede en se que evalúan unidades discretas fácilmente cuantificables— requiere la descripción precisa del constructo de la evaluación. La aportación del modelo multidimensional de habilidad lingüística comunicativa de Bachman (1990), al que nos referiremos detalladamente más abajo, resuelve en parte el problema de aislar el objeto de la medición al permitir identificar lo que es susceptible de ser medido y de las variables que pueden interferir en el proceso de medición.
La adopción de este enfoque se justifica aquí por la importancia que tiene en los contextos específicos de uso de la lengua la predicción de la capacidad de los usuarios para desenvolverse en las situaciones que se inscriben en estos contextos. McNamara (2000: 6) apunta que, incluso cuando en el examen se simula la vida real, las producciones de los candidatos no son valoradas en sí mismas, sino como indicadores del modo en el que los candidatos pueden comportarse en situaciones similares cuando emplean la lengua en situaciones reales de comunicación.
En este paradigma, por lo tanto, se hace imprescindible determinar el criterio del examen. Entiende McNamara (1996, 2000) la noción de criterio como la descripción del área de conocimiento o destreza relevante para el diseño de los exámenes. Se refiere a la actuación de los candidatos en las situaciones de uso de la lengua, que representa gráficamente en el esquema que reproducimos más abajo.
Examen
Caracterización de los rasgos esenciales del criterio que influyen en el diseño
del examen Criterio Una actuación o series de actuaciones que simulan o representan muestras del criterio Una serie de actuaciones que son determinantes para el examen; el objetivo
(observado) inferencias sobre (inobservable)
18
Volviendo al razonamiento anterior, el interés del examinador no reside en la muestra de actuación en sí misma, sino en lo que la actuación revela acerca de la capacidad del candidato para desenvolverse con la lengua en las situaciones a las que el criterio se refiere. Por consiguiente, la evaluación se centrará en la comparación de las actuaciones del candidato con una o varias descripciones de lo que se establece como mínimamente aceptable en un determinado nivel o grado de dominio, es decir, el criterio.
Los datos que se obtengan de la actuación del los candidatos en las pruebas del examen tienen que servir para predecir las características de la actuación en las situaciones reales de uso de la lengua. La utilidad de los exámenes será para Bachman y Palmer (1996: 62) el fundamento de este tipo de evaluación. El requisito de utilidad se alcanza con la convergencia de los siguientes: validez del constructo, fiabilidad, viabilidad, autenticidad, impacto e interactividad.
El enfoque de la evaluación fundamentado en la actuación encuentra su manifestación más extrema con la evaluación basada en tareas. El constructo, objeto de medición, en este caso, es la tarea en sí misma y el objeto de medición se centra en el grado en el candidato logra con éxito su realización y, por lo tanto, la consecución de sus objetivos, fundamentados en el criterio. Tal y como señala McNamara (1996), esta
versión fuerte del enfoque fundamentado en la actuación no emplea la tarea como medio para extraer muestras de actuación, sino que la consecución de la tarea constituye el fin en sí mismo y el objeto de la evaluación.
La evaluación basada en la actuación ha generado desde sus orígenes fuertes controversias entre la comunidad de evaluadores. El paradigma comunicativo de la evaluación tiene que hacer frente a los logros que se habían alcanzado en la etapa estructuralista: la estandarización y la calificación, dos amenazas a la fiabilidad, determinada por la subjetividad en las calificaciones. A esto se añaden las dificultades derivadas de la viabilidad. La tipología de las tareas de la evaluación se reduce considerablemente y encarece la administración de exámenes a gran escala.
La versión fuerte de la evaluación basada en la actuación precisa el desarrollo de escalas de calificación y de medidas para preservar la fiabilidad como la doble calificación (Bachman, y Davidson, 1990, citados en Fulcher, 2000: 486). Por lo demás, la evaluación de las actividades receptivas requiere la integración de tareas,
19
por ejemplo, de expresión oral, a partir de la lectura o la escucha de un texto, en especial, en el ámbito de los exámenes con fines específicos. Esta cuestión reporta numerosas dificultades para la calificación y la argumentación de la validez de los resultados, aspectos que precisan profunda investigación (Fulcher, 2000: 487).
La evaluación realizada a partir de tareas en su versión fuerte se enfrenta a dos grandes problemas que afectan especialmente a esta modalidad: la generalización y la gradación de la dificultad de las tareas (Ellis, 2003: 286). Por lo demás, si el método que se emplea para recoger los datos forma parte del constructo de la evaluación, es necesario plantearse cómo este condiciona o determina la actuación lingüística de los candidatos y en qué grado se está midiendo la capacidad de emplear la lengua. Volveremos sobre estas cuestiones más abajo, en relación con la evaluación de la lengua en contextos específicos.
Lo que en este punto nos ocupa es la relación que se establece entre la información que se recoge de la actuación de los candidatos y su interpretación y valoración. Una evaluación fundamentada en la actuación debería poder demostrar que los resultados, en forma de notas o informes, constituyen realmente un reflejo de la capacidad del usuario para desenvolverse con éxito mediante el uso de la lengua en las situaciones de uso de la lengua. Esta demostración precisa el desarrollo de un argumento que no solo guía el procedimiento de la recogida de los datos, sino que justifica el uso de los resultados, apoyándose en evidencias. Es decir, los resultados de los exámenes tienen que ser válidos para los usos que se pretenden hacer de la evaluación. Nos extendemos a continuación sobre el concepto de validez, aspecto central en el desarrollo de este trabajo.