Socially Responsive Design – Case Studies

Consideraciones generales

Nuestro interés en llevar a cabo esta revisión obedece, como se ha adelantado, a aprovechar las reflexiones llevadas a cabo en este ámbito respecto la naturaleza, el concepto, de LpFE y ENE. En la literatura de evaluación de LpFE y LpFP (fines profesionales u ocupacionales) este aspecto de la delimitación del constructo queda enmarcado dentro de la preocupación por establecer el llamado criterio, dominio y

68

validez del examen y, asimismo, por una discusión constante alrededor de tres cuestiones esenciales: la discusión acerca de la “inseparabilidad” o no de los factores de naturaleza lingüística y no lingüística que forman parte del constructo, la discusión alrededor de la “especificidad” o distinguibilidad entre LpFE y lenguas con propósitos generales y la discusión acerca de la necesidad y posibilidad de asegurarse de que el test resulta apropiado para crear las condiciones adecuadas (“autenticidad”) para que del resultado de la actuación del candidato se puedan extraer las conclusiones pertinentes.

En el campo de la evaluación de lenguas con fines profesionales, la actuación de los candidatos en la realización de tareas (task-based performance) como medio para establecer una predicción en relación con su capacidad para actuar en esas mismas tareas o situaciones o en otras asimilables (task-oriented proficiency) fue, como recoge McNamara (1996), defendida ya por Jones (1979) a finales de los años 70, cuando propuso importar su aplicación a este ámbito desde el de selección de personal. La aparición y triunfo en esa misma década del movimiento comunicativo en la enseñanza de lenguas y el subsiguiente desarrollo de teorías sobre la competencia comunicativa favoreció su implantación pues, además de ser coherente con las nuevas prácticas metodológicas, pudo fundamentarse en su base teórica (McNamara, 1996: 1).

Una revisión de sus antecedentes y desarrollo histórico puede encontrase en los trabajos de Spolski (1995) o del mismo McNamara (1996).

La evaluación de la competencia o habilidad oral en una L2 basada en el desempeño demostrado en la realización de tareas (task-based language performance assessment o performance-based language assessment) es un método ampliamente utilizado en la actualidad, sobre todo en el campo de lenguas para fines específicos o profesionales. Se trata de comprobar la capacidad del alumno para realizar efectivamente, con éxito, tareas similares a las que deberá realizar fuera del contexto de aprendizaje o para mostrar durante su actuación habilidades subyacentes indicativas de una competencia comunicativa (habitualmente lingüísticas). En el primer caso, nos encontramos ante lo que Brown (2004) denomina task-based tests; en el segundo, ante lo que llama performance testing (2004: 91-92).

El primer planteamiento nos sitúa dentro del enfoque que McNamara (1996) etiqueta como “enfoque fuerte” en la evaluación basada en la actuación a partir de tareas; en el segundo, en lo que califica de enfoque “débil” (1996: 43-45). Se trata en todo caso de extremos de un continuo de posibilidades. En el enfoque fuerte, la atención está puesta en la realización con éxito de la tarea, y la lengua puede estar considerada como un

69

medio necesario pero no suficiente para llevar a cabo la tarea; McNamara llega a decir de este tipo de tests que, en su forma más pura, exigen condiciones de realización tan idénticas a las de la situación real que la simulación se hace imposible; afirma, además, que tales tests no pueden ser considerados exámenes de lengua. En el enfoque débil, llevar a cabo la tarea con éxito no es el objetivo en sí mismo: el objetivo es elicitar muestras de lengua indicativas de una competencia (en principio, lingüística) subyacente; adicionalmente, puede prestarse atención también a aspectos de la actuación no esencialmente lingüísticos, pero que suelen ser interpretados habitualmente de todos modos en este sentido. En estos tests propios del enfoque débil, además, la tarea que se propone puede ser tan realista en apariencia como la de los tests del enfoque fuerte (sin serlo ni pretender serlo), o estar concebida con un planteamiento más artificial y alejado de la realidad (como, por ejemplo, disponer que un candidato discuta con un examinador a partir de un tema sugerido por una imagen).

Si bien la evaluación basada en el desempeño en la realización de tareas es un método popular y ampliamente utilizado, presenta asimismo toda una serie de problemas conceptuales y de aplicabilidad práctica. Ellis (2003: 304) incluye los siguientes: la representatividad, la fiabilidad, la generalizabilidad, la inseparatibilidad y la autenticidad. Bachman (2002), por su parte, menciona tres: qué es lo que queremos evaluar, cómo debemos hacerlo y qué tipo de argumentos y evidencias debemos suministrar para justificar las inferencias que realizamos y las decisiones que tomamos a partir de los resultados de la evaluación. En relación con la investigación en el campo de la evaluación de L2, Sotynoff (2012) identifica cuatro amplias áreas de interés: conceptualizaciones del constructo de L2, cuestiones teóricas y prácticas de validación, la aplicación de tecnología, y consecuencias de la evaluación.

Nosotros nos centraremos fundamentalmente en aquello que estos dos últimos autores, Bachman y Stoynoff, mencionan en primer lugar: la determinación y conceptualización del constructo. Así, procuraremos determinar qué debemos o queremos evaluar exactamente y una serie de cuestiones prácticas relacionadas con la respuesta que demos a esa pregunta.

Para Stoynof (2002: 235), tener bien establecido qué pretendemos evaluar (él lo llama directamente habilidad comunicativa en una L2 -communicative L2 ability-) supone un buen punto de partida para definirlo como constructo, diseñar tareas de evaluación apropiadas y justificar nuestras inferencias basadas en los resultados. Lo primero que debemos determinar es si nos encontramos ante una situación en que nuestro objeto de interés se centra, o no, exclusivamente en la lengua. En cualquiera de los dos casos, sin embargo, se da un amplio consenso en relación a la naturaleza compleja de lo que

70

queremos evaluar (llamémoslo habilidad comunicativa, competencia comunicativa o de cualquier otra forma), pues se entiende que consiste de diversos subcomponentes fuertemente interrelacionados y que interactúan en una situación particular de uso (Purpura, 2008); aunque no está claro cuáles son exactamente, cuántos hay, cómo se relacionan unos con otros o cómo influyen en la actuación del alumno (Stoynoff, 2002). Stoynoff menciona algunos: conocimientos, habilidades y procesos cognitivos en que los alumnos se implican tanto en situaciones de uso de la lengua como en situaciones de evaluación.

Es innegable que junto con los aspectos lingüísticos hay otros de diferente naturaleza que influyen en la actuación del candidato evaluado (véase, por ejemplo, McNamara 1996). Elder y Brown (1997) observan que mientras que algunos toman la postura de que los factores no lingüísticos (como el estilo personal) forman parte de la competencia comunicativa, otros (como Messick, 1992) los ven ajenos al campo de evaluación de lenguas. Por otro lado, al tratarse de situaciones de evaluación, también debe considerarse la posibilidad de que las estrategias de examen de unos u otros candidatos tengan un impacto en el resultado (Cohen, 2007).

Como apuntan Elder y Brown (1997), cualquier intento de simular en una evaluación las exigencias de contextos profesionales nos lleva inevitablemente a plantearnos la influencia del concepto de competencia estratégica de Bachman (1990). Este autor conceptualizó la competencia estratégica como la capacidad que tienen los usuarios de una lengua para relacionar su conocimiento del lenguaje con sus estructuras de conocimiento y con las características del contexto en que la comunicación tiene lugar, lo que permite a la persona hacer el uso más efectivo de las habilidades de que dispone con el objetivo de llevar a cabo una tarea determinada (1990: 106-107).

Así, junto al problema inicial de decidir si debemos evaluar solo aspectos “de lengua” o también otros de otra naturaleza pero de cierta visibilidad (como el “estilo comunicativo” del alumno), aparece ahora el de decidir si la competencia estratégica de ese alumno es algo que también hay que tener en cuenta. ¿Es realmente tan importante esta competencia?

Para Douglas (2000), el concepto de competencia estratégica es esencial en su concepto de qué son las lenguas para fines específicos. El concepto fundamental que encierran estas es el que denomina “specific purpose language ability”. Ésta resulta de la interacción entre la habilidad de uso de la lengua y el conocimiento especializado de una persona, interacción que tiene lugar por medio de la competencia estratégica del hablante (2000: 40). Para Douglas, esta competencia incluye elementos como la

71

capacidad de evaluar la situación comunicativa o de examen para determinar la respuesta discursiva más adecuada o el objetivo que interesa conseguir, la capacidad de planificar y establecer qué elementos del conocimiento especializado y de la lengua son necesarios para alcanzar el objetivo establecido y, por último, la capacidad de control y organización del conocimiento sobre la lengua para llevar adelante el plan.

Una cuestión relacionada con la determinación de lo que queremos evaluar es la de asegurarnos de que las inferencias que realizamos en relación con lo observado en la actuación del examen están alineadas efectivamente con lo que entendemos que debemos evaluar. Se trata de la validez de la evaluación. Contrariamente a la creencia extendida (Sireci, 2009; citado en Chapelle, 2012), no es una cualidad del examen, sino una característica de las inferencias que los evaluadores extraen de los resultados de la evaluación (Cronbach y Meehl, 1955). ¿Qué pruebas, qué constancia tenemos, de que los resultados y puntuaciones de un examen y las inferencias que extraemos a partir de ellos sobre aquello que queremos evaluar son adecuados y apropiados (Messick, 1989, 1996)? Para una relación de los diferentes enfoques que han ido surgiendo en relación con este tema y de los pasos convenientes para intentar establecer si se cumple este requisito puede consultarse a Chapelle (2012) y a Kane (2012).

No son estos los únicos problemas, pues en evaluación de LpFE se dan otros al margen de estos. Muchos de ellos son comunes a la evaluación de L2/ELE en general.

Uno de ellos es la cuestión de evaluar a los candidatos cuando estos llevan a cabo la tarea del examen en parejas o en grupo: ¿Podemos evaluar individualmente a los alumnos en la realización de tareas en las que hay varios simultáneamente implicados? En un grupo, la actuación es construida conjuntamente por todos los participantes y se distribuye entre todos ellos. Los diálogos e interacciones dan lugar a procesos cognitivos y estratégicos que, a su vez, influyen en la construcción de la actuación de cada examinando (Swain, 2001: 275). Esto es así tanto en el caso de grupos como de parejas (de examinandos o de examinador-examinando). Estos, en tanto co-participantes, contribuyen ambos a la interacción, lo que hace que sus actuaciones estén inextricablemente unidas a su alto grado de variabilidad (Brooks, 2009).

Entre los autores que han abordado este tema podemos mencionar a McNamara (1997), Chalhoub-Deville (2003), Luoma (2004), Weir (2005) o Deville y Chalhoub- Deville (2006). Con todo, queremos hacer notar que en los planteamientos que hemos revisado en el ámbito de evaluación de LpFE, el escenario en que la tarea del examen se lleva a cabo en grupo no es objeto de las consideraciones de los autores. Tanto es así que McNamara (1997) llama la atención sobre esta circunstancia.

72

Otro problema importante es el que genera tener expectativas definidas respecto a lo que deben hacer los candidatos y que estos realicen la tarea por caminos inesperados y den lugar, de este modo a que los examinadores encuentren sus expectativas defraudadas en este sentido. ¿Podemos evaluar actuaciones que se apartan de lo que esperábamos encontrar? ¿Podemos o debemos tener expectativas concretas en relación con el desarrollo de la tarea o con características del mismo?

Los diseñadores y examinadores suelen tener expectativas en relación con la dirección que la realización de una tarea puede tomar y el tipo de interacción a que dará lugar (Douglas, 2000: 62-63). Sin embargo, la manera en que una tarea es llevada a cabo (tanto en situación de examen como fuera de ella) puede apartarse bastante de lo que podía haberse planeado que pasara pues los alumnos se hacen dueños de ella y de las direcciones en que ésta puede discurrir (Breen, 1989), hecho que lleva a Breen a distinguir entre tarea como plan de trabajo y tarea como proceso efectivo. Coughlan y Duff (1994) insisten en este sentido; para ellos, las tareas son transformadas por cada alumno que las lleva a cabo, dando lugar de esta forma a actividades únicas en cada ocasión. Ohta (2000, 2001), por ejemplo, encuentra evidencias de que los alumnos fuerzan por iniciativa propia sus capacidades gramaticales creando su propia actividad de aprendizaje de lengua.

Para Wang (1996), los alumnos no suelen limitarse a adherirse pasivamente a las exigencias impuestas externamente por la tarea: sus objetivos, deseos y motivaciones suelen tener un papel importante en el sentido de la orientación que adoptan en cada momento en relación con el desarrollo de la tarea. Appel y Lantolf (1994) definen “orientación” como el modo en que las personas ven una tarea, establecen objetivos en relación con ella y planifican su realización. La orientación influye en las estrategias de cada persona, por lo que cada una puede potencialmente adoptar estrategias diferentes de las adoptadas por las demás y llevar a cabo la tarea en función de ellas. Incluso cuando a todas se les ha dado las mismas instrucciones.

Donato (2000) ve las diferentes orientaciones de los alumnos como interacciones emergentes basadas en los múltiples objetivos que estos pueden establecer para ellos mismos durante la tarea; de este modo, hace notar Donato, las tareas se construyen internamente a través de las interacciones entre los aprendientes, interacciones que, a su vez, dependen del modo en que los aprendientes se orientan hacia las tareas (Donato, 1994, 2000); todo ello, en coincidencia con Breen (1989), le lleva a distinguir entre tareas como blueprint y como comportamiento (Donato, 1994); es decir, entre lo que el docente o el examinador tienen previsto o esperan que suceda y lo que finalmente se desarrolla ante ellos. Dentro del ámbito de la evaluación de LpFE, como veremos,

73

los autores preocupados por esta cuestión se ocupan de ella a partir de la conceptualización del concepto “autenticidad”.

Un tercer problema está relacionado con características del examinador. ¿Podemos estar seguros de que el resultado de una evaluación sería el mismo si diferentes examinadores evaluaran la misma actuación? ¿Un examinador puede favorecer o perjudicar inconscientemente a un examinando? ¿Cómo podemos controlarlo? Diferentes estudios han intentado establecer hasta qué punto las características o actitudes de un examinador influyen en el resultado de la evaluación, pero no hemos dado todavía, como ya observaron Upshur y Turner (1999) en su momento, una explicación bien desarrollada sobre cómo interactúan entre ellas las características del discurso producido, las del examinador y las del examinando a la hora de generar las puntuaciones o evaluaciones de una prueba. McNamara (1997) y Alderson y Banarjee (2002) son algunos de los autores que se han ocupado de esta cuestión.

Vinculado con el problema anterior figura el relacionado con el de determinar qué tipo de examinador es necesario, sobre todo en LpFE. ¿Quién es el mejor juez de una actuación en un examen oral de L2 para fines específicos? ¿Un profesor de L2 o alguien familiarizado con las habilidades de ese campo y con las especificidades de la comunicación o intercambios comunicativos en el mismo? Autores como, por ejemplo, Elder y Brown (1997) y, muy especialmente, Jacoby y McNamara (1999) han realizado importantes contribuciones en este tema.

Más allá de consideraciones específicas al ámbito de LpFE, la dificultad de la tarea en función de elementos no directamente relacionados con el ámbito de LpFE puede suponer también un problema. ¿Podemos estar seguros de que determinados aspectos de la tarea o de la prueba no tienen efectos favorables o desfavorables sobre la actuación de los alumnos? Algunos autores sostienen que determinadas características de la producción lingüística de los alumnos (fundamentalmente, la corrección, la complejidad y la fluidez) varían en función de determinados aspectos del diseño o implementación de la tarea (Foster y Skehan, 1996; Norris et al., 1998; Wigglesworth, 1997; Skehan, 1998a, 1998b; Norris et al., 2000; Slatyer et al., 2000; Robinson, 2001). Autores como Elder, Iwashita y McNamara (2002), por ejemplo, se han ocupado del tema en profundidad.

En evaluación de LpFE, los autores prestan especial atención a los siguientes objetivos:

74

a) Distinguir lo que es “específico” en la lengua de lo que es más general: la cuestión de la “distinguibilidad” o de la “especificidad”.

b) Atender al impacto de factores no lingüísticos relacionados con conocimientos de especialidad en la actuación del candidato: la cuestión de la “inseparabilidad” de factores lingüísticos y no lingüísticos.

c) Procurar que la tarea en que consiste el examen y la actuación a que da lugar puedan ser consideradas suficientemente representativas de las que deben realizarse en el contexto específico, tarea o situación meta (la cuestión de la “representatividad” y de la “autenticidad situacional”) y de los procesos cognitivos que el candidato deba llevar a cabo (la cuestión de la “autenticidad interaccional”). d) Preocuparse por la posibilidad real de poder recoger de la actuación datos

apropiados para la realización de inferencias adecuadas en relación con la capacidad de los candidatos.

No son problemas menores. Para autores como Davis (1995, 2001), no es posible establecer una base teórica para la evaluación de LpFE (definición del constructo, establecimiento de criterios de evaluación…). Davies mantiene que ha habido claros fracasos a la hora de intentar establecerla y el enfoque más extendido en el campo ha sido el acercamiento a la evaluación desde una perspectiva práctica, de utilidad (2001: 144).

Al tiempo que Davies escribía su artículo de 2001, sin embargo, Douglas publicó Assessing languages for specific purposes (2000), obra que incluye lo que O’Sullivan (2006) consideró más tarde “el único intento serio hasta la fecha de construir un argumento teórico para la evaluación de lenguas para fines específicos” (2006: 3). Doce años después (O’Sullivan, 2012), sigue considerándola la contribución más importante en este sentido (2012: 72).

Nos proponemos desarrollar aquí el planteamiento de Douglas con cierta extensión a fin de destacar algunos de sus conceptos más esenciales y para, de este modo, estar en mejor posición para poder establecer similitudes y diferencias esclarecedoras entre estos y los que lleguemos a proponer nosotros. Haremos lo propio con las aportaciones que sobre este planteamiento han realizado Elder (2001) y O’Sullivan (2006, 2012). Entendemos que dejar constancia de sus líneas argumentales y no solo de sus conclusiones contribuirá a enmarcar mejor las nuestras.

75

El planteamiento de Douglas y las aportaciones de Elder y O’Sullivan

Para Douglas, un examen de lengua con propósito específico (“specific purpose language test”) parte de un conocimiento de la situación de uso real de la lengua para la que se quiere preparar al alumno. Douglas (2000: 47-48), basándose en el concepto de “target language use domain” de Bachman y Palmer (1996: 44), denomina “(specific purpose) target language use situation” (TLUS) a esas situaciones que deben ser objeto del análisis y tenidas en cuenta en el diseño del examen.

“I have defined a specific purpose language test as one in which test content and methods are derived from an analysis of a specific purpose target language use situation, so that test takers and content are authentically representative of tasks in the target situation, allowing for an interaction between the test taker’s language ability and specific purpose content knowledge, on the one hand, and the test tasks on the other. Such a test, I suggested, allows us to make inferences about a test taker’s capacity to use language in the specific purpose domain.” (Douglas, 2000: 19)

Esa interacción entre la habilidad de uso de la lengua y el conocimiento de contenido específico se da a través de una “competencia estratégica”. El resultado es lo que Douglas denomina “specific purpose language ability”.

“Specific purpose language ability results from the interaction between specific purpose background knowledge and language ability, by means of strategic competence engaged by specific purpose input in the form of test method characteristics.” (Douglas, 2000: 40)

En el planteamiento de Douglas, fundamentado en el de Bachman y Palmer (1996) pero con algunas modificaciones, habilidad de lengua (“language ability”) incluye un componente de competencia estratégica (”strategic competence”) y otro de conocimiento de lengua (“language knowledge”). Este último consiste en conocimiento gramatical (vocabulario, morfología, sintaxis y fonología), textual (organización retórica