Estos IOM se construyen para medir el aprendizaje de conocimientos, las competencias y las habilidades intelectuales y cognitivas. Todo este esfuerzo esta mediado por factores económico-políticos y teorías científicas de la psicología, del aprendizaje y la estadística. Efectivamente, se presentan nuevos formatos o Tipos de Ítems, interesantes unos y cuestionables otros. Los ítems y evaluaciones que está realizando el Instituto Colombiano para el Fomento de la Educación Superior, el Ministerio de Educación Nacional, las Secretarias de Educación , Municipales y Departamentales para todas las instituciones públicas y privadas del país se enmarcan dentro de las nuevas políticas de acreditación, metas de calidad, competitividad y autoevaluación institucional.
La estructura contiene un enunciado o pie de ítems o tallo, una pregunta que puede hacer parte del enunciado y campo de respuesta, cuatro o cinco alternativas, de las cuales una es la ―clave‖ o respuesta correcta y las restantes son incorrectas o inexactas, algunos autores le denominan ―distractores.
Estructura del ítem y Características del formato
Contexto: Es la información que sitúa conceptualmente al evaluado. Provee elementos necesarios y suficientes para focalizar la tarea de evaluación. En un sentido amplio, el contexto abarca todo el saber previo del evaluado sobre el objeto de evaluación; no obstante, en el proceso de
elaboración de un ítem, es usual que el evaluador encuentre pertinente
C
L
A
111
y necesario presentar un texto u otro tipo de información que contribuya a precisar las condiciones del problema, las variables que es prudente considerar, o para ubicar en el tiempo y en el espacio la problemática, etc. El contexto puede ser un texto –por ejemplo, en ítems de comprensión de lectura-, una gráfica, un dibujo, una tabla o cualquier otra forma de presentación de la información a partir de la cual se deriva el enunciado. La selección o elaboración del contexto es una labor exigente en cuanto su propósito es justamente contextualizar y no confundir al evaluado; debe estar articulado con la tarea de evaluación y no debe convertirse en factor que disminuya del tiempo disponible para responder; es decir, su extensión y complejidad deben considerarse, también, a la luz de las condiciones logísticas de la evaluación.
Enunciado: el enunciado es la premisa o premisas donde se expone el tema, las habilidades, las competencias y los contenidos que se quieren interrogar. El
enunciado también es llamado Tallo o pie de ítem. El enunciado puede estar
compuesto de varias oraciones (dos ó mas), pero puede ser una sola terminada o por terminar con la opción. La forma en que se relacionan las oraciones del enunciado determina su metodología y tipos específicos de razonamiento, esto es importante por la lógica que enuncia cada ítem.
Es el planteamiento, propiamente dicho, de la problemática que se espera sea resuelta por el evaluado. En el enunciado se hace explícita la tarea de evaluación y, por tanto, dirige el esfuerzo del evaluado para generar o seleccionar una respuesta, por lo cual es fundamental que esté escrito en lenguaje claro y preciso.
Tradicionalmente los enunciados de ítems de selección múltiple se plantean en forma de pregunta, o como una proposición. En el primer caso, las opciones se redactan como respuestas a la pregunta; en el segundo caso, el enunciado constituye la primera parte de una proposición y cada una de las opciones debe completar coherentemente el enunciado.
La utilización de una u otra forma de plantear el enunciado es decisión del evaluador y generalmente tiene que ver con la facilidad para redactar, tanto el enunciado como las opciones. Conviene tener en cuenta, eso sí, que la redacción en forma de pregunta resulta mucho más clara para poblaciones infantiles; es decir, los niños parecen responder mejor a la tarea de evaluación cuando el enunciado es una pregunta que cuando es una proposición incompleta. Cualquiera sea la forma en que se redacte el enunciado, es importante verificar su claridad, precisión y articulación con las opciones de respuesta.
Generalmente en los Ítems existen oraciones donde la opción o alternativa debe completase con una oración de la opción. Es decir, las interrogaciones o preguntas se dividen en dos secciones: una parte se encuentra en el enunciado y la otra se precisa terminarla con las opciones. En otros casos se hace la pregunta directa y explícitamente.
112
Pregunta: es la oración que interroga, generalmente en los Ítems existen oraciones donde la opción o alternativa debe completase con una oración de la opción. Es decir, las interrogaciones o preguntas se dividen en dos secciones: una parte se encuentra en el enunciado y la otra se precisa terminarla con las opciones. En otros casos se hace la pregunta directa y explícitamente.
Alternativas u Opciones: son enunciados ó proposiciones ó palabras que dan respuesta cierta y correcta a la pregunta explicita o implícita que se hace; también pueden ser aproximaciones lo más certeras posibles con respecto a lo que se propone en el problema o reactivo.
Las opciones son posibles respuestas a la problemática planteada en el enunciado. En el formato de selección múltiple con única respuesta, como su nombre lo indica, sólo una de estas opciones es verdaderamente pertinente y completa para solucionar el problema –tarea de evaluación- las demás opciones, aunque pueden ser vistas como respuestas plausibles por los evaluados que no dominan la tarea de evaluación, no responden en forma completa o pertinente a la problemática formulada.
Otros formatos de selección admiten más de una opción como respuesta válida. En la actualidad, cada vez con más frecuencia, los instrumentos de evaluación educativa incorporan formatos de ítems en los cuales cada opción de respuesta es ponderada de acuerdo con su grado de validez o pertinencia; es lo que se denomina ítems de crédito parcial, y su elaboración supone que todas las opciones son respuestas válidas, aunque cada una en distinto grado, dependiendo de diferentes condiciones planteadas o posibles de inferir del contexto y del enunciado. Se busca con este tipo de ítems, más que valorar, en una categorización dicotómica, si el evaluado respondió o no respondió a la tarea de evaluación, que sea posible identificar perfiles o estilos de desempeño.
Clave: Es la alternativa correcta y que responde cierta y suficientemente a la expectativa de la pregunta planteada.
113
FORMATO PARA PREGUNTAS POR COMPETENCIAS
AREA: ASIGNATURA: GRADO :
COMPETENCIA
INTERPRETATIVA COMPETENCIA ARGUMENTATIVA COMPETENCIA PROPOSITIVA TIPO DE PREGUNTA : SELECCION MULTIPLE CON RESPUESTA UNICA TIPO I
Estas preguntas constan de un enunciado y cuatro posibilidades de respuesta, entre las cuales usted debe escoger la que considere correcta.
a. Escriba aquí el contexto del enunciado.
b. Escriba aquí los distractores y la respuesta correcta.
CLAVE :
CONTENIDOS CURRICULARES PROPUESTOS
JUSTIFICACION DE LA RESPUESTA CORRECTA
AMBITO : COMPETENCIA : AUTOR (A) TELEFONO
114 INSTITUCION – CENTRO EDUCATIVO
Ejemplo de una pregunta por competencias (Favor utilizar letra clara)
AREA:
Ciencias Naturales y Educación Ambiental ASIGNATURA: Química GRADO: Séptimo COMPETENCIA
INTERPRETATIVA COMPETENCIA ARGUMENTATIVA COMPETENCIA PROPOSITIVA TIPO DE PREGUNTA : SELECCION MULTIPLE CON RESPUESTA UNICA TIPO I
Estas preguntas constan de un enunciado y cuatro posibilidades de respuesta, entre las cuales usted debe escoger la que considere correcta.
a. Escriba aquí el contexto del enunciado.
1. Teniendo en cuenta que el punto de ebullición es una propiedad intensiva, al graficar el punto de ebullición (Tb) de diferentes masas de un mismo líquido, la gráfica que se obtiene es:
b. Escriba aquí los distractores y la respuesta correcta.
115 CONTENIDOS CURRICULARES PROPUESTOS
MATERIA
1. La materia y sus propiedades
2. Ley de la conservación de la materia 3. Las propiedades de la materia 3.1 Propiedades generales
3.2 Propiedades extensivas
3.3 Propiedades intensivas y características 3.3.1 Propiedades físicas
3.3.2 Propiedades químicas
JUSTIFICACION DE LA RESPUESTA CORRECTA
La pregunta exige que el estudiante interprete la información que aparece en la gráfica y deduzca qué ocurre cuando el sistema es calentado, que conozca qué es una propiedad intensiva. Esta es, aquella que no depende de la cantidad de materia. Es decir, que sin importar la cantidad, la propiedad de conserva. Por ejemplo, el punto de ebullición del agua a 1 atmósfera de presión será de 100 o C para 1 gramo de agua o para 1 L de agua, o para 1000
L de agua y así sucesivamente. Por tanto, ya que el punto de ebullición no depende de la cantidad de materia, la gráfica correcta es la A. Nótese que al aumentar la cantidad de masa (eje x en la gráfica) el punto de ebullición no cambia, mientras que en las otras opciones si lo hace. Cualquier otra opción, indica que el estudiante no conoce lo que es una propiedad intensiva.
AMBITO : Aspectos analíticos de las sustancias COMPETENCIA : Interpretar situaciones
AUTOR (A) TELEFONO
CORREO ELECTRONICO
116
RECOMENDACIONES Y/O PAUTAS DE REDACCIÓN DE LAS PREGUNTAS Algunas pautas de redacción del ítem
Al finalizar el enunciado no se pone punto, ni dos puntos, pues se supone
que las opciones de respuesta deben ser la continuación de dicho enunciado.
Al iniciar la opción de respuesta se inicia con letra minúscula.
No es válido ―Ninguna de las Anteriores‖ ó ―Todas las Anteriores‖
Las competencias son Interpretativa, Propositiva o Argumentativa.
Hay que fijarse que el tema y el Subtema correspondan a la distribución
de áreas y subáreas.
Las preguntas deben entregarse en medio magnético, preferiblemente,
dada la optimización del trabajo que se logra con esta condición.
Pautas para la construcción de preguntas o ítems56
Pautas para el contenido
1. Cada pregunta debe reflejar un contenido específico y un sólo comportamiento mental específico, tal como se requiere en las especificaciones del examen.
2. Basar cada pregunta en algún punto importante del contenido que aprender; evitar contenido trivial.
3. Usar material novedoso para medir aprendizaje de un nivel superior. Parafrasear el lenguaje del libro de texto o el lenguaje usado durante la instrucción en un examen para evitar la simple memorización del material.
4. Diferenciar el contenido y competencia de cada pregunta independiente del contenido de otras preguntas del examen.
5. Evitar un contenido demasiado específico o demasiado general al escribir los ítems de opción múltiple.
6. Evitar preguntas a partir de opiniones. 7. Evitar preguntas capciosas.
8. Mantener el vocabulario sencillo (apropiado) para cada grupo de estudiantes según el nivel, grado o semestre y de los profesionales de la educación.
Pautas para formateo (tipo de pregunta)
1. Usar las versiones de preguntas o ítems usados en las pruebas del ICFES- MEN
2. Formatear la pregunta en forma vertical en lugar de hacerlo horizontalmente.
56
Taxonomía de pautas para elaborar los ítems de opción múltiple. (Haladyna, T.M., Haladyna. R., y Merino Soto. C., 2002)
117
Pautas para el estilo
1. Editar y corregir las preguntas
2. Usar gramática, puntuación, mayúsculas y ortografía correctas
3. Reducir al mínimo la cantidad de palabras en cada pregunta y usar estrictamente lo necesario.
Redacción del enunciado o tallo
1. Asegurar que las instrucciones en el enunciado estén claras
2. Incluir la idea central en el tallo en lugar de ponerla en las opciones 3. Evitar adornos (verbosidad, adjetivaciones o superlativos innecesarios)
4. Afirmar en lugar de negar y evitar palabras como no y excepto. Si se
usan palabras negativas, usar la palabra con cuidado y siempre asegurar que aparezca en mayúsculas y en negrilla.
Redacción de opciones o alternativas
1. Incluir tantas opciones viables como pueda, pero las investigaciones sugieren que cuatro o cinco opciones son suficientes.
2. Asegurarse que sólo una de las alternativas sea la respuesta correcta. 3. Variar el lugar de la opción correcta según el número de opciones. 4. Ubicar las opciones en un orden lógico o numérico.
5. Mantener las opciones independientes; las opciones no deberían traslapar.
6. Mantener las alternativas homogéneas en términos de contenido y de estructura gramatical.
7. Nunca se debería usar como última opción: ninguna de las opciones
anteriores.
8. Así mismo, evitar: todas las opciones anteriores.
9. Escribir opciones que afirman; evitar negativos como NO.
10. Evitar pistas que indican la opción correcta, como:
a. Palabras inclusivas como ―siempre‖, ―nunca‖, ―completamente‖, ―absolutamente‖, etc
b. Asociaciones lingüísticas, opciones con palabras idénticas o que se parecen a palabras en el enunciado o tallo
c. Inconsistencias gramaticales que dan una pista a la opción correcta d. Una opción conspicuamente correcta o sobresaliente
e. Opciones en pares o en tríos que identifican claramente la opción correcta
f. Opciones patentemente absurdas, ridículas o demasiado sencillas
118
12. Mantener homogeneidad en la extensión de las opciones.
¿Qué debemos hacer una vez se tengan listas las preguntas? Repaso de contenido técnico
Revisión por los especialistas en exámenes Edición para claridad y gramática
La corrección de pruebas Otros aspectos para tener presente:
Definición exacta (rigurosa) de la variable o concepto (competencia o
contenido) a evaluar. Definir con rigor se refiere a: dejar claros los objetivos, delimitar el marco teórico, las posibles conexiones con otras variables y teorías, antecedentes, predisposiciones y estándares.
Elaboración de los ítems para medir la variable. Confeccionar buenos
ítems es como escribir novelas; si hubiera reglas de aplicación automática, todos seríamos excelentes novelistas. No hay ―recetarios‖.
Aplicación de los ítems a una muestra amplia de personas pertenecientes
a la población en la que se utilizará la futura prueba (test) y cálculo de los índices (estadísticos) de los ítems.
Comprobación de la unidimensionalidad de los ítems y escoger un
formato o tipo particular.
Estimar los parámetros de los ítems y de la competencia de cada sujeto
en la variable medida.
Comprobación del modelo mediante el ajuste a los datos.
Recomendaciones o guía de Ítems o preguntas tipo ICFES-MEN de ítems de opción múltiple
Evitar palabras que puedan dar pistas sobre la solución correcta, tales
como: siempre, ninguno, nunca, todos, a veces, usualmente, típicamente, generalmente, etc.
No repetir palabras o expresiones para cada una de las alternativas si se
puede incluir en el enunciado general.
Las alternativas incorrectas o distractores han de ser plausibles y
atractivas para las personas que no conocen la respuesta correcta.
Las alternativas han de tener aproximadamente la misma longitud.
No utilizar como alternativas expresiones tales como: ―todas las
anteriores‖ o ―ninguna de las anteriores‖.
Es aconsejable cuatro o cinco alternativas para minimizar los aciertos al
azar.
Evitar negaciones dobles, por ejemplo, una en el enunciado general y
119
Las alternativas erróneas no deben se solaparse, o significar lo mismo, o
lo contrario.
Las alternativas de un ítem deben se lo más homogéneas posibles.
La alternativa correcta debe estar expresada con el mismo detalle que las
incorrectas.
Evitar los ítems que puedan contestarse por mera lógica formal o sentido
común.
Asegurarse de que los materiales presentados en un ítem no
proporcionan pistas para responder a otros.
Las alternativas incorrectas no deben ser irrelevantes.
La ubicación de la alternativa correcta debe establecerse al azar.
Cada ítem debe ir dirigido a evaluar un solo problema, un solo contenido,
una sola competencia, etc.
Pautas ICFES para la construcción de ítems o preguntas
Las preguntas deben referirse únicamente a lo definido en las
especificaciones propias de la prueba o examen.
Es conveniente elaborar primero las preguntas que considere básicas,
según su criterio.
Siempre debe someterse a comprobación que el enunciado expresa
realmente lo que se quiere preguntar.
Se debe emplear un lenguaje directo, sencillo y sin ambigüedades.
Cada pregunta sólo debe tener una respuesta correcta.
Es menester evitar enunciados con connotaciones ideológicas, políticas,
religiosas o emotivas.
Así mismo, se deben evitar los enunciados negativos. En caso de
emplearlos (lo cual debe ser muy excepcional), se debe resaltar el NO, para llamar la atención hacia la formulación negativa.
Todas las preguntas de una prueba deben ser independientes entre sí: la
respuesta de un NO debe depender de encontrar la respuesta correcta de otra. Pero sí se pueden construir preguntas con un enunciado común.
El enunciado de una pregunta NO debe dar pistas de concordancia
gramatical, de contraste, de homo/heterogeneidad que lleven a identificar la clave.
La clave debe colocarse al azar, al ordenar las distintas opciones de una
pregunta. Igual ocurre al ordenar los diferentes distractores.
Los distractores no deben dar indicaciones sobre la clave por ofrecer un
cierto contraste evidente: de longitud; de precisión / imprecisión; de uso común / técnico; de generalización / particularización; de concreción / sutileza; de semejanza / oposición.
En lo posible deben evitarse como opciones "todas" o "ninguna" de las
anteriores. Cuando se las use, algunas veces serán clave y otras, serán distractores.
120
No deben utilizarse, en las opciones o distractores, las mismas palabras
significativas que se utilizaron en el enunciado, que sirvan de ―pista‖. Repetir la misma palabra del enunciado en cualquiera de las opciones lleva a elegirla como respuesta clave, así no lo sea.
Es corriente que quien se inicia en la elaboración de preguntas, tienda a
subestimar la dificultad de los "ítems" que construye. Cuando elabore las preguntas, cuide que haya de dificultad baja, media y alta, pero siempre sobre lo básico.
Pautas según Ponce de León, E. (2001), se ha considerado, según algunos estudiosos del ítem, que para una correcta elaboración de preguntas dentro de
la teoría de respuesta al ítem se pueden tener presentes las siguientes
características o pautas [Ponce de León, 2001]:
Se debe medir un contenido importante de la asignatura, materia o
carrera y que haga parte de los contenidos básicos del examen de estado que se va a realizar.
Se debe tener presente el lenguaje a utilizar, esto implica que: el
problema debe emplearse claramente en el enunciado; el vocabulario con el que se expresan las partes del enunciado (oraciones) deben ser concisas, sin extravagancias y sin excesos; debe darse suficiente información pero midiendo el tiempo y la longitud de la prueba; el vocabulario debe ser apropiado con el grado, carrera o profesión del examen; puede emplearse vocabulario técnico y especializado dependiendo el área, tema, campo y demás referentes que indique el ICFES; deben tenerse presentes condiciones de edad, región, grado, nivel y carrera que se este terminando; y evitar las estructuras gramaticales confusas y excesivamente complejas; se pueden usar frases cortas y ojalá en forma proposicional.
No confundir al estudiante y no dar claves que faciliten las respuestas,
aún sin saber el tema.
El ítem debe tener una sola respuesta correcta. En ocasiones se
encuentran ítems en los que el estudiante discute (a menudo con razón) porque podría haber sido otra la alternativa que el profesor consideró correcta. En estos casos debe revisarse la redacción.
Evitar el empleo de la negación en el encabezado del ítem.
Evitar el empleo del ―ninguna de la anteriores‖ o ―todas las anteriores‖, el
estudiante tiende a confundirse y decide por la adivinación. En ocasiones este error sucede porque el/la profesor/a no encuentra otra alternativa.
Las respuestas correctas deben estar distribuidas aleatoriamente dentro
de una prueba.
No dar pautas que permitan deducir de la premisa, sin mayor esfuerzo, la
121
Evitar que una pregunta dependa de la anterior, porque en muchos casos
una revela la respuesta correcta de la otra.
Las alternativas u opciones deben estar muy bien diseñados de tal forma
que garantice un ejercicio intelectual para ―descartarla‖.
Evitar que la respuesta correcta sea de mayor longitud que las demás
alternativas.
Utilizar material novedoso (redacción) al formular ítems o problemas que
midan comprensión, argumentación, aplicación y contenidos.
Evitar las preguntas con expresiones cuál, qué, cuándo, cuánto,...
Se debe guardar confidencialidad y reserva de las preguntas elaboradas.
Las preguntas deben ser originales, exclusivas y de alta calidad.
En caso que se usen preguntas del ICFES, entidades Universitarias u otro
tipo de entidad o de otros autores u autoras se debe hacer referencia a la fuente, no solamente para los derechos de autor respectivo, sino para garantizar la confiabilidad y validez.
La entidad que tiene a su cargo la recepción y estudio final de los ítems
es el ICFES.