Los resultados del examen de estado para ingreso a la educación superior tienen el propósito de brindar información completa sobre el desempeño de los estudiantes frente al examen, para contribuir con el proceso de reconocimiento del perfil de potencialidades que cada uno de ellos posee. Son 5 tipos de resultados que se resumen en distintas tablas para cada institución educativa. Se espera que esta información resulte útil como complemento de los procesos de autoevaluación y seguimiento periódico que se realizan en cada colegio. Los 5 tipos de resultados son los siguientes:
A partir de la aplicación de las pruebas, por otro lado se generan tres diferentes escalas de resultados, que proveen información complementaria entre ellas, y facilitan la comprensión de lo que sucede en el proceso educativo. En primer lugar, se encuentran los resultados por nivel de logro, luego la escala de puntaje y, finalmente, los resultados por tópico evaluado. A continuación se exponen los cinco tipos de resultados y se agrega uno más que está en la escala de resultados, pero que no está en los tipos de resultados que son los niveles de logro.
NIVEL DE LOGRO: Se entiende por logro cognitivo el avance que el alumno alcanza según su proceso de desarrollo en determinada área del conocimiento. El estado de avance es medido por las pruebas a través de niveles de logro, los cuales, para el caso de las pruebas aplicadas. Los distintos niveles se caracterizan y se diferencian entre sí, a partir de la complejidad de las acciones que realizan los estudiantes cuando responden las preguntas que conforman cada nivel. Dichos niveles son jerárquicos, es decir, van creciendo en su grado de complejidad; así, el nivel B es de menor complejidad que los niveles C, D, E
y F. Además, son inclusivos, es decir, si un estudiante alcanza un nivel
particular es porque ha superado los niveles anteriores. Las preguntas de cada nivel de logro miden con alto grado de eficiencia ese nivel de logro particular. Para que los estudiantes se ubiquen en un nivel de logro determinado, se exige que respondan correctamente por lo menos el 60% de las preguntas de ese nivel, y que superen todos los niveles de logro anteriores.
57
Grupo de Evaluación de la Educación Básica y Media y el Grupo de Divulgación de Resultados; Ministra de Educación Cecilia María Vélez White. Bogotá –Colombia, septiembre 2003.
124
PUNTAJE: El puntaje es un resultado numérico en una escala entre 0 y 100 puntos aproximadamente, en cada área. El valor obtenido refleja el desempeño promedio general del estudiante en toda la prueba. Esta escala de 0 a 100 puntos es común para todos los grados evaluados, según el área, y se obtiene al valorar la interacción que hay entre la competencia de cada estudiante y la dificultad de las preguntas del examen que son respondidas correctamente. En este sentido, el puntaje refleja no sólo la cantidad de respuestas correctas sino la complejidad de las mismas. De esta forma, los resultados de los estudiantes de grado 3, se encuentran en la parte inferior de la escala, debido a que la complejidad de las preguntas es inferior; los grados superiores se ubicarán en lugares respectivamente más altos de la escala, lo que permite conocer, directamente, las diferencias en el desempeño de los estudiantes de los diferentes grados. Los resultados individuales se agrupan por departamento, municipio, zona, naturaleza y otras características relevantes para el análisis de datos en diferentes niveles. Para ello se estiman dos estadísticos: el promedio y la desviación estándar. el cual se produce para cada prueba del núcleo común, así como para la prueba interdisciplinaria elegida y puede interpretarse de acuerdo con los tres siguientes rangos:
BAJO entre 0 y 30 puntos
MEDIO entre 31 y 70 puntos
MEDIO BAJO entre 32 y 45 puntos MEDIO ALTO entre 46 y 70 puntos
ALTO entre 71 o más puntos
NIVEL DE COMPETENCIA: este resultado indica el nivel alcanzado en cada una de las competencias evaluadas en las pruebas del núcleo común (interpretativa, argumentativa y propositiva). Los resultados se interpretan de acuerdo con las siguientes convenciones:
BAJO A
MEDIO B
125
DESEMPEÑO POR GRUPOS DE PREGUNTAS (O TÓPICOS): Informa sobre el desempeño relativo de los estudiantes en cada uno de los grupos de preguntas o tópicos evaluados en cada área. Es importante tener en cuenta que las preguntas que conforman los diferentes tópicos en una prueba pueden ser de niveles de dificultad muy variados. Es decir, si las preguntas de un tópico son fáciles y las de otros difíciles, no se podría concluir que un mejor resultado en las fáciles refleja un mejor manejo de ese tópico con respecto al más difícil. Por eso, se utilizan procedimientos que hacen comparables las dificultades de las preguntas, permitiendo que los análisis se puedan realizar directamente.
Los resultados por grupos de preguntas o tópicos son relativos y deben interpretarse en relación con el puntaje promedio. Los resultados para los diferentes tópicos se interpretan a partir de las siguientes categorías:
Desempeño Relativo Significativamente Alto (SA): El desempeño en este tópico es significativamente superior al de los demás tópicos. Puede considerarse como una fortaleza.
Desempeño Relativo Alto (A): Se evidencia una tendencia a manejar este tópico con mayor dominio que los otros tópicos.
Desempeño Relativo Medio (M): El manejo de este tópico es promedio en relación con los demás tópicos.
Desempeño Relativo Bajo (B): Se evidencia una tendencia a manejar este tópico con menos dominio que otros tópicos.
Desempeño Relativo Significativamente Bajo (SB): El desempeño en este tópico es significativamente bajo en relación con los demás. Puede considerarse como una debilidad.
GRADO DE PROFUNDIZACIÓN: indica hasta qué punto el estudiante profundizó en cada una de las 3 pruebas que eligió. Se interpreta de acuerdo con las convenciones descritas abajo. Grado Básico indica no haber alcanzado ningún grado de profundización y los grados siguientes muestran, en orden ascendente, el éxito del estudiante al abordar cada prueba.
GRADO BÁSICO GB
GRADO I I
GRADO II II
GRADO III III
PUESTO: es un dato que sintetiza el perfil de puntajes de un estudiante en las pruebas del núcleo común. Hay en total 1261 puestos, siendo 1 el puesto que indica un perfil de puntajes en el rango alto de la escala o muy cercanos a este rango, y 1261 el puesto que indica un perfil de puntajes en el rango bajo de la escala o muy cercanos a este rango. Las condiciones que definen cada puesto se mantienen de una aplicación a otra del examen, ya que
126
son independientes de la distribución de los puntajes en la población. Por tanto, no hay límite para el número de personas que puede ocupar un determinado puesto. Todos los estudiantes de una institución, de una región o incluso del país, podrían ocupar, por ejemplo, el puesto 1, siempre y cuando sus puntajes cumplan con las condiciones establecidas para asignar dicho puesto.
¿QUÉ INFORMACIÓN CONTIENEN LAS TABLAS DEL INFORME INSTITUCIONAL? Con base en los resultados obtenidos por los estudiantes de cada institución educativa que presentan el examen, el ICFES produce un informe institucional que recoge los resultados de las cohortes. Estos documentos están conformados por una serie de tablas o informes que se describen a continuación:
EL INFORME 1A Número y porcentaje acumulado de estudiantes en cada rango de puntaje
Es una tabla que muestra la distribución acumulada del número y el porcentaje de estudiantes con puntuaciones hasta diferentes rangos de la escala de calificación. Para elaborar dicha tabla, la escala de puntajes (de 0 a 100) se ha dividido en 14 rangos, representados en las filas de la tabla; algunos rangos son de 10 y otros de 5 puntos. Las columnas corresponden a las diferentes pruebas del núcleo común del examen; en la columna denominada "idiomas" se incluyen los resultados obtenidos en las distintas pruebas de idioma extranjero que hayan sido seleccionadas por los estudiantes de su institución (Inglés, Francés y Alemán).
Frente a la primera fila o rango (hasta 10 puntos) se registra el número de estudiantes que obtuvo puntuaciones entre 0 y 10 puntos en cada prueba, así como el porcentaje que estos estudiantes representan en la institución. Frente al segundo rango (hasta 20 puntos) se registra el número - y porcentaje correspondiente- de estudiantes que obtuvo puntuaciones entre 0 y 20 puntos en cada prueba; es decir, en ésta fila se incluyen los datos de la fila anterior. De igual forma se procede para las filas subsiguientes, sumando en cada una de ellas el número y porcentaje de estudiantes descritos en las filas previas. ¿Qué preguntas pueden formularse a esta tabla?
¿Qué porcentaje de estudiantes obtiene puntuaciones bajas, es decir Hasta
30 puntos, en cada prueba?
¿Qué porcentaje de estudiantes obtiene puntuaciones del rango alto (más de
70 puntos) en cada prueba? Para saberlo ubique el porcentaje de estudiantes que se acumula hasta 70 puntos y determine la diferencia entre este valor y el 100%.
127
¿Qué porcentaje de estudiantes se acumula hasta 45 puntos58 en cada
prueba?
¿Puede identificar un "perfil" de fortalezas de formación de los estudiantes de su institución? Es posible identificar el perfil o énfasis de formación en la institución haciendo una ordenación de las pruebas en función del porcentaje de estudiantes que logra superar un rango particular de puntajes (por ejemplo el rango hasta 45 o el rango hasta 70 puntos). La prueba que muestra mayor fortaleza será aquella en la cual mayor porcentaje de estudiantes supera el rango de puntaje objetivo, y la de menor fortaleza, aquella en la cual menor porcentaje de estudiantes logra superar dicho rango.
¿Cómo son los resultados de la institución con respecto a los resultados en
Colombia? Puede consultar las tablas de resultados nacionales en la página www.icfesinteractivo.gov.co
¿Cómo son los resultados de la institución con respecto a años anteriores?
¿mejoró su desempeño?
EL INFORME 259 Resultados por Grupos de Preguntas
Esta tabla presenta resultados sobre el desempeño relativo de los estudiantes de la institución en los diferentes grupos de preguntas que conforman cada prueba del núcleo común. Frente al nombre de cada prueba se presentan los resultados de los grupos evaluados. Las convenciones SA o A en un grupo particular sugieren fortaleza relativa de los estudiantes en el dominio de las temáticas que son evaluadas a través de dicho grupo. Por otra parte, las convenciones B y SB sugieren debilidad relativa en el dominio de las
temáticas propias del grupo en donde éste sea el resultado60
¿Qué preguntas pueden formularse a esta tabla?
¿Cuáles son los grupos de preguntas en los cuales los estudiantes de la
institución están mostrando mayor fortaleza relativa (con resultados A y SA)? La fortaleza relativa indica que en éstos grupos de preguntas los estudiantes tienen mejores resultados que en otros grupos de preguntas.
¿Cuáles son los grupos de preguntas en los cuales los estudiantes de la
institución están mostrando menor fortaleza relativa? Estos grupos requieren mayor atención en los procesos de formación.
58
Considerando la distribución de puntajes obtenidos por los estudiantes del país entre el año 2000 y 2002, en todas las pruebas del núcleo común, éste rango resulta ser uno de los que ofrece mayor información para realizar estos análisis. Los rangos hasta 30 y hasta 70 puntos también constituyen puntos importantes de análisis de estas distribuciones, toda vez que marcan el final del rango bajo y el principio del alto, respectivamente.
59
Si en su institución el número de estudiantes que presentó el examen fue inferior a 10, no recibirá este informe.
60
La descripción de los grupos de preguntas evaluados con cada prueba se encuentra en el apartado ¿Qué se evalúa? de este documento.
128
EL INFORME 3 Distribución de los niveles de competencia
Esta tabla describe los resultados por niveles de competencia obtenidos por los estudiantes de la institución. Se presentan las diferentes competencias que son evaluadas en cada prueba y, frente a cada una de ellas, los distintos niveles en los cuales se han distribuido los resultados de los estudiantes. Se identifica, al frente de cada nivel, el número y porcentaje de estudiantes del
plantel que alcanzó dicho nivel.61 En las casillas de idiomas se incluyen los
resultados obtenidos en las pruebas de idioma extranjero que hayan sido seleccionadas por los estudiantes de la institución.
¿Qué preguntas pueden formularse a esta tabla?
¿En cuál o cuáles competencias hay mayor porcentaje de estudiantes que
alcanzan nivel alto? A qué prueba corresponden dichas competencias? El nivel alto en una competencia indica que el estudiante aborda lo que es objeto de evaluación de dicha competencia.
¿En cuál o cuáles competencias hay mayor porcentaje de estudiantes que
tienen nivel bajo? A qué prueba corresponden dichas competencias? Estas son competencias que requieren un mayor trabajo en la institución.
¿Cómo se comportan los resultados por competencias en la institución en
relación con los resultados de Colombia?
EL INFORME 4 Distribución de frecuencias de los grados de profundización Esta tabla resume el resultado de los estudiantes en las pruebas de profundización. Se identifican las sesiones de presentación del examen y los nombres de las pruebas de profundización ofrecidas en cada una de ellas. Frente a las pruebas se señalan los grados de profundización en los que se haya ubicado por lo menos un estudiante, y a continuación se muestra el número y porcentaje de estudiantes que alcanzó el correspondiente grado. ¿Qué preguntas pueden formularse a esta tabla?
¿Cuántos estudiantes eligieron cada una de las opciones de profundización?
¿Puede identificar preferencias entre los estudiantes de la institución por
algunas áreas en particular? Es deseable encontrar coherencia entre las preferencias en la elección de pruebas de profundización y el perfil de fortalezas institucional identificado a partir del análisis del informe 1A
61
Las casillas con guiones que aparecen en la columna que especifica los niveles de competencia (en el informe 3), así como en la columna que indica los grados de profundización (en el informe 4), indican que la prueba no fue abordada por algunos estudia ntes de la población nacional evaluada. Sólo en caso de que en la institución haya habido estudiantes que no abordaron una o varias pruebas, aparecerá un número distinto de cero (0) frente a las casillas con guiones, en la columna que indica número de estudiantes.
129
¿En qué prueba los estudiantes alcanzaron grados de profundización II o III
(los más altos)? Estos grados indican buen manejo de lo evaluado en las pruebas y sugieren un área de fortaleza entre los estudiantes que presentaron la prueba correspondiente.
¿En cuál de las pruebas el porcentaje de estudiantes que obtuvo GB (Grado
Básico) fue más alto? El grado básico indica que los estudiantes no abordaron la prueba, lo cual sugeriría necesidad de mayor trabajo en el área correspondiente.
EL INFORME 5 Puntaje en las pruebas del núcleo común y en la prueba interdisciplinaria
Este informe corresponde al listado de los puntajes obtenidos por los estudiantes de la institución en las pruebas del núcleo común, así como en la prueba interdisciplinaria seleccionada por cada uno de ellos. Los guiones, en lugar de un puntaje, bajo la columna de alguna de las pruebas, indican que el estudiante de la fila correspondiente no abordó dicha prueba. Al final de cada fila se incluye el puesto obtenido por cada estudiante.
EL INFORME 6 Porcentaje de respuestas por opción
Este informe describe cómo se distribuyen las respuestas de los estudiantes frente a cada una de las opciones de respuesta que tienen las preguntas (A,B,C,D.) Para cada pregunta se indica la posición ocupada dentro del cuadernillo de prueba y la clave, es decir, la opción que se plantea como la respuesta correcta. Se cuantifican también los casos de ―multimarca‖ (marcar más de una opción de respuesta en la misma pregunta) y de ―omisión‖ (no responder a la pregunta).
Estos resultados contribuyen a reconocer en qué medida los estudiantes eligieron la respuesta correcta a cada pregunta y en qué proporción eligieron opciones no correctas. Además de permitir identificar las equivocaciones de los estudiantes, el análisis de estos resultados permite rastrear, directamente con los estudiantes, los orígenes de dichas equivocaciones, y aplicar los correctivos pertinentes.
Resulta interesante identificar preguntas en las que los estudiantes de la institución educativa hayan elegido, en mayor proporción, una opción distinta a la clave o respuesta correcta; también es útil analizar ítems en los cuales la proporción de ―omisiones‖ y ―multimarcas‖ haya sido alta (mayor al 5%).
Es aconsejable que en el momento de analizar estos reportes se haga uso de los cuadernillos de prueba (disponibles en las instituciones educativas y en la página web del ICFES), de las estructuras de prueba, en las cuales se indica la competencia y el grupo de preguntas evaluado por cada ítem, con el fin de orientar las reflexiones acerca de las posibles razones que expliquen las respuestas equivocadas por parte de los estudiantes.
130
¿Qué preguntas pueden formularse a este informe?
¿Qué porcentaje de estudiantes respondió en forma correcta las diferentes
preguntas?
¿En cuáles preguntas el porcentaje de estudiantes que respondió la clave
fue menor que el porcentaje que eligió otras opciones de respuesta?
¿En cuales preguntas hubo un porcentaje de multimarca y omisión superior
al 5%?