Uno de los mayores desafíos que plantea el EEES es la evaluación del nivel de desarrollo alcanzado en las competencias que se incluyen en los diferentes planes de estudio. El docente universitario se enfrenta al reto de preparar a los futuros profesionales para que sepan hacer lo que define su profesión además de desarrollar en ellos una serie de habilidades y capacidades transversales
relacionadas con el “saber” “saber hacer”, “saber estar” y “saber ser” (Echeverría, 2005).
Dentro de esta evaluación, la que más dudas plantea en los profesores es la de las competencias generales ya que las específicas estarían más relacionadas con los contenidos propios de las áreas de conocimiento. Las evaluaciones tradicionales estaban centradas en la memorización de información, y en la actualidad, éstas deben orientarse a la resolución de problemas y a la aplicación práctica de ese conocimiento.
En la evaluación de competencias es necesario que el docente diseñe tareas en las que los estudiantes demuestren el grado de adquisición de las mismas. Estas tareas deberían ser lo más parecidas posibles a las situaciones reales a las que deberá enfrentarse el estudiante en un futuro. Esta evaluación se realiza mediante la observación y juicio del profesor, compañeros y el propio estudiante. Previo a todo este proceso, se hace necesario que se describa lo más detalladamente posible cada una de las competencias y que éstas se relacionen con indicadores que puedan observarse (Dans, Barceló y Ruano, 2011).
Dependiendo de quién sea la persona que evalúe y por lo tanto valore los resultados de aprendizaje podríamos estar hablando de diferentes tipos de evaluación (López-Pastor, 2009):
• Heteroevaluación: evaluación tradicional del profesor hacia el alumno en el que valora lo realizado, cómo lo ha hecho y su rendimiento.
• Coevaluación: evaluación entre iguales en la que los estudiantes se valoran entre ellos teniendo en cuenta los méritos que haya hecho cada uno y el nivel de aprendizaje alcanzado.
• Autoevaluación: valoración que cada individuo hace de sí mismo. En este tipo de evaluación el estudiante desarrolla el pensamiento crítico.
En este punto es significativo citar un estudio llevado a cabo por Tierno, Iranzo y Barrios (2013), en el que se indica que de un total de 298 docentes entrevistados solo 82 decían que evaluaban competencias. De éstos el 68,3 % utilizaban la heteroevaluación, el 13,4 % la autoevaluación, el 11 % la coevaluación y el 7,3 % las tres formas de evaluar de una forma sumativa.
Autores como Villarroel y Bruna (2014) proponen como metodología de evaluación para la valoración del desarrollo de las competencias genéricas lo que ellas denominan como “la evaluación auténtica”. Se aplicarían tareas del mundo profesional en el que los alumnos tendrían que poner en práctica los conocimientos y habilidades aprendidas. El contexto de las tareas debe ser lo más real posible, requiriendo de los estudiantes un desarrollo de conocimiento profundo.
Para la aplicación de esta metodología se utilizan instrumentos de evaluación del tipo: pruebas de resolución de problemas, aprendizaje basado en proyectos, portafolios, análisis de casos, simulaciones, etc. Si bien estos instrumentos son importantes, lo que realmente aporta valor a esta metodología serían los sistemas de feddback que deben darse de forma permanente a los estudiantes sobre sus resultados finales. En este caso la evaluación se convierte en pieza clave de la formación y desarrollo de
competencias. Instrumentos como las rúbricas10 ayudan a disponer de
evidencias sobre los niveles de desempeño de los alumnos.
Las autoras Dans et al. (2011) hablan de la posibilidad de revisión de las valoraciones obtenidas en la coevaluación y la autoevaluación mediante una “evaluación compartida”. Esta metodología se realizaría mediante diálogos entre profesor y alumnos de forma individual o grupal, en el que se tendría como tema central de los mismos los procesos de enseñanza-aprendizaje que han tenido lugar. Sería el cierre del proceso evaluativo en el que podría haber intervenido el profesor (heteroevaluación), el alumno (autoevaluación), los alumnos (coevaluación).
Según Allen, Ramaekers y Van Der Velden (2003) para la valoración de la adquisición de las competencias en la Educación Superior se pueden distinguir tres enfoques:
•
“Método del experto” que consiste en el pase de una serie de test en los que unos evalúan el nivel de competencias que poseen y otros las necesidades que tienen los puestos a desempeñar por los candidatos. Este tipo de prueba sería probablemente la mejor manera de reducir los errores en las medidas y aumentar la posibilidad de comparación entre muestras. Pero también tendría problemas ya que solo sería válido y eficaz en alumnos que hubieran finalizado sus estudios completamente y hubieran puesto en práctica sus competencias en el10 En Terrón, García y Archilla, (2009) se citan los materiales escritos de apoyo para las
evaluaciones en los que se definirían los criterios de valoración y diferentes niveles de ejecución en cada una de las tareas propuestas.
mundo laboral. Logísticamente se hace muy difícil y muy caro poder evaluar a estos titulados una vez que abandonan las aulas de la universidad.
•
“Evaluación del supervisor” que consistiría en que esta evaluación y su comparación con el nivel necesario para desempeñar correctamente el trabajo lo harían empleadores de estos egresados. Existen algunas objeciones a este enfoque, por lo que es considerado más un complemento de las encuestas de egresados que un método en sí de medición de adquisición de competencias. Algunos de los hándicap que tendría son:o Tener la certeza de que los empleadores son la mejor fuente
de información para la evaluación de la adquisición de competencias por parte de los titulados universitarios.
o No todos los egresados tienen “supervisor” por ser autónomos
o empresarios.
o La tasa de respuesta de las encuestas a empleadores suele ser
baja, sobre todo en cuestionarios largos.
o Dificultad de la definición de la muestra aleatoria a la que
pasar el cuestionario dentro de la investigación.
•
“Autoevaluación del titulado” en el que serían los propios egresados los que se valorarían su nivel de desarrollo competencial y el necesario en el trabajo que estén desarrollando. Este enfoque tendría la ventaja de poder integrar estas autoevaluaciones en las encuestas que ya se hacen a los egresados y facilitar los estudios longitudinales comparando las mediciones en diferentes momentos profesionales decada individuo. Como en los anteriores enfoques, también existen inconvenientes:
o Las preguntas ambiguas puede provocar errores de medición
en un cuestionario escrito. Esto puede evitarse si se formulan las mismas de la forma más concreta posible.
o La propia subjetividad de los encuestados que podría mitigarse
incorporando escalas de comparación. A pesar de esta posibilidad se concluye que es mejor no incorporarlas porque haría que el cuestionario fuera muy extenso, teniendo un efecto contrario al objetivo marcado.
Indicar que este último tipo de cuestionarios, también es propuesto por otros investigadores dentro de la bibliografía consultada (Maassen y Landsheer, 2000; Scarpa y Nart, 2012; García y Mirón, 2013).
A este respecto y según la OECD la mejor manera de medir las competencias que ha desarrollado un graduado sería mediante una entrevista directa (OECD- CERI, 1998). Evidentemente esta metodología, al igual que decían Allen et al. (2003) se hace costosa y cara.
Dentro de las propias universidades también han surgido proyectos concretos para la evaluación de competencias. Uno de estos es la herramienta eCompetentis, que fue desarrollada dentro del Programa de Estudios y Análisis del Ministerio de Educación (García-García et al., 2010). Otros que también citaremos son el proyecto Evalcomix (Ibarra, 2008), la herramienta Competest (Muñoz, Ramos y Benítez, 2013). Además existen otros métodos, que tienen
más aplicación en selección de personal, y que solo citaremos en esta tesis: El cuestionario SOSIA de Gestión por Competencias (Gordon, 2001), el Test de Monster, el Método del Assesment Center y el Método de evaluación 360° (Valencia, 2005). Todos ellos son claros ejemplos de las diferentes formas que existen para evaluar el desarrollo competencial en entornos profesionales y laborales, dejando claro el interés que existe, por parte de la empresas, en la selección de las personas más competentes para su organización.
También es importante a la hora de medir competencias tener en cuenta una serie de variables que afectan en el desarrollo y adquisición de las mismas, como la edad de los individuos, o la experiencia laboral previa que haya tenido. En la investigación realizada por Jara (2007) se observa que los estudiantes que tienen un mayor nivel competencial, son los que llevaban más de 3 años trabajando. En el mismo estudio, también se encontraron diferencias significativas entre los alumnos que eran mayores de 22 años, determinando que este también sería un factor importante en el desarrollo de competencias.
Según Jácquez (2014) otra variable que habría que tener en cuenta sería el nivel de autoeficacia11 percibida, siendo los individuos que demostrasen un
mayor nivel, los que tendrían un mayor desempeño competencial.
Los estudios realizados sobre estudiantes al inicio y a la finalización de sus estudios, son importantes para evaluar el impacto que tiene el trabajo realizado por los docentes en el desarrollo competencial. Un ejemplo es el
11 “La autoeficacia en sí, se define como el conjunto de juicios de cada individuo sobre
las capacidades propias para organizar y ejecutar las acciones requeridas en el manejo de posibles situaciones específicas” (Bandura, 1977).
llevado a cabo por So, Lam y So (2013a) en el que se evalúan, mediante cuestionarios de autopercepción, 14 competencias generales. Los resultados del mismo nos muestran que existe un incremento significativo de la autopercepción de los estudiantes sobre su nivel competencial en 4 de los 5 dominios en los que agruparon las competencias. En el único en el que este incremento no fue significativo fue el dominio denominado “desarrollo físico y psicológico” (que incluía aspectos como “bienestar psicológico” y “estilo de vida saludable”).
Con respecto a las diferencias individuales en el desarrollo competencial en los alumnos al inicio de sus estudios, se muestran unos resultados significativos a favor de las mujeres, en lo que denominan los autores, eficacia interpersonal, apreciación cultural. Por otro lado, los hombres obtienen unos resultados significativos a su favor en perspectiva global, pensamiento creativo, pensamiento crítico, resolución de problemas, bienestar psicológico, estilo de vida saludable, emprendimiento y aprendizaje continuo. Estas diferencias se hacen menores al finalizar los estudios siendo significativas a favor de los hombres solo en pensamiento creativo, pensamiento crítico, resolución de problemas, emprendimiento.
Los mismos autores analizan los resultados teniendo en cuenta la disciplina académica de los mismos y mostrando en sus conclusiones que existen diferencias significativas en: el estilo de vida saludable y en la eficacia interpersonal. Estas diferencias se dan en los alumnos que inician sus estudios, no habiendo diferencias significativas en ninguna de las 14 competencias analizadas en los alumnos al finalizar los mismos. Según los autores, estos resultados muestran que el desarrollo en competencias generales se puede
igualar en alumnos de diferentes disciplinas académicas al finalizar su formación académica (So, Lam y So, 2013b).
Otro estudio que podemos destacar es el desarrollado por García y Mirón (2013) que utilizando un cuestionario de 40 items en el que debían puntuar cada uno de ellos mediante una escala Likert de 1 a 10. Los alumnos debía valorar cual había sido la influencia de su paso por la universidad en el desarrollo de una serie capacidades a través de competencias generales propuestas en su grado. Es decir se le pedía que valorasen en qué medida las habían adquirido a la finalización de sus estudios. Un resultado destacable de esta investigación es que las alumnas incrementaban más que los alumnos las capacidades analizadas tras su paso por los estudios superiores.
Otra investigación desarrollada con estudiantes universitarios trataba, entre otras cosas, de valorar el nivel de desarrollo alcanzado por estos en las competencias propuestas en el proyecto Tuning (González y Wagenaar, 2003). En los resultados, las mujeres se muestran con un mayor desarrollo en: organizar y planificar y en capacidad de aprender (Alonso-Martín, 2010).
Por otro lado, también hay estudios que muestran en sus resultados diferencias entre hombres y mujeres. En ellos se ve que la autopercepción de los hombres es significativamente mejor en competencias como la resolución de problemas y la comunicación mientras que las mujeres lo hacen en la competencia sociocultural y la de trabajo en equipo y liderazgo (Peinado et al., mayo, 2006).
Otro estudios a nivel global que tratan de determinar el nivel competencial desarrollado por los egresados son los proyectos REFLEX (Allen et al., 2006; ANECA, 2007) y el proyecto PROFLEX (Mora et al., 2010). El primero de ellos se realizó en Europa y el segundo en Latinoamérica. El cuestionario incluía la pregunta: ¿cómo valoras tu nivel actual de competencias? Ésta trataba de valorar el nivel competencial, en una escala Likert de 1 a 7. Las competencias evaluadas fueron: dominio de tu área, conocimiento de otras áreas, pensamiento analítico, adquirir conocimientos, negociar, trabajar bajo presión, detectar oportunidades, coordinar actividades, usar el tiempo eficazmente, trabajar en equipo, movilizar capacidades, hacerse entender, hacer valer tu autoridad, manejar herramientas informáticas, plantear ideas y soluciones, cuestionar ideas, presentar en público, redactar informes, dominio de idiomas extranjeros.
En la Figura 21 podemos apreciar los resultados obtenidos en ambos proyectos.
Figura 21.- Valoración en términos absolutos del nivel de competencias de los graduados en Europa (REFLEX) y Latinoamérica (PROFLEX).
Como se ha intentado mostrar a lo largo de todo este punto, la introducción del desarrollo de competencias dentro del curriculum, ha supuesto un reto importante en las mismas y en sobre todo en los docentes. En la actualidad, el principal desafío se encuentra en la evaluación de estas competencias por parte de los estudiantes, de forma que se pueda medir la eficacia del cambio de modelo educativo.
En el siguiente punto se abordará la tercera variable de esta tesis, el rendimiento académico, a través de su definición y sus diferentes métodos de evaluación su medición.