desirée menA tudelA, y víctor mAnuel gonzález chordá
Departamento de Enfermería Universitat Jaume I.Castelló de la Plana
[email protected], [email protected]
Resumen. El Real Decreto 1393/2007 de 29 de octubre establece que las enseñanzas
de Grado (Ministerio de Educación y ciencia; 2007) culminarán con la elaboración y defensa de un Trabajo Fin de Grado (tFg) que debe orientarse a la evaluación de com- petencias asociadas a cada titulación. Existen titulaciones en las que tradicionalmente el alumnado elabora un trabajo o proyecto fin de carrera, pero éste no es el caso de titulaciones como el Grado en Enfermería, siendo necesario desarrollar herramientas que aseguren una adecuada evaluación. El objetivo de este trabajo es presentar los re- sultados del proceso de desarrollo y validez de contenido de un sistema de rúbricas para evaluar los Trabajos Fin de Grado en estudios de Enfermería de la Universitat Jaume I. En enfermería existen estudios que ponen de relevancia que este tipo de herramienta aporta se percibe como una evaluación más efectiva y realista (Isaacson JJ, Stacy AS; 2009).
En el estudio participaron un total de 9 expertos en educación en enfermería de 6 Universidades españolas (profesores doctores, con más de cinco años de experiencia docente y experiencia en dirección y organización de tFg o Trabajo Final de Máster) y dos profesores doctores de educación con experiencia en elaboración de rúbricas. El equipo de investigación elaboró la primera versión de las rúbricas, incluyendo criterios de evaluación y descriptores para 4 niveles de evaluación. Este documento fue enviado por correo electrónico a los expertos para su evaluación mediante una escala tipo Likert de 5 puntos; se solicitó que revisaran la redacción de criterios y descriptores y se facili- tó un espacio abierto para que expresaran su opinión acerca del estudio. Tras el análisis de las puntuaciones y la revisión de los comentarios de los expertos se elaboró una nueva versión de las rúbricas que fueron remitidas de nuevo a los expertos junto con
I TALLER DE INNOVACIÓN EDUCATIVA
un feedback de la primera ronda. Fueron necesarias dos rondas para alcanzar niveles adecuados de consenso. La versión definitiva fue enviada a los expertos. El análisis de datos se realizó siguiendo la metodología de Polit y Beck (2006), calculando el índice de validez de contenido (I-CVI) y el coeficiente modificado de Kappa (K) para cada elemento de las rúbricas. También se calculó el coeficiente global de validez de conte- nido (S-VCI) para cada criterio y rúbrica. Los comentarios y sugerencias de redacción de los expertos fueron clasificados en generales y relacionados con cada uno de los criterios de evaluación y se consideraron y discutieron en la elaboración de las nuevas versiones. La metodología utilizada ha permitido desarrollar un sistema de 3 rúbricas que permite evaluar el proceso de elaboración del tFg, la memoria o documento del tFg y la defensa del tFg. Este sistema de 3 rúbricas presenta resultados globales buenos o excelentes de validez de contenido, así como los criterios de evaluación y sus descrip- tores en 4 niveles de evaluación, aunque queda pendiente aplicarlas en la evaluación de los tFg para estudiar su consistencia interna y la fiabilidad inter e intraobservador.
Palabras clave: Educación en Enfermería; Trabajo Final de Grado; Evaluación; Rú-
1. INTRODUCCIÓN
El Real Decreto 1393/2007 de 29 de octubre establece que las enseñanzas de Gra- do [1] culminarán con la elaboración y defensa de un Trabajo Fin de Grado (tFg) que debe orientarse a la evaluación de competencias asociadas a cada titulación. Existen titulaciones en las que tradicionalmente el alumnado elabora un trabajo o proyecto fin de carrera, pero éste no es el caso de titulaciones como el Grado en Enfermería, siendo necesario desarrollar herramientas que aseguren una adecuada evaluación.
El Grado en Enfermería de la Universitat Jaume I (uJi) se inicia en 2011 e incorpora una competencia transversal sobre práctica basada en la evidencia (Pbe) que finaliza con la elaboración del tFg [2]. El tFg es una asignatura de 12 ects (7 ects teóricos y 5 ects de prácticas clínicas) que se imparte durante el segundo semestre del último curso. En enfermería existen estudios que ponen de relevancia que este tipo de herramienta aporta se percibe como una evaluación más efectiva y realista [3].
El objetivo de este trabajo es presentar los resultados del proceso de desarrollo y validez de contenido de un sistema de rúbricas para evaluar los Trabajos Fin de Grado en estudios de Enfermería de la Universitat Jaume I.
2. METODOLOGÍA
Se creó un grupo de expertos formado por nueve profesores doctores en enfermería de 6 Universidades españolas, con más de cinco años de experiencia docente y expe- riencia en dirección y organización de tFg o tFm, y 2 profesores doctores de educación con experiencia en métodos de evaluación. Los expertos fueron invitados por entrevista personal, llamada telefónica o correo electrónico. Tras aceptar, recibieron una carta de presentación (antecedentes, objetivos y metodología) y consentimiento informado.
El equipo de investigación elaboró la primera versión de las 3 rúbricas de evalua- ción (proceso de elaboración, memoria del tFg y defensa y exposición). Las rúbricas incorporaban criterios de evaluación y descriptores para 4 niveles de evaluación (insu- ficiente=2,5, suficiente=5, notable=7,5 y excelente=10).
Las rúbricas fueron enviadas por correo electrónico a los expertos para evaluar la adecuación de los criterios y los descriptores de cada rúbrica mediante una escala tipo Likert de 5 puntos. También revisaron la redacción de los criterios y descriptores. Estas sugerencias se consideraron en la elaboración de las nuevas versiones. En total, fueron necesarias dos rondas para alcanzar niveles adecuados de consenso, que se desarrolla- ron desde diciembre 2014 a Marzo de 2015. Tras la primera ronda, se envió un feed back a los expertos y la versión definitiva y una carta de agradecimiento tras la segunda ronda.
I TALLER DE INNOVACIÓN EDUCATIVA
El análisis de validez de contenido se realizó siguiendo la metodología de Polit y Beck (2006) [4]. El índice de validez de contenido (validez adecuada I-CVI≥0.78) y el coeficiente modificado de Kappa (buena relevancia Km≥0.6) se calcularon para cada criterio y nivel de evaluación de cada rúbrica. Se calculó el coeficiente global de vali- dez de contenido (validez adecuada S-CVI≥0,8) para cada criterio y rúbrica.
3. RESULTADOS
La versión definitiva de la rúbrica del proceso de elaboración del tFg se compuso de 8 criterios y un S-CVI=0.93, la rúbrica de la memoria de 7 criterios (S-CVI=0.9), y la rúbrica de la defensa de 4 criterios (S-CVI=0.86). Todas la rúbricas incorporaron 4 niveles de evaluación (insuficiente=2,5, suficiente=5, notable=7,5 y excelente=10) y se mantuvo la ponderación propuesta sobre la calificación final (proceso de elaboración 50%; memoria 30%; exposición y defensa 20%). Un criterio de la rúbrica de evalua- ción del proceso de elaboración del tFg (‘Alcanza los objetivos pactados con el tutor
en las entregas’; S-CVI=0.76) y un criterio de la rúbrica de evaluación de la memoria
(‘Objetivos relevantes y medibles. La metodología permite alcanzarlos y se presenta
de forma clara y concisa’; S-CVI=0.76) no alcanzaron valores adecuados de S-CVI,
aunque el S-CVI de cada rúbrica se consideró excelente y el equipo de investigación decidió mantenerlos (Apéndices 1, 2 y 3).
4. DISCUSIÓN
La elaboración de un tFg es el último paso para obtener el Grado en Enfermería en España [5]. La evaluación efectiva de los tFg en enfermería requiere herramientas fiables y válidas que permitan una evaluación objetiva, ya que es un proceso largo y complejo en el que intervienen diferentes actores. Las rúbricas son ampliamente utili- zadas en la educación en enfermería, permitiendo una evaluación objetiva incluso con diferentes evaluadores, aunque para ello deben estar validadas [6]. En la revisión de la literatura no se han encontrado otros estudios que validen rúbricas como herramienta de evaluación de los tFg, en el ámbito nacional o internacional.
CONCLUSIONES
La metodología utilizada ha permitido desarrollar un sistema de 3 rúbricas que per- mite evaluar el proceso de elaboración del tFg, la memoria o documento del tFg y la
defensa del tFg. Este sistema de 3 rúbricas presenta resultados globales buenos o exce- lentes de validez de contenido, así como los criterios de evaluación y sus descriptores en 4 niveles de evaluación. Queda pendiente aplicarlas en la evaluación de los tFg para estudiar su consistencia interna y la fiabilidad inter e intraobservador.
REFERENCIAS
1. Real Decreto 1393/2007, de 29 de octubre, por el que se establece la ordenación de las enseñanzas universitarias oficiales. Boletín Oficial del Estado núm. 260, de 30/10/2007. Ministerio de Educación y ciencia; España
2. isAAcson JJ, stAcy As. Rubrics for clinical evaluation: Objectifying the subjective experience.
Nurse Education in Practice. 2009 (9): 134-140. DOI: 10.1016/j.nepr.2008.10.015.
3. Polit DF, Beck CT. Nursing research: generating and assessing evidence for nursing practice. 9ª Edición, Philadelphia: Wolters Kluwer Health/Lippincott Williams & Wilkins, 2012. ISBN: 9781451109146.
4. gAllArt, A., bArdAllo, m.d., de JuAn, m.A., rodríguez, e., Fuster, P., monForte-royo,
c. Impact of the Bachelor’s theses on the nursing profession. Nurse Education Today. 2009 35(1):16-7. DOI:10.1016/j.nedt.2014.09.011
5. shiPmAn, d., roA, m., hooten, J., WAng, zJ. Using the analityc rubric as an evaluation
tool in nursign education: The positive and de negative. Nurse Education Today. 2012
32(3):246-9. DOI: 10.1016/j.nedt.2011.04.007
6. mAciá soler, l., orts cortés, i., gAliAnA sánchez, m., ors montenegro, A. Simultaneous
implementation of the Bachelor, Master and PhD degrees in the Universidad Jaume I. Castellón de la Plana, Spain. Investigación y Educación en Enfermería. 2013 31(2):
I TALLER DE INNOVACIÓN EDUCATIVA