ADOPTION OF A MIXED METHOD APPROACH IN THIS STUDY 71

Una noción global de la calidad de los OA implica un número de factores entre los que se incluyen aspectos pedagógicos, técnicos y de facilidad de uso (Sinclair et al., 2013). En la actualidad existe una gran variedad de enfoques en lo que se refiere a evaluar la calidad de los OA, no existiendo consenso al respecto, ni modelos estandarizados de evaluación. A continuación se exponen los aspectos que diversos autores consideran relevantes a la hora de evaluar la calidad de los OA.

Kay y Knaack (2008) crearon un modelo multicomponente, basado en una amplia revisión bibliográfica, llamado Learning Object Evaluation Metric (LOEM). El modelo se centraba en la opinión de los alumnos. Posteriormente, los mismos autores (Kay y Knaack, 2009) crearon Learning Object Evaluation Scale for Students (LOES-S), escala de tres dimensiones (véase Tabla 2-8) referida a la percepción de los alumnos de cuanto aprendieron usando el OA. La justificación del modelo, para los autores, es que hasta esa fecha la evaluación de los OA se hacía en la fase de diseño y desarrollo, omitiéndose la opinión de los alumnos, opinión relevante para los autores. Kay (2011) volvió a revisar y evaluar LOES-S, manteniendo las tres dimensiones y modificando levemente los ítems de la escala. Los autores evaluaron

la fiabilidad y validez de la escala de cada modelo utilizando, en cada caso, una amplia muestra de alumnos y profesores de enseñanza primaria y secundaria (middle

and secondary schools).

Tabla 2-8. Dimensiones para la evaluación de OA (Kay, 2011; Kay y Knaack, 2009)

Dimensión Descripción

Aprendizaje Evalúan la precepción del estudiante de lo mucho que aprendió con

el uso del objeto de aprendizaje.

Calidad (diseño educativo) Evalúan las características de diseño educativo claves identificados

por Kay y Knaack (2007): funciones de ayuda, la claridad de las instrucciones, la facilidad de uso, y la organización.

Compromiso Evalúan cómo de participativo/involucrado estuvo el estudiante con

respecto al uso del objeto de aprendizaje.

Otro grupo de investigadores entre los que se encuentran Morales, García, Barrón, Berlanga y López (2005) y Muñoz, Conde y García (2009) trabajan sobre la aplicación informática HEODAR (Herramienta de Evaluación de Objetos Didácticos de Aprendizaje Reutilizables). Esta herramienta utiliza criterios específicos para valorar de forma integral aspectos técnicos y pedagógicos de los OA, y está integrada como un módulo más dentro de las actividades de Moodle v 1.9 en la plataforma Studium de la Universidad de Salamanca (Morales, Muñoz, Conde y García Peñalvo, 2010).

El objetivo de los autores es poder disponer de una herramienta de evaluación automática de OA basada en dos aspectos, en cada uno de los cuales se tienen en cuenta dos puntos de vista:

Pedagógicos: Psicopedagógicos Didáctico curriculares

Usabilidad: Diseño de interfaz Diseño de navegación

La valoración de los OA la hacen los propios alumnos como una actividad más del curso, lo que proporciona al creador del OA una visión de la percepción y satisfacción que tienen los alumnos sobre el mismo. Los alumnos responden a

preguntas relacionadas con los contenidos didáctico/pedagógicos y con aspectos del diseño del OA.

Para el grupo de investigadores formado por Vidal et al. (2008) las características y los rasgos para la evaluación de la calidad del software en general, recogidos en la norma ISO/IEC 9126: Information technology, pueden servir para evaluar la calidad de los OA si se les considera como elementos de software en un sentido amplio.

La propuesta de Vidal et al. (2008) se centra en la evaluación que realiza el profesor en el momento de elegir un OA para utilizarlo en la construcción de un curso, en base a sus objetivos educativos. Este modelo proporciona al profesor una herramienta para que pueda elegir el OA que posea un mayor grado de calidad, dejando a su criterio decidir si se ajusta a sus necesidades pedagógicas. La características, subcaracterísticas y rasgos (Tabla 2-9) propuestos en este modelo se basan en su mayoría en el estándar ISO 9126.

Tabla 2-9. Dimensiones para la evaluación de OA (Vidal et al., 2008)

Características Subcaracterísticas Funcionalidad Adecuación Exactitud Interoperabilidad Conformidad Usabilidad _{Recuperabilidad} Compresibilidad Facilidad de aprendizaje Atracción Operabilidad Conformidad

Eficiencia _{Tiempo de respuesta}

Utilización de recursos Facilidad de instalación Coexistencia

Reutilización Reutilización de contenido

Diseño reutilizable

Los investigadores Nesbit et al. (2003) crearon Learning Object Review

Instrument (LORI) que nace con el propósito de facilitar la comparación entre OA.

evaluación donde estos pueden calificar y hacer observaciones sobre los OA con respecto a nueve dimensiones descritas en la Tabla 2-10.

Cada una de estas dimensiones se evalúa mediante una escala de cinco niveles, más la opción NA (no aplicable). En Vargo, Nesbit, Belfer y Archambault (2003) se demostró la fiabilidad de este instrumento.

Tabla 2-10. Dimensiones para la evaluación de OA (Nesbit et al., 2003)

Dimensión Descripción

Calidad de contenido Veracidad, exactitud, presentación equilibrada de las ideas y el nivel

de detalle apropiado.

Alineamiento de los OA Alineación entre los objetivos de aprendizaje, actividades,

evaluaciones y las características del alumno. Retroalimentación y

adaptación Contenido adaptable, o guiado por la retroalimentación, a las diferentes interacciones (entradas) del alumno o al modelo

educativo.

Motivación Capacidad de motivar e interesar a una población identificada de

estudiantes.

Diseño de presentación Diseño de la información visual y auditiva para mejorar el

aprendizaje y el proceso mental eficiente.

Interface fácil de utilizar Facilidad de navegación, previsibilidad de la interfaz de usuario y

calidad de la interface de la ayuda.

Accesibilidad Diseño de controles y formatos de presentación que se acomoden a

los alumnos con discapacidades.

Reutilización Capacidad para ser utilizado en diferentes contextos de aprendizaje y

con alumnos de diferentes orígenes.

Cumplimiento de estándares Cumplimiento de las normas y especificaciones internacionales.

El Centre for Excellence in Teaching & Learning in Reusable Learning Objects (RLO-CETL) de la Universidad de Nottingham creó la herramienta LOAM (Learning Object Attribute Metric) para la evaluación de materiales e-learning. Esta herramienta permite la selección de una serie de atributos o criterios por medio de los cuales el usuario desea evaluar los materiales de aprendizaje, proporcionando una serie de herramientas con las que dicha evaluación se llevará a cabo y se mostraran los resultados (Windle, Wharrad, Leeder y Morales, 2012). Esta herramienta está basada en IMS Learning Design (IMS Global Learning Consortium, 2003).

La herramienta evalúa tres categorías y doce atributos pedagógicos (Figura 2-1). Las categorías son: (a) entorno (environment), que tiene en cuenta tanto los elementos multimedia que forman el entorno creado como los antecedentes que sitúan el OA dentro del contexto más amplio de la experiencia de los estudiantes; (b) papeles (roles), considera el papel que el estudiante asume frente al OA (destinatario de la información, navegador, autoexaminador, etc.); y (c) actividad (activity), el tipo y alcance de las actividades que el OA contiene y que pueden ser llevadas a cabo por el estudiante.

Los atributos pedagógicos son: interactividad, objetivo, integración, contexto, riqueza multimedia, prerrequisitos, apoyo, feedback, autodirección, navegación, evaluación y alineación con los fines pedagógicos. Los atributos son evaluados sobre una escala de uno a cinco.

Figura 2-1. Herramienta LOAM. Fuente: Windle et al. (2012)

El repositorio MERLOT realiza la evaluación de la calidad de los OA que

almacena y proporciona una lista con el ranking de los objetos evaluados. La evaluación de los OA se realiza por medio de: (a) revisión por pares (peer review) basada en tres criterios de evaluación: calidad del contenido, potencial de la efectividad como herramienta de enseñanza-aprendizaje y facilidad de uso; y (b) la opinión de los usuarios, que pueden realizar comentarios sobre el OA y otorgar una puntuación. En ambos casos el OA obtiene una valoración de una a cinco estrellas.