CONSUMER ANALYSIS

La validación del modelo se llevó a cabo mediante la implementación de un prototipo al que se le evaluó su desempeño a través de métricas con el fin de validar las características más importantes del sistema. Las seis métricas consideradas son las siguientes:

a) Rendimiento del sistema.

b) Experiencia del usuario con respecto a las recomendaciones de GUI. c) Experiencia del usuario con respecto a las recomendaciones de OAs. d) Comportamiento del prototipo en los navegadores.

e) Usabilidad.

f) Grado de resistencia a la sobrecarga. Validación de la Métrica “Rendimiento del sistema”

Para aplicar la métrica del rendimiento del sistema se tomó como muestra inicial el tiempo que cada usuario invirtió en modificar la interfaz inicial del sistema según sus preferencias, los datos obtenidos fueron los siguientes: (1) promedio 76.5 seg, (2) mínimo 21 seg y (3) máximo 154 seg.

Luego se les pidió a 12 usuarios que no contaban con la funcionalidad adaptativa del sistema, modificar la interfaz inicial del sistema, los resultados obtenidos por este grupo fueron los siguientes: El promedio del tiempo empleado en la modificación de la interfaz gráfica fue de 65.9 segundos, con un valor mínimo de 3 segundos y un valor máximo de 170 segundos. A continuación, se realizó el mismo ejercicio con 16 usuarios los cuales si tenían la funcionalidad adaptativa del sistema y los datos obtenidos fueron los siguientes: El

promedio del tiempo empleado en la modificación de la interfaz gráfica fue de 14.3 segundos, con un valor mínimo de 0 segundos y un valor máximo de 71 segundos.

Se puede concluir que la métrica de rendimiento produce resultados satisfactorios ya que para la mayoría de los formatos de los OAs seleccionados los usuarios aceptaron la distribución que el sistema propone, además se logra disminuir los tiempos de modificación de la GUI (característica de adaptabilidad) por parte de aquellos usuarios que no aceptaron la recomendación ofrecida por la interfaz adaptativa.

Validación Métrica “Experiencia del usuario con respecto a las recomendaciones de GUI”

Para validar esta métrica se tomaron datos de usuarios que utilizaron el sistema sin la funcionalidad adaptativa y con esta, estos datos se dividieron según el tipo de formato del OA que se estaba visualizando y se obtuvo la tabla1, que se muestra a continuación:

Tabla 1: Porcentaje de aceptación de las distribuciones propuestas. Tomada de (Quiroz, 2017).

Formato Porcentaje de aceptación

Video 56.3%

PDF 62.5%

Imagen 87.5%

Al analizar los resultados se puede concluir que la función adaptativa del sistema logra disminuir los tiempos que se invierten en la modificación de la interfaz por parte de los usuarios. Lo anterior debido a que la interfaz adaptativa realizó propuestas de distribución de los páneles, basado en el histórico de distribuciones realizadas por los usuarios y otros usuarios con un perfil de usuario similar.

Validación Métrica “Experiencia del usuario con respecto a las recomendaciones de OAs”

La validación de esta métrica se realizó mediante 2 pruebas: (1) se realizó a los usuarios una encuesta de percepción y (2) con 20 OAs de 4 temáticas diferentes se validó si el sistema entregaba el número de

recomendaciones correcta.

En la figura 4 se pueden observar los resultados de la encuesta realizada, Las respuestas de la encuesta tenían un valor de 1 a 5, siendo 1 la peor calificación y 5 la mejor.

Fig. 4. Encuesta sobre OAs recomendados por el SR. Tomada de (Quiroz, 2017).

La tabla 2 presenta los resultados de las recomendaciones realizadas por el SR y cuál es el porcentaje de acierto del sistema.

Tabla 2: Porcentaje de acierto del SR en las recomendaciones. Tomada de (Quiroz, 2017).

Categoría OAs recomendados OAs que se debieron _{de recomendar} Porcentaje de acierto

1 3 6 50%

2 6 8 75%

3 2 2 100%

4 3 5 60%

Se puede concluir según los resultados de la tabla 2 que las recomendaciones del SR por los diferentes filtrados (Colaborativo, Conocimiento y contenido) tienen un alto porcentaje de acierto.

Validación métrica de comportamiento del prototipo en los navegadores

El prototipo realizado se validó en 4 diferentes exploradores, con la intención de verificar si todos los componentes se visualizan correctamente, también se verificó que todas las características funcionaran correctamente. En la tabla 3 se puede observar todos los criterios con los que se realizó la evaluación del sistema en los navegadores.

Tabla 3: Validación del sistema en los navegadores. Tomada de (Quiroz, 2017).

Funcionalidad Chrome Firefox Edge Safari

¿Se visualiza correctamente todos los elementos de la GUI? SI NO SI SI ¿La funcionalidad adaptable de la GUI funciona correctamente? SI SI SI SI ¿La funcionalidad adaptativa de la GUI funciona correctamente? SI SI SI SI

¿Los OAs con formato video se visualizan correctamente?

NO SI NO NO

¿Los OAs con formato PDF se visualizan correctamente?

SI SI NO SI

¿Los OAs con formato imagen se visualizan correctamente?

Si SI NO SI

Los resultados de esta evaluación fueron bastante positivos dado que en todos los navegadores la funcionalidad adaptativa y adaptable del prototipo funcionó correctamente. Además, la mayoría de los formatos con los que se realizaron los casos de prueba se visualizan correctamente en todos los exploradores, en el caso del formato video en los navegadores Chrome y Safari, se descarga el archivo del video al computador del usuario por lo cual el video no se visualiza mediante el prototipo; en el caso del navegador Edge al tratar de visualizar el video aparece un error en el panel de contenido y tampoco se descarga el video.

En la visualización de los componentes, el único navegador que presenta algún defecto es Firefox ya que este no muestra el icono que aparece en la esquina superior izquierda en la mayoría de las pantallas. Validación métrica de usabilidad

Para validar la métrica de Usabilidad de la Interfaz se le preguntó a los usuarios del sistema sobre 4 de los páneles que componen la interfaz a saber: Menú, Notas, Búsquedas y Repositorio (No se preguntó por el

panel de contenido), las respuestas de la encuesta tenían un valor de 1 a 5, siendo 1 la peor calificación y 5 la mejor. En la figura 5 se pueden observar los resultados de la encuesta.

Fig. 5. Encuesta sobre los paneles de la GUI. Tomada de (Quiroz, 2017).

De los datos obtenidos se puede observar que la mayoría de los paneles fueron útiles para los participantes exceptuando el panel de repositorios, el cual solo tuvo un 45% de aceptación; los usuarios expresaron que sería más usable el prototipo si la función del panel de repositorio fuera integrado al panel de contenido. Validación métrica grado de resistencia a la sobrecarga

Para realizar la validación de esta métrica se obtuvo el promedio de respuesta del sistema el cual fue de 0.17 segundos entre OAs con formato video, imagen y PDF, a continuación, se realizó una prueba de estrés de 1000 peticiones. La figura 6 presenta los tiempos de respuesta del sistema al seleccionar un OA.

Fig. 2. Tiempos de respuesta al seleccionar un OA. Tomada de (Quiroz, 2017).

De los datos obtenidos de la prueba se puede concluir que el grado de resistencia a la sobrecarga del sistema es muy buena, ya que el valor máximo de respuesta es de 0.5 segundos a pesar del gran número de peticiones realizadas.

CONCLUSIONES

El modelo de interfaz adaptativa propuesto aporta al problema de la sobrecarga de recursos educativos que existen en los repositorios o federaciones de OAs, ya que está en la capacidad de recomendar OAs apropiados, los cuales se adecuan a las características del usuario (i.e. el estilo de aprendizaje). Adicionalmente, la interfaz adaptativa aporta elementos de adaptabilidad al otorgar una flexibilidad al usuario en la visualización de contenidos (Cambios en tamaño y posición de los páneles).

A continuación, se listan algunos de los resultados obtenidos en el proceso de validación del prototipo implementado:

Las recomendaciones inferidas por parte de la ontología para la distribución de la GUI son aceptadas por los usuarios en la mayoría de los casos.

Los casos en los cuales los usuarios no aceptan la recomendación de la interfaz adaptativa, se evidenció una reducción en el tiempo para realizar la modificación en la GUI.

Las recomendaciones del SR por los diferentes filtrados (Colaborativo, Conocimiento y contenido) tienen un alto porcentaje de acierto.

La visualización y funcionamiento del prototipo en los diferentes navegadores (Chrome, Firefox, Edge y Safari) fue satisfactoria, pues en la mayoría de estos se visualizan los componentes de la GUI correctamente, además de que su funcionamiento es adecuado.

La prueba de estrés realizada sobre el sistema, demuestra la capacidad de soportar una gran carga sin un impacto significativo en el tiempo de respuesta de las peticiones.

Los resultados obtenidos a partir de la validación del prototipo implementado demuestran que este tipo de sistemas son viables y se pueden aplicar a entornos de e-learning, aumentando de esta manera el interés de los estudiantes en encontrar nuevos recursos que amplíen su conocimiento. Finalmente, se evidencian las bondades de utilizar agentes inteligentes, ontologías y perfiles de usuario para construir interfaces de usuario adaptativas.

AGRADECIMIENTOS

La investigación presentada en este artículo fue financiada parcialmente por la beca de Jóvenes investigadores de COLCIENCIAS, otorgada a Thomas Quiroz a través de la Convocatoria 760

“Convocatoria Nacional de Jóvenes Investigadores e Innovadores 2015”.

REFERENCIAS

Alaoui, S., Idrissi, Y. E. B. E., & Ajhoun, R. Building rich user profile based on intentional perspective. Procedia Computer Science, 73, 342-349 (2015).

Felder, R. M., & Silverman, L. K. Learning and teaching styles in engineering education. Engineering education, 78(7), 674-681 (1998).

Ghédira, C., Maret, P., Fayn, J., & Rubel, P. Adaptive user interface customization through browsing knowledge capitalization. International Journal of Medical …, 68, 219–228 (2002).

Jorritsma, W., Cnossen, F., & van Ooijen, P. M. Adaptive support for user interface customization: a study in radiology. International Journal of Human-Computer Studies, 77, 1-9 (2015).

Learning Technology Standards Committee. IEEE Standard for Learning Object Metadata.Institute of Electrical and ElectronicsEngineers, New York (2002).

Letsu-Dake, E., & Ntuen, C. A. A case study of experimental evaluation of adaptive interfaces. International Journal of Industrial Ergonomics, 40(1), 34–40. doi: 10.1016/j.ergon.2009.10.002 8 (2009).

Lin, P., Thangarajah, J., & Winikoff, M. The Prometheus Design Tool (PDT) supports the structured design of intelligent agent systems. In Proceedings of the 23rd national conference on Artificial intelligence - Volume 3 (pp. 1884–1885). Chicago: AAAI Press (2008).

OWL Web Ontology Language-Overview, http://www.w3.org/TR/owl2-overview/ Acceso: 12 de diciembre (2016).

Padgham, L., Thangarajah, J., and Winikoff, M.: “Tool support for agent development using the Prometheus

Park, J., Han, S. H., Park, Y. S., & Cho, Y. Adaptable versus adaptive menus on the desktop: Performance and user satisfaction. International Journal of Industrial Ergonomics, 37(8), 675–684. doi: 10.1016/j.ergon.2007.04.006 (2007).

Park, J., & Han, S. H. Complementary menus: Combining adaptable and adaptive approaches for menu interface. International Journal of Industrial Ergonomics, 41(3), 305–316. doi: 10.1016/j.ergon.2011.01.010 (2011).

Park, D. H., Kim, H. K., Choi, I. Y., & Kim, J. K. A literature review and classification of recommender systems research. Expert Systems with Applications, 39(11), 10059-10072 (2012).

Protegé. Ontology Tool, http://protege.stanford.edu/. Acceso: 12 de diciembre (2016).

Quiroz, T. Modelo de interfaz adaptativa para recomendación de objetos de aprendizaje basado en perfiles de usuario, agentes inteligentes y ontologías. Tesis de Maestría en Ingeniería de Sistemas, Universidad Nacional de Colombia - Sede Medellín (2017).

Ravi, R., Kumar, A., Bijlani, K., & Sharika, T. R. Self-Adaptive Interface for Comprehensive Authoring. Procedia Computer Science, 58, 158-164 (2015).

Rodríguez, P. Modelo de recomendación adaptativa de objetos de aprendizaje en el marco de una federación de repositorios, apoyado en agentes inteligentes y perfiles de usuario. Tesis de Maestría en Ingeniería de Sistemas, Universidad Nacional de Colombia - Sede Medellín (2013).

Salazar, O. Modelo de Sistema Multi-Agente ubicuo adaptativo y sensible al contexto para ofrecer recomendaciones personalizadas de recursos educativos basado en ontologías. Tesis de Maestría en Ingeniería de Sistemas, Universidad Nacional de Colombia - Sede Medellín (2015).

Sanjuán, O., Torres, E., Castán, H., Gonzalez, R., Pelayo, C., & Rodriguez, L. Viabilidad de la aplicación de Sistemas de Recomendación a entornos de e-learning. Universidad de Oviedo, España (2009).

Shakshuki, E. M., Reid, M., & Sheltami, T. R. Dynamic Healthcare Interface for Patients. Procedia Computer Science, 63, 356-365 (2015).

Wang, S. L., & Wu, C. Y. (2011). Application of context-aware and personalized recommendation to implement an adaptive ubiquitous learning system. Expert Systems with Applications 38 pp.10831–10838 8 (2011).

Wooldridge, M., An introduction to multi-agent systems. Second edition, Wiley Publishers. United Kingdom, (2009).