Especificar y validar el contexto de evaluación.
Evaluar prototipo para mejorar el diseño.
El objetivo de esta prueba de usabilidad fue evaluar un segundo prototipo de la aplicación con el fin de determinar si las interfaces diseñadas le permitían a un usuario potencial de la aplicación completar tareas de rutina. Las pruebas fueron realizadas en el lugar de trabajo de cada uno de los participantes. Las sesiones de evaluación se registraron y analizaron para poder identificar las áreas potenciales de mejora de la aplicación.
Para el desarrollo de la prueba se utilizaron los siguientes elementos:
Un Smartphone Samsung Galaxy Note II con pantalla Super AMOLED HD
de 5,5’’. El celular tenía instalada la aplicación “Justinmind”, la cual permite
72
Dos Tabletas Samsung utilizadas para grabar el rostro del participante y la forma como este interactuaba con la aplicación.
Para conducir la prueba se usó el método de observación directa Think Aloud, en el cual se le pide al usuario que exprese en voz alta sus pensamientos, sensaciones y opiniones mientras realiza una tarea. El moderador de la prueba se encargó de guiar al usuario en una serie de tareas, mientras que el otro miembro del equipo tomaba notas. En la sesión se capturaron las opciones de navegación elegidas por cada participante, las tasas de finalización de tareas y comentarios generales de la prueba. Además, se evaluaron las siguientes métricas de usabilidad de la ISO 9126: funciones evidentes, funciones fáciles de comprender, interacción atractiva y la escala de satisfacción del usuario, según se definieron en la Sección 3.3.4.
4.3.2.1. Especificar y validar el contexto de evaluación
Esta prueba se llevó a cabo en las instalaciones de la FIET entre el 20 y 23 de Octubre de 2014. En la prueba participaron un total de 6 trabajadores de la Facultad: 3 docentes y 3 administrativos diferentes a los participantes en la evaluación del Prototipo 1. Cada sesión individual duró aproximadamente 30 minutos, y se realizó en el lugar de trabajo de cada uno de los participantes, buscando garantizar que el contexto de evaluación se asemejara al contexto de uso de la aplicación.
4.3.2.2. Evaluar prototipo para mejorar el diseño
En el ANEXO I se presenta el informe de la prueba se usabilidad; en este se explican en detalle los resultados para cada una de las métricas definidas en la sección anterior. En la Tabla 29 se presentan los porcentajes de éxito para cada una de las tareas definidas en la prueba.
73
Tabla 29. Resultados de los porcentajes de éxito de la evaluación del Prototipo 2.
Participante Tarea 1 Tarea 2 Tarea 3 Tarea 4 Tarea 5 Tarea 6 Tarea 7
1 √ √ √ √ √ √ √ 2 √ √ √ √ √ √ - 3 √ √ √ √ √ - √ 4 √ - √ √ √ √ √ 5 √ - √ √ √ √ √ 6 - √ √ √ √ √ - Éxito 5 4 6 6 6 5 4 % 83,3% 66,6% 100% 100% 100% 83,3% 66,6%
La mayoría de participantes completaron satisfactoriamente las tareas asignadas. Sólo un usuario no relacionó la aplicación con el estrés. Dos participantes pensaron erróneamente que podrían hacer los ejercicios de gimnasia laboral en el módulo de Pausas activas. Un usuario no identificó en qué módulo podría ver su progreso de niveles de estrés y dos participantes no fueron capaces de configurar el temporizador de pausas activas.
En lo relacionado a la evaluación de las funciones evidentes, se observó que los usuarios tuvieron un promedio de 0,85, valor que se encuentra por encima del objetivo propuesto (0,70). Solamente dos usuarios tuvieron un valor por debajo de 0,70. Esto quizás se debió a que estos usuarios fueron los participantes con menos experiencia en el uso de aplicaciones móviles.
En lo relacionado a la evaluación de las funciones fáciles de comprender, se observó que los usuarios tuvieron un promedio de 0,80, valor que se encuentra por encima del objetivo propuesto (0,70). Solamente un usuario tuvo un valor por debajo de 0,70. Los dos puntajes más bajos los obtuvieron nuevamente los participantes con menor experiencia en el uso de aplicaciones móviles.
Para evaluar la escala de satisfacción del usuario, existen diferentes cuestionarios, por ejemplo: ASQ [66], CUSI [67], PSSUQ [67], QUIS [68], SUMI [69], y el SUS [70]. A pesar de que cada cuestionario tiene perspectivas únicas para evaluar la usabilidad, la mayoría incluye medidas para la satisfacción, utilidad y facilidad de uso. Para este proyecto se decidió utilizar el System Usability Scale (SUS) ya que este ha sido aplicado en gran variedad de proyectos, lo cual facilita la comparación de resultados. El SUS es un cuestionario de 10 ítems, cada uno con una escala de Likert de 1 a 5 (ver ANEXO J). Al promediar los puntajes finales de cada
74
participante, se obtuvo un valor de 81,25; en el ANEXO I se detalla cómo se obtuvo dicho puntaje. Sauro, en el libro “A Practical Guide to the System Usability
Scale: Background, Benchmarks & Best Practices” [70], expone cuál es la mejor
manera de interpretar el resultado del SUS. Sauro afirma que cualquier sistema que obtenga un puntaje mayor a 80,3 se encuentra en el 10% de los sistemas mejor evaluados. Es posible comparar el resultado obtenido en esta prueba con el reportado en el estudio de Årsand et al [71]; quienes haciendo uso del SUS evaluaron una aplicación móvil para el manejo de la Diabetes Tipo 2, obteniendo un puntaje de 84. Al tener en cuenta todo lo anterior, es posible afirmar que los resultados obtenidos en esta evaluación fueron altamente positivos, y que los usuarios estuvieron satisfechos con la aplicación.
Varios de los participantes recomendaron cambiar los colores de la aplicación, ya que en su opinión esta lucía “plana” y “uniforme”. Es recomendable diferenciar cada módulo con un color distinto y aumentar el tamaño de letra de los textos. Se debe garantizar que los usuarios puedan navegar a través de las interfaces de los submódulos de Infórmate y Mide tu estrés ya sea deslizando el dedo u oprimiendo los botones de navegación.
Se deben rediseñar los íconos de reiniciar ejercicio en el módulo de Ejercítate, el de desplegar información oculta en la lista de reproducción del módulo Relájate y el botón de configuración del temporizador de pausas activas. Además, es necesario agregar un ícono para ver información general de la aplicación, el cual debería encontrarse en el menú principal.
4.3.2.3. Indicadores de éxito del DCU 6
Dentro de la fase de evaluación es necesario definir unos indicadores de éxito del Prototipo 2. Estos son los mismos que se presentaron en la Tabla 27 de la Sección 4.2.2.3.