A Systematic Review of the Evidence

 Especificar y validar el contexto de evaluación.

 Evaluar el sistema en uso.

El objetivo de esta prueba de usabilidad fue evaluar el prototipo final de la aplicación con el fin de determinar si esta le permitía a un usuario potencial completar tareas de rutina. Las pruebas fueron realizadas en el lugar de trabajo de cada uno de los participantes. Las sesiones de evaluación se registraron y analizaron para poder identificar las áreas potenciales de mejora de la aplicación. Para el desarrollo de la prueba se utilizaron los siguientes elementos:

 Un Smartphone Samsung Galaxy Note II con pantalla Super AMOLED HD

de 5,5’’, al cual se había instalado previamente la aplicación StressOut.

 Un Smartphone Samsung Galaxy S4 con pantalla Full HD Super AMOLED

de 4,99’’, al cual se había instalado previamente la aplicación StressOut.

 Dos Tabletas Samsung utilizadas para grabar la forma como este

interactuaba con la aplicación.

Para conducir la prueba se usó el método de observación directa Think Aloud, en el cual se le pide al usuario que exprese en voz alta sus pensamientos, sensaciones y opiniones mientras realiza una tarea. El moderador de la prueba se encargó de guiar al usuario en una serie de tareas, mientras que el otro miembro del equipo tomaba notas. En la sesión se capturaron las opciones de navegación elegidas por cada participante, las tasas de finalización de tareas y comentarios generales de la prueba. Además, se evaluaron algunas métricas de usabilidad de la ISO 9126: claridad de mensajes, claridad en los elementos de la interfaz, consistencia operacional en uso, interacción atractiva, la escala de satisfacción del usuario, cumplimiento de la usabilidad y completitud de la documentación y/o ayuda para el usuario.

4.4.2.1. Especificar y validar el contexto de evaluación

Esta prueba se llevó a cabo en las instalaciones de la FIET entre el 12 y 14 de Noviembre de 2014. En la prueba participaron un total de 12 trabajadores de la Facultad: 6 docentes y 6 administrativos diferentes a los participantes en las evaluaciones del Prototipo 1 y 2. Cada sesión individual duró aproximadamente 30 minutos, y se realizó en el lugar de trabajo de cada uno de los participantes,

90

buscando garantizar que el contexto de evaluación se asemejara al contexto de uso de la aplicación.

4.4.2.2. Evaluar el sistema en uso

En el ANEXO M se presenta el informe de la prueba se usabilidad; en este se explican en detalle los resultados para cada una de las métricas definidas en la sección anterior. En la Tabla 31 se presentan los porcentajes de éxito para cada una de las tareas definidas en la prueba.

Tabla 31. Resultados de los porcentajes de éxito de la evaluación del Prototipo Final.

Participante Tarea 1 Tarea 2 Tarea 3 Tarea 4 Tarea 5 Tarea 6 Tarea 7

1 √ √ √ √ √ √ √ 2 - - √ √ √ - √ 3 √ √ √ √ √ √ √ 4 √ - √ √ √ - √ 5 √ √ √ √ √ √ √ 6 √ - √ √ √ √ √ 7 √ √ √ √ √ √ √ 8 √ - √ √ √ √ √ 9 √ - √ √ √ √ √ 10 √ - √ √ √ √ √ 11 √ - √ √ √ √ √ 12 √ - √ √ √ √ √ Éxito 11 4 12 12 12 10 12 % 91,7% 33,3% 100% 100% 100% 83,3% 100%

La mayoría de participantes completaron satisfactoriamente las tareas asignadas. Sin embargo, se observa que solo el 33,3% de los participantes identificaron Ejercítate como el módulo para realizar ejercicios de gimnasia laboral. La gran mayoría pensó erróneamente que podían realizar la tarea en el Módulo de Relájate. Sin embargo, una vez los usuarios se percataban que el módulo correcto era el de Ejercítate, eran capaces de navegar por dicho módulo sin problemas. Una posible justificación de lo anterior es la selección del tipo de ejercicio: se les pedía a las personas que cuando “en un día de trabajo normal usted ha estado trabajando en su computador por mucho tiempo y a causa del estrés ha empezado

91

a sentir los ojos un poco cansados” encontraran en la aplicación una opción para poder descansar sus ojos, y es posible que la mayoría de las personas asociaran la tarea de “descansar los ojos” con una actividad de relajación, y no una actividad de ejercicio para los ojos. Además, sólo un usuario no relacionó la aplicación con el estrés, un participante no identificó el módulo para mirar su progreso y otro que si identificó el módulo no pudo interpretar su resultado.

En lo relacionado a la evaluación de la claridad de mensajes, se observó que los usuarios tuvieron un promedio de 0,94, valor que se encuentra muy por encima del objetivo propuesto (0,70). Ningún usuario tuvo un puntaje inferior a 0,70.

En lo relacionado a la evaluación de la claridad en los elementos de la interfaz, se observó que los usuarios tuvieron un promedio de 0,95, valor que se encuentra muy por encima del objetivo propuesto (0,70). Ningún usuario tuvo un puntaje inferior a 0,70.

Respecto a la consistencia operacional en el uso, dado que ningún usuario encontró inconsistencias en la aplicación, se obtiene una medida de 1 para esta métrica.

Respecto a la evaluación de satisfacción, al promediar los puntajes finales de cada participante, se obtuvo un valor de 89,38. De manera similar a la evaluación de satisfacción del Prototipo 2, es posible afirmar que los resultados obtenidos en esta evaluación fueron altamente positivos y que el nuevo puntaje superó al obtenido en la prueba anterior (81,25). Sin embargo, uno de los usuarios obtuvo un puntaje final de 52,5 el cual puede ser considerado bajo; una explicación para lo anterior es el hecho de que este participante era el que menos experiencia tenía con el uso de tecnologías móviles (smartphones y aplicaciones móviles).

En lo relacionado al cumplimiento de la usabilidad, para este trabajo de grado se siguió una metodología de diseño centrado en el usuario, tomando como guía las recomendaciones del Modelo ISO de Madurez en Usabilidad (MMU-ISO), para el cual se establecieron metas claras de usabilidad y experiencia adaptadas de la Norma ISO 9126. Además, para la evaluación de la percepción de los usuarios acerca de la solución móvil, se usó como guía metodológica DESMET. Por todo lo anterior, es posible afirmar que se da cumplimiento a este objetivo de calidad. Finalmente, en el ANEXO N se presenta el manual de usuario de la aplicación. Con esto se da por cumplido el objetivo de calidad “Completitud de la usabilidad y/o ayuda para el usuario”.

92 4.4.2.3. Indicadores de éxito del DCU 6

Dentro de la fase de evaluación es necesario definir unos indicadores de éxito del Prototipo Final. Estos son los mismos que se presentaron en la Tabla 27 de la Sección 4.2.2.3.

4.5. CONCLUSIONES

En este capítulo se presentaron los tres prototipos de la aplicación y se detallaron las actividades desarrolladas durante los 2 últimos ciclos del DCU. El Prototipo 1 diseñado en papel permitió definir el flujo de navegación de la aplicación. El Prototipo 2 permitió definir el diseño gráfico y corroborar el flujo de navegación de la aplicación. El Prototipo Final que corresponde a la solución software con implementación de la lógica de la aplicación, permitió evaluar la percepción que tenían un grupo de trabajadores de la FIET sobre las preferencias implementadas en la solución móvil desarrollada.

Para evaluar cada prototipo se usó el método de observación directa Think Aloud, en el cual se le pide al usuario que exprese en voz alta sus pensamientos, sensaciones y opiniones mientras realiza una tarea. Además se siguió la guía para pruebas de usabilidad desarrollada por el Departamento de Salud y Servicios Humanos (Department of Health and Human Services) de Estados Unidos [19]. Para la evaluación se tuvieron en cuenta algunas métricas definidas en la ISO 9126, las cuales se detallaron en la Sección 3.3.4.

La evaluación del Prototipo Final mostró que el grupo de trabajadores que participaron en dicha evaluación tuvieron una percepción positiva de la aplicación, particularmente destaca el resultado obtenido en la escala de satisfacción, para la cual se obtuvo un puntaje promedio de 89,38, el cual es altamente positivo. Además, los participantes no encontraron inconsistencias en el sistema, en las funciones ni en los mensajes implementados.

En el siguiente capítulo se presentan las conclusiones finales del proyecto de grado y los posibles trabajos futuros a los que este da lugar.

93