Effective Noise Based Weighting

Dentro de los métodos sistemáticos empíricos no solo disponemos de técnicas observacionales, sino que también contamos con técnicas de autoinforme que incluyen cuestionarios y entrevistas, entre otras pruebas (ver capítulo uno).

Cuestionarios de respuesta cerrada.

Los cuestionarios administrados en papel son una herramienta versátil que nos permiten evaluar multitud de aspectos relacionados con los visitantes, con las características de uso, satisfacción, actitudes y expectativas sobre las NTICs (ver un ejemplo de cuestionario para evaluar el uso y opinión de un dispositivo móvil en Sekiguchi y Yoshimura, 2007), así como la comprensión de los contenidos, entre otras variables cognitivas, como recuerdo y

Capítulo 3. Espacios de presentación del patrimonio y las NTICs.

147

aprendizaje. Aun así, ya comentamos en el capítulo uno las limitaciones de esta prueba que, generalmente, aconsejan combinarla con otras para realizar evaluaciones en profundidad.

La relativa facilidad para crear un instrumento como el cuestionario ha propiciado la proliferación de estudios que lo utilizan para evaluar diferentes tipos de tecnología, como realidad virtual, realidad aumentada y páginas web, aunque los estudios sobre estas últimas suelen ser los más abundantes debido a su expansión (ver un ejemplo en Munilla y Carreras, 2002). Las evaluaciones abarcan distintos aspectos de las nuevas tecnologías, entre ellos el más recurrente es el de usabilidad. Sin embargo, cada autor termina elaborando un cuestionario compuesto por escalas que se adaptan a la definición de usabilidad que mejor se adecua a las situaciones concretas que se están evaluando y al contexto específico de cada estudio, lo que dificulta la estandarización de los cuestionarios y su aplicación en otros contextos. Por ejemplo, en la tabla 3.2. se presentan las escalas de usabilidad utilizadas en dos estudios distintos.

Tabla 3.2. Comparación de dos escalas de usabilidad. Balog y Pribeanu (2009) Wang y Senecal (2007)

Ergonomía de la plataforma Fácil navegación Facilidad de uso percibida Velocidad, Percepción de su utilidad Interactividad. Diversión proporcionada

Intención con que se usa

Fuente: A partir de Balog y Pribeanu (2009) y Wang y Senecal (2007).

En el primer estudio Balog y Pribeanu (2009) diseñaron un modelo de medición de la usabilidad para evaluar un sistema de realidad aumentada que se utilizaba como un instrumento de e-learning orientado a fomentar valores educativos. En el segundo estudio, Wang y Senecal (2007) crearon una herramienta estandarizada para evaluar la usabilidad percibida de una página web. El constructo que ambos estudios admitían estudiar era la usabilidad, sin embargo, las escalas de sus cuestionarios miden cosas diferentes. Ambas escalan están diseñadas para evaluar tecnologías distintas y esto puede requerir una cierta adaptación del instrumento a cada caso concreto. Sin embargo, cuando el constructo a evaluar es el mismo sería deseable una definición consensuada, que permitiera investigar en una misma dirección. Una vez más, vemos la falta de un marco teórico común entre los investigadores, que dificulta la comparación y generalización de los resultados de sus investigaciones.

El tipo de cuestionarios más utilizados para evaluar la usabilidad, así como actitudes y expectativas son las escalas tipo Likert, en las que cada ítem está compuesto por un enunciado y unas opciones de respuesta cerradas, que expresan el grado de acuerdo o desacuerdo con el propio enunciado formulado. Un ejemplo de este tipo de estudios es el

que llevó a cabo Marty (2008), en el que elaboró un cuestionario online para evaluar qué rol juegan los recursos de los museos digitales en las vidas de los visitantes de los museos. Dentro de este tópico tan general evaluaron mediante una escala Likert con cinco opciones de respuesta la probabilidad de usar ciertos recursos de un museo digital (p.e., probabilidad de usar imágenes de piezas online, probabilidad de realizar tours online, etc.), actitudes y expectativas sobre el museo físico y su página web (p.e., grado de acuerdo con que las páginas web ofrezcan la misma información y recursos que los museos físicos, etc.) y su preferencia entre utilizar el museo físico o su página web a la hora de realizar determinadas actividades (ver piezas o colecciones, actividades educativas, acceso a material de investigación, realizar tours por las galerías o exposiciones, etc.). Otra experiencia con este tipo de cuestionarios en el contexto de patrimonio fue la realizada por Karoulis, Sylaiou y White en 2006. Estos autores elaboraron un cuestionario denominado QUIS (Questionnaire

for User Interaction Satisfaction) para evaluar una plataforma concreta: ARCO (Augmented Representation of Cultural Objects). El cuestionario QUIS incluye la evaluación de la

experiencia general del visitante con las nuevas tecnologías, su reacción respecto al sistema evaluado, disposición de las ventanas, terminología utilizada y facilidad con que se ha aprendido a utilizar la interfaz.

Empieza a ser común que para evaluar portales web se dedique una pequeña sección destacada del mismo al alojamiento de un cuestionario en su versión online (Parsons, 2007; Yalowitz y Ferguson, 2007), el cual también puede ser difundido mediante listas de distribución. Estas modalidades suelen evaluar tres tipos de información: información demográfica de los usuarios, información técnica del propio sitio web e información relacionada con la visita a la web. Entre las limitaciones señaladas en la literatura (ver Cunliffe, Kritou y Tudhope, 2001; Nordbotten, 2000) destacan los mecanismos y la naturaleza de la selección de la muestra, ya que los usuarios que por sí mismos optan por contestar un cuestionario online son, por un lado, muy escasos y, por otro, personas con unas motivaciones específicas que no son representativas del todos los usuarios de la web. La baja representatividad de la muestra se traduce en una baja representatividad de los datos, que imposibilita la obtención de conclusiones fiables. Sin embargo, poco a poco se van desarrollando métodos para conseguir usuarios que cumplimenten la evaluación online. Por ejemplo, Hsi (2007) propone incrustar las evaluaciones en la Web, de tal forma que el cuestionario solo aparezca cuando el usuario trata de realizar una descarga, que será finalizada cuando los datos de la evaluación hayan sido enviados.

Debido a que esta prueba supone una interrupción de la actividad de los usuarios en la web, es imprescindible que este tipo de cuestionarios incluyan el menor número de preguntas posible, aconsejándose la utilización de preguntas con respuestas cerradas (ver otras dificultades con cuestionarios en línea en Zhang, 1999 y algunos consejos útiles de diseño en Feinberg y Johnson, 1998).

Capítulo 3. Espacios de presentación del patrimonio y las NTICs.

149

Cuestionarios de respuesta abierta.

En estudios de carácter más exploratorio los cuestionarios utilizados suelen ser de preguntas con respuestas abiertas, lo que permite a los participantes desarrollar su propia experiencia con una mayor libertad. Un ejemplo es el estudio exploratorio llevado a cabo por Sharples, Lonsdale, Meek, Rudman y Vavoula (2007) sobre el proyecto MyArtSpace, que combina el teléfono móvil y un servicio web para implementar acciones educativas entre escuelas y museos. Una parte importante de la evaluación de este programa incluyó la exploración sobre uso y satisfacción de la experiencia mediante cuestionarios de respuestas abiertas, que exploraba cuestiones tales como: las ventajas que supone el recurso para la visita; los problemas experimentados; posibilidades de repetir la visita; su recomendación a conocidos; y su opinión acerca de si se trata de un buen instrumento para tender “puentes” entre la escuela y el museo. También pueden usarse cuestionarios de respuesta abierta para evaluar aspectos de usabilidad en estudios en los que se requiere que los usuarios desarrollen su experiencia. Por ejemplo, Streten en el año 2000 diseñó una evaluación para poner a prueba el diseño y el texto de navegación de la página web de un Museo de Ciencias. A los participantes en la evaluación se les mostraba una copia impresa de la página principal del museo y se les hacían preguntas al respecto, como por ejemplo ¿Cómo navegarías en esta página? ¿Qué esperas encontrar en cada sección? etc.

Entrevistas.

En ocasiones, los cuestionarios de respuesta abierta pueden servir de guion para elaborar entrevistas estructuradas y semiestructuradas. Esta prueba es útil para explorar cuestiones que son difíciles de expresar por escrito por su complejidad. La entrevista permite omitir o añadir preguntas en función de las respuestas previas de los participantes, lo que permite una exploración más fina y versátil. Hsi (2003) llevó una a cabo una evaluación en el Exploratorium sobre una guía móvil multimedia con conexión a Internet para explorar el uso que los visitantes hacían de la misma y su satisfacción respecto a la experiencia. El estudio combinaba la observación durante la visita y una entrevista semiestructurada tras la misma, que permitió indagar sobre las expectativas y gustos de los usuarios. Uno de los resultados más llamativos fue que mientras que una parte de los visitantes esperaban encontrar la misma información en la exposición que en el dispositivo móvil, otros, en cambio, esperaban encontrar informaciones distintas. De la misma manera, algunos usuarios preferían usarla mientras interactuaban con la exposición, mientras que otros preferían hacerlo después. Determinar qué perfiles de usuarios tienen preferencias incompatibles respecto a otros perfiles puede ser un trabajo muy arduo, pero fundamental para la creación de contenidos adaptados a los visitantes. Estas y otras cuestiones, difícilmente pueden ser exploradas en profundidad mediante pruebas distintas a la entrevista. Este tipo de estudios se llevan a cabo para explorar usos y satisfacción e impacto, fundamentalmente, de todos los tipos de tecnologías utilizadas como mediadores entre usuarios y mensaje expositivo, así Meisner, Vom Lehn, Heath, Burch, Gammon y Reisman, (2007), llevaron a cabo un estudio similar al Hsi en la Energy Gallery del London’s Science Museum para evaluar las estaciones digitales de

interpretación fijas de la exposición. Por otro lado, Yoshimura, Sekiguchi y Yabumoto (2007) realizaron un estudio a través de entrevistas para analizar la opinión del personal de distintos museos japoneses sobre la usabilidad de los sistemas de PDA que utilizaban sus respectivos museos, con el objetivo de mejorar el servicio dado al usuario final.

Las entrevistas también son útiles para explorar de algunos temas de comprensión de los contenidos transmitidos por los recursos interpretativos. En evaluaciones escritas los participantes pueden tener problemas para explicar determinados aspectos si no son expertos en la materia, mientras que durante la entrevista el evaluador puede explorar poco a poco si se ha producido o no un cambio conceptual en la comprensión del participante. En esta línea Gyllenhaal y Perry (1998) realizaron un estudio en la exposición Atmospheric Exploration del Science Museum of Minesota, en el que, a través de entrevistas semiestructuradas, lograron reconocer ciertas concepciones incompletas o erróneas que no solo permanecían tras la utilización de las simulaciones, sino que en algunos casos parecían afianzarse con su uso.

3.5.3. Técnica de análisis experto. Evaluación con dimensiones o heurísticos.

Cuando se requiere la exploración de las cuestiones técnicas de los dispositivos, es común pedir opinión sobre las mismas a expertos técnicos. En la mayor parte de los casos este tipo de evaluaciones se desarrollan de manera informal, sin una adecuada sistematicidad (métodos no sistemáticos). Sin embargo, el método sistemático racional (ver capítulo uno) nos aporta distintas técnicas que permiten una mayor rigurosidad en este tipo de evaluaciones. Una de las pruebas más utilizadas dentro de este método son las evaluaciones con dimensiones o heurísticos. Esta prueba fue originalmente propuesta por Nielsen, quien también la denomina usability inspection y la concibe como un sistema basado en la existencia de evaluadores que inspeccionan o examinan la usabilidad relativa de una interfaz para usuarios (Sutcliffe y Gault, 2004).

Los protocolos de dimensiones están diseñados para realizar un registro sistemático (que no exhaustivo, necesariamente) de la apariencia, organización, navegación y/o usabilidad, mediante un conjunto predeterminado de criterios o principios de usabilidad reconocidos, que denominamos dimensiones o heurísticos (para una discusión detallada véase Nielsen y Mack, 1994). Entre los tipos de dimensiones existentes podemos citar los siguientes (Cunliffe, Kritou y Tudhope, 2001): Coherencia y conformidad con los estándares; fácil reconocimiento de la información y previsibilidad; flexibilidad y eficiencia en el uso; eficacia; buena legibilidad; cada página debe expresar un tema o concepto; debe tener en cuenta la audiencia global. Esta prueba exige un número de evaluadores que debe rondar el número cinco y que no debe ser inferior a tres. El uso de un número inferior plantea una serie de problemas, como son la subjetividad en la valoración y la no contemplación de problemas concretos. Los evaluadores pueden ser especialistas en usabilidad, expertos del dominio de conocimiento específico sobre la que versa la aplicación que es evaluada o (preferiblemente)

Capítulo 3. Espacios de presentación del patrimonio y las NTICs.

151

expertos dobles, tanto en usabilidad como en el dominio de la experiencia (Ardito, Costabile, De Marsico, Lanzilotti, Levialdi, Plantamura, Roselli, Rossano y Tersigni, 2004).

Uno de los problemas de esta prueba es que los instrumentos (protocolos) que se utilizan no están diseñados desde el punto de vista del usuario. Por tanto, se puede informar de problemas de usabilidad falsos, es decir, aquellos que no perciben los usuarios reales. Como sabemos, gracias a los estudios comparativos sobre expertos y novatos (Simon y Chase, 1973), el punto de vista de los expertos no suele ser la mejor manera de analizar los problemas de los usuarios. Otro problema es la escasa capacidad de reutilización de los criterios y/o dimensiones, ya que aquellos que sean muy adecuados para un sitio web o tecnología determinada, pueden no serlo para otros.

Aunque los protocolos de dimensiones ya son una prueba tradicional en la evaluación de páginas web, cada vez hay más investigaciones que intentan aplicarla a nuevas tecnologías, creando nuevas dimensiones específicas para ellas y adaptando las dimensiones tradicionales a las mismas. Un ejemplo de este tipo de estudios fue llevado a cabo por Adams (2008), quien creo un protocolo de dimensiones adaptado a Second Life (Mundo virtual) y a

3D Mailbox (un gestor de correo que representa los e-mails como si fueran personajes de

videojuegos). Otro ejemplo del uso de evaluación mediante dimensiones es el sistema propuesto por Sutcliffe y Gault (2004) para evaluar la usabilidad de plataformas de realidad virtual. Este sistema se basa en las dimensiones propuestas por Nielsen para páginas web, adaptándolos a las características diferenciales de la realidad virtual. También se han creado protocolos de dimensiones para evaluar estaciones de interpretación fijas basadas en pantallas táctiles (Blignaut, 2004). Sin embargo, son necesarios más estudios para validar, refinar y poder usar como estándar este tipo de herramientas.