Tacit and explicit knowledge

Inicialmente se evaluó el marco de referencia en base a heurísticas que no incluyen los elementos particulares de una aplicación colaborativa basada en redes espontáneas inalámbricas. Sin embargo, se garantiza que se proporciona conciencia colaborativa desde el punto de vista de las aplicaciones sincronas colaborativas. Por lo tanto, se necesita realizar una evaluación mas profunda y completa.

Para realizar una mejor evaluación es necesario emplear un método formal, tales métodos están basados en el modelado de diálogos y tareas. Uno de estos métodos de evaluación es conocido como CUA (Collaboration Usability Analysis), el cual es una técnica de análisis de tareas diseñada para representar la colaboración en tareas compartidas. CUA está basado en un modelo de tareas jerárquicas que representa los elementos del proceso de una tarea de grupo en un espacio compartido. La jerarquía de tareas incluye escenarios para describir en un contexto de alto nivel la situación colaborativa, tareas para indicar objetivos específicos dentro del escenario e instanciaciones de tareas para representar formas individuales y colaborativas de realizar la tarea [Pinelle 2003]. En este trabajo se revisó una metodología basada en este tipo de método de evaluación la cual se describe a continuación.

5.2.1 Marco de Referencia Colaborativo

Debido a que un ambiente colaborativo es un sistema que soporta usuarios realizando tareas colaborativamente, parte de la manera de abordar el problema involucra examinar los tipos de cosas que un ambiente permite hacer para que sea colaborativo. Para describir esto es necesario definir los siguientes términos: requerimiento, capacidad, servicios y tecnología [Drury 1999]:

• Requerimientos para sistemas colaborativos se refieren a los objetivos de alto

nivel que un grupo necesita cumplir. Por ejemplo: “Necesito mantener a mis colegas al tanto de mis avances en el proyecto”.

• Capacidades colaborativas, son funciones relativamente de alto nivel que

permiten que los usuarios realicen ciertas tareas colaborativas. Ejemplos son conceptos tales como comunicación síncrona, manipulación de objetos compartidos, etc.

• El término servicio es usado para describir los medios por los cuales uno o mas ambientes colaborativos alcanzan una determinada capacidad, y la tecnología es usada para describir la implementación particular de hardware y/o software necesaria. Por ejemplo, un servicio es el e-mail y una tecnología es Eudora.

Examinando que requerimientos y capacidades soporta un ambiente colaborativo, así como los servicios y tecnologías especificas que los usuarios pueden usar, es una manera de generar una categorización funcional del ambiente colaborativo. La categorización puede ser usada para ayudar a determinar cuales sistemas colaborativos son más adecuados para las actividades propuestas y cuales escenarios pueden ser usados para evaluar esos sistemas.

33 El marco de referencia colaborativo que se revisó en este trabajo está dividido en cuatro niveles: requerimiento, capacidad, servicio, y tecnología. En la Figura 5-1 se puede observar cada nivel así como su contenido y las metricas asociadas a cada uno.

Figura 5-1. Marco de referencia colaborativo para evaluación (Figura Traducida de [Damianos 1999])

5.2.2 Métricas y Mediciones

Las métricas son indicadores de sistema, usuario o desempeño del grupo que pueden ser observadas individual o colectivamente, mientras se ejecutan los escenarios. Las métricas (tiempo, longitud de turno y otros eventos contables) son directamente medibles y pueden ser colectados automáticamente. Una manera de distinguir entre métricas y mediciones es

34 la siguiente: una métrica es un valor observable, mientras que una medición asocia un significado al valor aplicando el juicio humano. Una métrica sencilla es solo un número (i.e. número de turnos) o un conjunto de números (i.e. tiempo de inicio y tiempo de finalización). En la Tabla 5-2, para cada métrica se presenta su definición y ejemplos de las formas en las que se puede obtener cada métrica. Para obtener las métricas existen varios métodos de colecta de datos, tales como:

• Bitácoras

• Observación Directa

• Cuestionarios / entrevistas / escalas de “rating” • Grabaciones / Transcripciones

Tabla 5-2. Métricas

Métrica Definición Contables Cualquier cosa que pueda ser

contada una vez que una definición clara ha sido desarrollada.

o Turnos (líneas capturadas, mensajes de e-mail, etc.)

o Movimientos (un subtipo de turno, i.e. turno en una discusión)

o Pasos (número de pasos de alto nivel realizados para producir un resultado; número de clicks del ratón o teclas presionadas para el cumplimiento de una tarea.

o Intentos (número de intentos erróneos y número de intentos exitosos para alcanzar un objetivo)

o Respuestas (respuestas a un e-mail; respuestas a una pregunta)

Duración de turno

La longitud o tamaño de cualquier tipo de turno. Un turno es una unidad simple de comunicación o actividad.

o Duración del turno en un sesión de Chat = número de enunciados o número de palabras.

Tarea

Cumplida Si una tarea se ha realizado o no. Si o No (completada o no completada) Tiempo El tiempo como una métrica

proporciona varios tipos de mediciones. Métricas base como el tiempo de inicio y de término pueden ser

interpretadas para obtener varias mediciones.

o Tiempo total de ejecución de una tarea: el intervalo desde el inicio de una tarea hasta su finalización. Es el tiempo total que le toma al grupo completar una tarea.

o Tiempo de una tarea: el tiempo gastado en la tarea actual. No incluye el tiempo de transición ni el tiempo gastado en actividades no relacionadas con la tarea.

o Tiempo de transición: la cantidad de tiempo que le toma al grupo cambiar de una tarea a otra. Esto incluye el tiempo de preparación.

Expertos Preguntas realizadas a expertos o Preguntas Si / No en relación a: escalabilidad, seguridad, interoperabilidad, comunicaciones, etc.

Usuarios Preguntas realizadas a los

usuarios o

35 De acuerdo a [Drury 1999] los pasos a seguir para la evaluación de un sistema colaborativo son los siguientes:

1. Lista de Servicios. Crear una lista de servicios proporcionados por el sistema.

2. Determinar las tareas. Basado en los servicios que el sistema soporta,

determinar que capacidades puede tener el sistema y por lo tanto determinar una lista de tareas que los usuarios podrán realizar.

3. Crear un escenario. Crear un escenario para las tareas específicas.

4. Determinar las mediciones. Se deben seleccionar mediciones apropiadas

basadas en el tipo de tareas usadas en la evaluación, el nivel de evaluación (servicio, capacidad, requerimiento) y los recursos de observación disponibles.

5. Establecer criterios. Establecer límites mínimos aceptables para las

mediciones definidas, basados en el sentido común.

6. Ejecutar el experimento. Ejecutar el experimento en un grupo de usuarios y asegurarse que los datos apropiados sean colectados.