Esta aplicación fue desarrollada e implementada por Messeguer et al. (2006) en el Departamento de Arquitectura de Computadoras de la Universidad Politécnica de Cataluña, con el objetivo de evaluar una aplicación consciente del contexto en un escenario de aprendizaje colaborativo dentro de un aula (Messeguer et al., 2006). Los autores realizaron un experimento en donde utilizaron el modelo de aprendizaje colaborativo basado en proyectos e introdujeron el apoyo asistido por computadoras por medio de una aplicación consciente del contexto. La finalidad del sistema consciente del contexto era determinar el grupo de trabajo al que pertenece un alumno, con base en esta información, adaptar la interfaz de usuario y asignarle los archivos y herramientas de trabajo pertenecientes a su
grupo. Durante el experimento, la aplicación realizó un registro en archivo de todas las acciones ejecutadas, específicamente se generaron 2 archivos por minuto en donde se almacenaron: los datos de entrada utilizados para estimar el grupo de trabajo del alumno, el grupo de trabajo estimado y el grupo real al que pertenece el alumno durante el desarrollo de cada actividad. Con estos archivos es posible realizar un seguimiento puntual del funcionamiento de la aplicación durante todo el experimento.
La aplicación consciente del contexto descrita en el párrafo anterior no cuenta con ningún mecanismo de administración de incertidumbre y utiliza el contexto considerándolo libre de error. Considerando lo anterior, el experimento consistió en modificar la aplicación introduciéndole un mecanismo de administración de incertidumbre y evaluar el desempeño que tendría al ejecutarse en el escenario real. Para realizar lo anterior se utilizaron los archivos de datos generados por los autores originales de la aplicación, estos archivos nos permitieron simular el comportamiento de la aplicación como si estuviera implementada en el escenario real.
A continuación describiremos la realización de cada una de las etapas del procedimiento propuesto para la administración de incertidumbre. Cabe recordar que nos enfocaremos en el análisis y diseño de la aplicación debido a que son las dos etapas del ciclo de vida de desarrollo de sistemas en donde se centra el trabajo del procedimiento propuesto.
Análisis de riesgos de incertidumbre
En esta etapa se realizó un análisis del mecanismo de consciencia del contexto. Estudiando la manera como el contexto es creado y como es utilizado por la aplicación, con la finalidad de identificar los posibles riesgos de incertidumbre y las consecuencias que pueden ocurrir en caso de no ser apropiadamente tratada.
Primero nos centramos en los riesgos de incertidumbre original respondiendo a las siguientes preguntas:
Los elementos contextuales utilizados por la aplicación son la localización, el tiempo, la identidad del usuario y el grupo de trabajo al que pertenece el usuario.
¿Cuáles son los tipos de sensores que se utilizan para la obtención de cada elemento contextual?
El tiempo se obtiene de manera directa del reloj de la computadora, la identidad es suministrada al momento del ingreso del alumno al sistema, por medio de la escritura de su nombre de usuario y contraseña. Estos dos elementos contextuales se suponen como libres de incertidumbre y confiables desde su origen.
La localización utiliza un sensor lógico que consiste en un algoritmo de estimación que se basa en la triangulación de las intensidades de las señales de los puntos de acceso de la red inalámbrica. Con base en la información proporcionada por los autores del algoritmo, se sabe que tiene una baja precisión en su estimación y es muy susceptible a errores, por lo que existe una alta probabilidad de presentarse incertidumbre original en la estimación de la localización. Sin embargo, como ya fue mencionado anteriormente, para la realización del experimento se utilizaron los archivos de registro generados durante la implementación realizada por los autores originales de la aplicación, en donde se almacena, entre otros datos, la localización del usuario. Por lo que el algoritmo de estimación de la localización no fue implementado, sino que se manejaron las estimaciones previamente grabadas en los archivos. En este sentido, no tuvimos oportunidad de modificar o establecer reglas para el tratamiento de la incertidumbre original con respecto a la localización, estableciendo con ello, que este elemento contextual sería utilizado de manera directa sin la aplicación de ningún mecanismo de administración de incertidumbre.
El algoritmo de estimación del grupo utiliza un sensor lógico cuya estructura general se muestra en la Figura 32. El sensor recibe como elementos de entrada la localización, el tiempo y la identidad del usuario, con estos datos se ejecuta un proceso de validación de reglas deterministas para establecer el grupo de trabajo; estas reglas utilizan como elemento principal la localización del usuario, lo que puede provocar errores en la estimación. Con lo
cual tenemos que existe riesgo de incertidumbre original al momento de estimar el grupo de trabajo al que pertenece el usuario.
Figura 32. Estructura general del algoritmo de estimación del grupo.
Ahora nos centramos en la identificación de los riesgos de incertidumbre derivada, para ello procedemos a responder las siguientes preguntas:
¿En qué consiste la consciencia del contexto en la aplicación?
El sistema utiliza el grupo de trabajo del usuario para adaptar de manera automática la interfaz del usuario, al mismo tiempo que asigna los archivos de trabajo pertenecientes al grupo asignado. En un escenario correcto, el alumno utiliza el sistema y de manera automática observara un cambio de interfaz y de archivos de trabajo de acuerdo al grupo en el que se encuentra trabajando. En caso contrario, si el alumno no es correctamente asignado a su grupo de trabajo, el sistema puede generarle confusión con el cambio de interfaz y provocar que el alumno cometa errores al trabajar con archivos incorrectos que fueron asignados erróneamente por el sistema. Al visualizar estos dos escenarios extremos podemos observar que existen riesgos importantes que pueden ocurrir generados por la incertidumbre derivada.
Al finalizar esta etapa tenemos el conocimiento claro de que existen riesgos de incertidumbre original y derivada en la aplicación. El siguiente paso consiste en identificar cual es el tipo de incertidumbre que se genera y como se genera.
Entradas Reglas Deterministas Localización Grupo Tiempo Identidad
Análisis de tipos de incertidumbre
En esta etapa identificaremos los tipos de incertidumbre que se pueden presentar y que generan los riesgos de incertidumbre original y derivada señalados en la etapa anterior. Primero nos enfocamos en los riesgos de incertidumbre original. Respondiendo a las preguntas:
¿Quién genera, por qué se genera y de qué manera se genera la incertidumbre?
El algoritmo de estimación de la localización tiene una muy baja precisión y es muy susceptible a errores, tal y como lo señalan los autores del mismo. Debido a que la localización es utilizada para evaluar las reglas deterministas de asignación del grupo al que pertenece el alumno, en ocasiones el grupo al que el alumno es asignado es incorrecto, provocando un error en el funcionamiento de la aplicación. Este error se genera al momento de que las reglas deterministas asignan grupos que no se encuentran definidos dentro del área del aula de clases, esto es, la estimación del grupo regresa como valor un grupo de trabajo inexistente en el aula, lo que provoca que el alumno sea asignado a un grupo incorrecto. Esta situación nos indica que la aplicación puede generar contexto impreciso. Ahora bien, para el caso de los riesgos de incertidumbre derivada nuevamente aplicamos las preguntas:
¿Quién genera, por qué se genera y de qué manera se genera la incertidumbre?
La incertidumbre derivada es generada al momento en que la aplicación realiza un cambio de interfaz de usuario y asignación de archivos de manera incorrecta. Esto es, al momento en que la aplicación determina que el alumno ha cambiado de grupo y ejecuta las adaptaciones necesarias para cumplir con lo establecido como acciones a realizar en respuesta al cambio de contexto. En este sentido, el contexto incierto en la aplicación se genera al momento en que el alumno realiza un cambio de grupo de trabajo, debido a que el comportamiento esperado del alumno es que inicie una actividad y la realice completamente sin moverse de su lugar de trabajo, por lo que el cambio de grupo puede
deberse al contexto impreciso generado en el algoritmo de estimación y no a un cambio real del alumno.
Aplicación de estrategias para el tratamiento de la incertidumbre
Ahora en esta etapa procederemos a seleccionar la estrategia de solución para tratar el contexto impreciso y el contexto incierto identificados en la etapa anterior.
Para afrontar la presencia de contexto impreciso en nuestra simulación se determinó utilizar una estrategia de tratamiento automática de incertidumbre, específicamente optamos por utilizar la estrategia denominada “utilización de información adicional”.
Primero establecimos una regla que nos indica presencia de contexto impreciso en el momento en que el grupo estimado corresponda a uno que no se encuentre definido dentro del aula de clases. Por ejemplo, el algoritmo estima el número 99, y asumiendo que éste valor no existe definido como grupo perteneciente al aula, entonces se activa la regla de presencia de incertidumbre. Posteriormente, se ejecuta la acción de utilización de información adicional. Esta acción consiste en obtener el grupo al que pertenece el compañero más cercano, tomando como base la localización al alumno con el contexto incierto, y utilizarlo como grupo correcto. El motivo de utilizar esta acción obedece a que se espera que los integrantes de un mismo grupo se encuentren relativamente cerca entre ellos, por lo que si obtenemos el grupo del compañero más cercano es altamente esperado que sea del grupo correcto. Por ejemplo, en una estimación obtenemos el grupo 99, lo que activa la regla de presencia de incertidumbre, en ese momento se busca al compañero más cercano y se obtiene que se encuentra asignado al grupo 1, con esta información se realiza el cambio de valor de 99 a 1 como el grupo estimado correcto.
Al concluir con lo descrito en el párrafo anterior nos encontramos en condiciones de crear el mecanismo de administración de incertidumbre que nos permita afrontar los riesgos de incertidumbre original. Este mecanismo tiene la estructura que se presenta en la Figura en el recuadro señalado como “Incertidumbre original”. El mecanismo recibe como entrada el grupo estimado y genera como salida el grupo administrado.
Continuando con esta etapa, ahora nos enfocamos en buscar las mejores soluciones para afrontar la presencia de contexto incierto. Para ello determinamos utilizar nuevamente una estrategia de tratamiento automática de incertidumbre, en este caso utilizamos la estrategia denominada “re estimación”.
Primero establecimos una regla que nos indica presencia de contexto incierto en el momento en que ocurra un cambio de grupo del alumno, para ello comparamos el grupo estimado con el grupo actual del alumno y en caso de existir diferencia se asume presencia de incertidumbre y se procede a ejecutar la re-estimación del grupo. En este caso la re- estimación es ejecutada con la finalidad de confirmar el cambio de grupo del alumno. Como se mencionó anteriormente, el comportamiento esperado del alumno es mantener su pertenencia al mismo grupo durante la realización de las actividades, por lo que un cambio de grupo requiere de la confirmación para aceptarse como válido. En este sentido, el cambio de grupo se logra cuando la re estimación confirma el grupo estimado. Por ejemplo, un alumno se encuentra asignado al grupo 1 y la estimación indica que el nuevo grupo es el 3, esta diferencia activa la regla de incertidumbre y se ejecuta la re-estimación del grupo, si el nuevo valor estimado corresponde al grupo 3, el cambio de grupo se confirma y se asume como correcto el grupo 3, en caso de no confirmarse el grupo 3, la estimación es rechazada y el grupo continua siendo el 1.
Con lo anterior estamos en condiciones de crear el mecanismo de administración de incertidumbre que nos permita afrontar los riesgos de incertidumbre derivada. Este mecanismo tiene la estructura que se presenta en la Figura 33 en el recuadro señalado como “Incertidumbre derivada”.
Al concluir el seguimiento de las tres etapas del procedimiento obtenemos un mecanismo heurístico para el tratamiento de la incertidumbre en el algoritmo de estimación del grupo. Este mecanismo es incluido como un módulo entre el algoritmo de generación del contexto y la aplicación, recibe como entrada el grupo estimado y genera como salida el grupo administrado. La aplicación recibe el grupo y lo utiliza sin necesidad de realizar ningún cambio en la arquitectura y funcionamiento original. La estructura general del mecanismo
de estimación del grupo con administración de incertidumbre queda integrada de la siguiente manera:
Figura 33. Estructura general del algoritmo con el mecanismo heurístico de administración de incertidumbre.
Resultados
Después de realizado el análisis y diseño del algoritmo de estimación del grupo de trabajo con administración de incertidumbre, procedimos a ejecutar un experimento con la finalidad de obtener datos que nos permitieran comparar el comportamiento de la aplicación original y la aplicación que incluye el mecanismo de administración de incertidumbre. Para ello realizamos simulaciones del funcionamiento de la aplicación utilizado los archivos de registros creados por los autores durante la ejecución de la aplicación original. Como se mencionó anteriormente, estos archivos contienen todos los datos que permiten realizar un seguimiento puntual del comportamiento de la aplicación en relación a la estimación del grupo de trabajo del alumno por lo que la simulación pudo realizarse sin ningún inconveniente.
Se ejecutaron 6 simulaciones, cada una con un archivo particular correspondiente a un grupo de estudiantes específicos. La simulación obtiene los datos del archivo y realiza la estimación del grupo de trabajo. Esta nueva aplicación incluye el mecanismo de
Incertidumbre original Grupo Localización Tiempo Identidad Grupo Regla 1 Información adicional (compañero cercano) adicional No Si Incertidumbre derivada Regla 2 Reestimación (confirmación) No Si
Regla 1: El grupo corresponde al aula de trabajo Regla 2: Existe cambio de grupo
administración de incertidumbre descrito anteriormente. Los resultados obtenidos en las simulaciones se compararon con los registrados en los archivos y los resultados se presentan en la Tabla I:
Tabla I. Porcentajes de estimaciones correctas y erróneas.
Grupo Original (Error) Incertidumbre (Error) Home 87% (12%) 98% (1%) Home 2 79% (20%) 95% (1%) Expert 88% (11%) 98% (0%) Expert 2 69% (30%) 93% (2%) Expert 3 78% (21%) 96% (1%) Expert 4 80% (19%) 97% (0%)
Como se puede apreciar en la tabla los resultados obtenidos al incluir el mecanismo de administración de incertidumbre, son mejores que en la aplicación original. Se incrementa el porcentaje de estimaciones correctas y al mismo tiempo se disminuye drásticamente el porcentaje de errores en la asignación del grupo. Con esta información podemos asegurar que el mecanismo de administración de incertidumbre ayudó a disminuir los errores en el proceso de asignación del grupo.
Ahora bien, la disminución de errores no necesariamente implica un incremento en la utilidad de la aplicación. Es necesario utilizar una prueba de utilidad para determinar si existe un beneficio al utilizar el mecanismo de administración de incertidumbre.
Para encontrar una medida de utilidad se utilizó una prueba conocida como beneficio social (Social Welfaer). Esta prueba es utilizada en las áreas de economía y sociología para medir si alguna propuesta o estrategia resulta útil a la sociedad.
Primeramente se tiene que definir una función de utilidad individual, con la que se pueda medir la utilidad de la propuesta para cada individuo integrante de la comunidad. En nuestro caso la función de utilidad para cada alumno se definió como las estimaciones no erróneas. Quedando formalmente definida como:
(1) 1 i 1 i i i noUtiles Erroneas i Totales Totales
U
Según esta definición la cota máxima por cada alumno es 1.
Ahora bien, la función de bienestar social, es igual a la sumatoria de las utilidades de la propuesta en cada individuo. Quedando formalmente definida como:
(2) En nuestro caso el número de alumnos considerados en la muestra fueron 27, por lo que el mayor beneficio social es el más cercado a 27. En la Tabla II se muestran los resultados del benefició social obtenido en los dos casos de la aplicación.
Tabla II. Beneficio social normalizado.
Grupo Original Incertidumbre
Home 0.86 0..98 Home 2 0.80 0.95 Expert 0.89 0.99 Expert 2 0.70 0.94 Expert 3 0.79 0.97 Expert 4 0.81 0.97
Como se puede apreciar en la tabla, al aplicar el mecanismo de administración de incertidumbre se obtiene un mejor beneficio social, lo cual indica que la utilidad para cada uno de los alumnos es mejor al utilizar el mecanismo que cuando no se utiliza. Como resultado de la prueba de beneficio social obtuvimos que al incluir un mecanismo de administración de incertidumbre en la aplicación consciente del contexto la utilidad proporcionada a cada uno de los alumnos es mejor que al trabajar sin el mecanismo.