Decision and welfare analysis

Para poder hacer operativa la evaluación, a partir de los aspectos definidos, se debe establecer un conjunto de preguntas específicas y atributos medibles que permitan profundizar en el fenómeno que se estudia y contrastar resultados. Para lograr esta estructura se utiliza el enfoque Objetivo Pregunta Métrica (GQM: Goal Question Metric) propuesto por Basili.

En el enfoque GQM cada objetivo se descompone en preguntas y éstas a su vez en métricas. Se obtiene una estructura jerárquica que relaciona los elementos medibles con los objetivos de un proceso de mejora organizacional o de investigación.

Para esta investigación, el concepto de objetivos se puede asociar con los aspectos de la evaluación. Estos son elementos de alto nivel que se corresponden con los objetivos del proceso experimental del PGCE y la LPE. Cada uno de estos aspectos es dividido en preguntas. Finalmente, las preguntas se instancian en atributos medibles. Las preguntas y atributos de cada aspecto de evaluación se muestran en la Tabla 3-2.

Aspectos Preguntas Atributos

Viabilidad ¿Es posible instanciar el PGCE y la LPE para al menos un experimento?

Generación de la Instancia (PGCE y LPE)

¿La instanciación se puede realizar en un tiempo

aceptable? Esfuerzo de instanciación

¿La instancia obtenida es aceptable para los

Aspectos Preguntas Atributos Flexibilidad ¿Permite la propuesta del PGCE y la LPE

instanciar otras familias de experimentos de IS? Diversidad experimentos. de ¿Toda la información existente de otras familias

de experimentos pueden ser incorporados en el PGCE y LPE?

Uso en gestión de materiales y replicaciones de experimentos.

Usabilidad ¿La documentación es fácil de usar? Fácil de usar ¿La documentación es fácil de entender? Fácil de entender

Satisfacción de los

investigadores

¿La información disponible sobre los materiales experimentales y replicaciones que contienen tanto el PGCE y la LPE son útiles para la administración de los materiales y replicaciones del experimento?

Aceptable No aceptable

Tabla 3-2: Preguntas de los Aspectos de Evaluación.

Viabilidad es la posibilidad técnica y administrativa de instanciar el PGCE y la LPE. Para evaluar este atributo se observan la generación de la instancia a partir del conjunto de documentos existentes de un experimento y obtenidos del administrador del experimento. El esfuerzo para instanciar el PGCE y la LPE debe poder ser realizado por un investigador que conozca o no sobre los materiales, resultados y replicaciones del experimento. Además, la instancia debe ser aceptada por el administrador del experimento.

Flexibilidad es la posibilidad de instanciar la propuesta en distintos experimentos de IS. La propuesta del PGCE y la LPE se ha realizado en base al estudio de una única familia de experimentos. Por lo tanto, es necesario validar que la solución sea aplicable a otros experimentos, por fuera de esta familia. La evaluación de la flexibilidad de la propuesta muestra la capacidad de utilizar la propuesta del PGCE y la LPE para instanciar en otros experimentos.

El aspecto de evaluación usabilidad intenta evaluar la facilidad del uso del contenido del PGCE y la LPE para la generación de las instancias de experimentos concretos en IS. Los conceptos, instrumentos, técnicas, simbología y modelos que están descritos en el PGCE y la LPE van a ser utilizados para generar instancias y no solamente leídos. Por eso, la evaluación de la usabilidad del documento debe ir más allá de la comprensión de la información. El PGCE y la LPE deben contener el detalle necesario que permitan facilitar a los experimentadores el registro y modelamiento de la información sobre los materiales, resultados y replicaciones del experimento.

El aspecto satisfacción del investigador evalúa el grado de satisfacción subjetiva de los administradores del experimento respecto a la utilidad de la información que proporciona tanto el PGCE como la LPE instanciados del experimento. Para estudiar este aspecto se consideran las perspectivas de los usuarios que van a utilizar directamente la información sobre el experimento contenida en el PGCE y la LPE.

Cada uno de los atributos que se establecen debe tener una escala y un proceso que asegure su medición. Las escalas utilizadas pueden ser cuantitativas o cualitativas. En algunos

casos, los atributos se descomponen en distintos componentes que se pueden valorar en forma más directa. Cada uno de los componentes mide una parte específica del atributo. En las siguientes secciones se realiza la descripción detallada de los atributos y componentes que serán utilizados para la evaluación de cada aspecto junto con sus escalas de valores.

3.4.1

Actividades de Evaluación

La evaluación de los atributos descritos se realizará en dos actividades. Por un lado se tendrá en cuenta la instanciación del PGCE y la LPE y por otro el uso del PGCE y la LPE en la administración de materiales y replicaciones del experimento. La actividad de instanciación permite analizar tanto el aspecto sobre la generación PGCE y la LPE para experimentos así como evaluar el esfuerzo realizado por los experimentadores para la instanciación del PGE y LPE. Mientras que, el uso del PGCE y LPE permite evaluar aspectos sobre las usabilidad de los contenidos (conceptos, instrumentos, simbología, modelos) de la propuesta que permiten generar las instancias de PGCE y LPE. Además, de evaluar la satisfacción del investigador sobre la utilidad de la información del experimento contenida en el PGCE y LPE instanciados.

Para evaluar el PGCE y LPE es necesario usarlo en la administración de materiales, resultados y replicaciones de un experimento. Se debe obtener tanto el PGCE y la LPE para que sean utilizados como instrumentos en la gestión de los materiales experimentales y replicaciones ejecutadas de un experimento. La instanciación del PGCE y la LPE son necesarios para la evaluación de la propuesta realizada en esta tesis.

Una de las actividades de evaluación consiste en la instanciación de la propuesta en experimentos concretos. En este nivel, se valida la viabilidad de la propuesta y la flexibilidad para abarcar distintos experimentos de IS. Esta evaluación consta de dos fases. Primero se realiza la instanciación para un experimento concreto. En una segunda parte, se realiza la instanciación de otra familia de experimentos.

La otra actividad de evaluación consiste en validar la usabilidad del contenido de las propuestas para instanciar el PGCE y la LPE en experimentos de IS. Además, de evaluar la satisfacción de los investigadores sobre la utilidad de la información del experimento contenida en el PGCE y la LPE.

A continuación se describe las dos actividades de evaluación que deben realizarse con el PGCE y la LPE. Para cada actividad se indican los atributos estudiados.

3.4.1.1 Evaluación de la Instanciación del PGCE y LPE

Una vez obtenido el PGCE y la LPE debe evaluarse por instanciación en experimentos concretos. Es necesario obtener una instancia para poder evaluar los atributos de viabilidad y flexibilidad de la propuesta, y para poder seguir adelante en la evaluación de los restantes atributos.

Los resultados de esta actividad de evaluación se obtendrán mediante instrumentos que consideran los resultados objetivos de la instanciación, junto con la perspectiva del investigador responsable de realizarla y de los autores originales del experimento.

El PGCE y la LPE instanciados deben ser completos con respecto a los puntos de la propuesta. El PGCE propuesto junto con el PGCE instanciado de un experimento y la LPE desarrollada con a la utilización de la técnica, simbología y modelos, se utilizan para el análisis de este resultado. Este análisis se realiza en base verificar las instancias obtenidas del PGCE y la LPE junto con las incidencias registradas por parte del encargado de la instanciación. La valoración de estos resultados permite realizar un informe para incorporar mejoras mayores o puntuales a la propuesta del PGCE y la LPE.

Los aspectos evaluados en la actividad de instanciación del PGCE y LPE son viabilidad y flexibilidad, como se muestra en la Tabla 3-3.

Objetivo Aspectos de evaluación Atributos

Instanciación del PGCE y

LPE Viabilidad Generación de la instancia Esfuerzo de instanciación Aceptación

Flexibilidad Diversidad de experimentos

Uso en administración de los materiales y replicaciones de un experimento.

Tabla 3-3: Atributos Evaluados en la Instanciación del PGCE y LPE.

3.4.1.2 Evaluación de la Usabilidad y Satisfacción del Investigador del PGCE y LPE en la Gestión de Materiales y Replicaciones de un Experimento

El uso más típico previsto para el PGCE y la LPE en su ciclo de vida es apoyar a los experimentadores en la gestión de los materiales y replicaciones de un experimento para dar soporte a los procesos de experimentación y replicación. En esta actividad se evalúa el contenido de la documentación del PGCE y la LPE que permite la generación de instancias y su utilidad para mejorar la administración de los materiales y replicaciones de un experimento. El PGCE y LPE es un documento usable en el que se incorporan los conceptos, instrumentos, técnica, simbología y modelos para administrar materiales y replicaciones de un experimento.Los instrumentos con la información registrada de los materiales experimentales en el PGCE y la técnica con la información registrada de las replicaciones y los modelos desarrollados con la LPE se utilizan para soportar la administración de los materiales y replicaciones del experimento.

Los aspectos que se evalúan en la actividad son: usabilidad y satisfacción del investigador, como se muestra en la Tabla 3-4.

Objetivo Aspectos de

evaluación

Atributos

Usabilidad del contenido del PGCE y la LPE para generar las instancias de experimentos.

Usabilidad Fácil de usar Fácil de entender

Satisfacción del investigador con la información que proporciona el PGCE y la LPE para la administración de los materiales y replicaciones del experimento

Utilidad Utilidad Eficiencia

Tabla 3-4: Atributos Evaluados en el Uso del PGCE y LPE en Gestión de Materiales y Replicaciones.

La evaluación realizada por parte del investigador sobre la viabilidad aparece descrita en el Capítulo 13. La evaluación realizada por los experimentadores sobre flexibilidad se detalla en el 0 y por último en el Capítulo 15 se evalúa la usabilidad y la satisfacción del investigador.