Independent Auditing

Una vez obtenida la hipótesis inductiva principal, esta debe ser validada. La validación tiene como objetivo contrastar el uso de la propuesta de PL contra replicaciones donde el PL no está estructurado. El resultado de esta actividad es una propuesta revisada de PL que constituye la hipótesis final de esta investigación.

La validación de la propuesta se descompone en dos actividades: a) Validación de la instanciación de PL.

b) Validación del uso de PL en replicaciones.

En la validación por instanciación se intenta mostrar que la propuesta realizada es viable y flexible para obtener PL concretos de experimentos IS. Este es un paso previo para la validación del uso en replicaciones, que requiere de al menos un PL concretos. Para instanciar un experimento a partir de la propuesta se sigue el proceso propuesta en la actividad anterior del proceso de resolución.

La validación del uso del PL en replicaciones evalúa los aspectos que tienen que ver con la calidad del documento obtenido y la posibilidad de mejorar la experimentación. Este paso implica una nueva evaluación de replicaciones siguiendo el mismo proceso propuesto para la primera ronda de evaluación empírica de replicaciones.

El resultado final del proceso de resolución es una propuesta de PL revisada. Esta propuesta se obtiene a partir del análisis de incidentes de replicaciones y opiniones de los usuarios de PL estructurados. Para obtener esta hipótesis final se realiza un refinamiento de la propuesta de PL partir de todos los hechos observados en la validación.

Parte II

EVALUACIÓN EMPÍRICA DE

REPLICACIONES

Capítulo 6

Procedimiento para la

Evaluación de Replicaciones

En este capítulo se describe el procedimiento para la evaluación de replicaciones que constituye uno de los pasos del proceso de resolución de esta investigación. El objetivo de la evaluación es obtener e interpretar información sobre distintas replicaciones y utilizar esta información como base para realizar una propuesta de PL.

La evaluación de replicaciones usa entrevistas a replicadores como fuente principal de información. El procedimiento de evaluación consta de distintas fases orientadas a recoger, analizar e interpretar la información. En cada una de las fases se realizan actividades, que consumen y producen distintos elementos. Los resultados principales de la evaluación son: un resumen de la replicación y una valoración de atributos de la misma.

El resumen de la replicación permite estudiar el grado en que se cumplen los objetivos del PL utilizado, así como identificar y analizar los incidentes que se presentaron en cada replicación. El resumen de replicación permite caracterizar la replicación atendiendo a distintos aspectos y será la base para elaborar la propuesta de PL.

Otro resultado del procedimiento de evaluación es la valoración de atributos de la replicación. Los atributos establecen un punto de referencia para comparar distintas replicaciones. Esta valoración permite validar la propuesta de PL por comparación con otras replicaciones donde no se usa. El procedimiento de evaluación deberá ser aplicado para cada nueva replicación donde se valide la propuesta de PL.

6.1

Fundamentación del Procedimiento de

Evaluación de Replicaciones

El enfoque que se utiliza para la evaluación de replicaciones es cualitativo y empírico. Se considera que el número bajo de observaciones y la naturaleza compleja del fenómeno estudiado hacen más adecuado este enfoque. Cuando se aplican métodos cualitativos se debe seguir un proceso formal que asegure la objetividad de la observación y evaluación. El enfoque es también empírico puesto que usa para la observación casos reales de replicaciones de experimentos.

El procedimiento de evaluación tiene como base los métodos cualitativos de teoría fundamentada (en inglés, grounded theory), establecidos por Glasser y Strauss para las ciencias sociales [Glaser y Strauss, 1999]. Este método propone una aproximación objetiva a los datos recogidos de manera cualitativa que asegura obtener una teoría fundamentada. Consta de distintos pasos: parte de la información obtenida empíricamente, ésta es codificada y luego se derivan las conclusiones.

Una de las fuentes de esta información es el replicador responsable de la replicación. Se considera ésta la fuente principal de información, tanto para recoger la información objetiva sobre los hechos, como de la perspectiva subjetiva del principal rol participante. Para recoger la información se realiza una entrevista con la persona que ocupa el rol de replicador responsable. Para maximizar la eficacia de este método, se utilizará como enfoque la entrevista semi-estructurada [Kvale, 1996]. Este método de obtención de información consiste en alterar dinámicamente el contenido u orden de las preguntas realizadas para profundizar en el tema de investigación.

En el procedimiento de evaluación, se contemplan de forma separada las actividades de recogida de datos, procesamiento de la información y aquellas relativas a la interpretación de resultados y establecimiento de juicios. En las fases de recogida y análisis de la información solo se realiza transformaciones de la misma. En la fase de síntesis de la información, ésta se combina con el juicio del evaluador para producir resultados finales. Las fases del proceso se basan en las recomendaciones para métodos cualitativos establecidas por [Wolcott, 1994]. Al utilizar un procedimiento de evaluación con pasos de análisis definidos, se busca que sean sus resultados objetivos.