Proposition 3

Los campos pueden tomar valores prefijados o contener descripciones extendidas como por ejemplo una lista de incidentes de una fase de replicación. El proceso de elaboración de los valores que pueden tomar los campos de datos es detallado en esta sección.

Los campos de datos del resumen de replicación pueden utilizar distintas escalas de valores. Según la escala utilizada, los campos de datos se dividen en tres tipos:

Simples. Este tipo de campo tiene un valor simple como ser número, fecha o nombres de personas, asignaturas o instituciones. En estos campos no hay una escala predefinida de valores, aunque si puede indicarse un tipo de dato.

Niveles. Este tipo de campo toma un valor de de una lista de niveles predefinida. Puede tratarse tanto de escalas ordinales: valores ordenados, como valores nominales: sin un orden determinado entre los valores posibles.

Listas. Este tipo de campo puede tomar varios valores. Los valores del campo provienen de una lista, que puede ser abierta o cerrada. Este tipo de campo es utilizada cuando pueden darse varias respuestas y es necesario una lista. Por ejemplo, se aplica a la descripción de incidentes por actividad, agregados al PL, oportunidades de mejora y beneficios percibidos por el replicador.

En la Tabla 6.7 se indican para cada campo de datos los valores posibles. En el caso de las escalas simples, se indica el valor que puede tomar: por ejemplo fecha o número. En el caso de los campos con niveles se muestra en una lista con viñetas los valores posibles. Si la escala es del tipo lista, se indican con el prefijo: Lista. Las listas que pueden tomar valores de una escala ordinal se representan con salto de línea y las que pueden tomar valores de una escala nominal separados por barras.

Además de valores del campo en sí, en algunos campos se admite una descripción adicional que explique el valor asignado. Por ejemplo, el campo reporte de replicación indica si se realizó un reporte posterior, los valores que pueden tomar son tres niveles: Si / Tardío / No. La información adicional puede ser el tipo de reporte realizado o cuando se realizó. Se ha preferido mantener esta descripción adicional dentro del mismo campo, para facilitar la lectura de la tabla resumen de replicación. Cuando se utiliza esta información se indica con el prefijo: Nota.

Los valores utilizados las listas se elaboran iterativamente en la fase de análisis de información, utilizado ejemplos reales de las replicaciones evaluadas. Este es un proceso iterativo que agrupa la información y traduce los elementos comunes a un mismo valor. En particular, este proceso de elaboración de listas se aplica para el análisis de los incidentes de replicación.

En primer lugar se realiza una lectura de las entrevistas para detectar incidentes y se resumen en una lista para cada actividad. Luego se identifican los incidentes comunes a varias replicaciones y se busca un lenguaje común para describirlos. El resultado de este análisis es una tabla que resume los incidentes esenciales ocurridos en cada actividad de replicación. En la Tabla 6.8 se puede ver el resultado final de listas de incidentes de las replicaciones analizadas.

Actividad Lista de incidentes obtenida Comunicación No hubo comunicación

Comunicación sin contacto directo (Ejemplo: la comunicación por correo es fría) Comunicación limitada o tardía

No se realizó reunión para validar el diseño No se realizó observación presencial de sesiones Quedaron dudas sin responder

El replicador se sintió solo (Subjetivo) Se generaron muchas dudas (Subjetivo)

Esfuerzo importante para comprender el experimento

Diseño

experimental Menos tiempo asignado para una de las técnicas Error en el cruzamiento de factores (Ejemplo: sujetos repiten programa) Asignación de subgrupos no aleatoria (Ejemplo: asignación por orden de llegada) Unidad experimental no balanceada (Ejemplo: sujetos que trabajan solos y no en pareja)

Dudas sobre impacto de cambio diseño

Esfuerzo subestimado para adaptar el experimento Asignación de sujetos no balanceada

Entrenamiento

de los sujetos Tiempo de entrenamiento reducido Se utilizó otro material en el entrenamiento

Entrenamiento dado no coincide con la técnica a aplicar (Ejemplo: se enseño grafos o valores límite)

No se comprendió bien la técnica funcional (Ejemplo: problemas para aplicar la partición equivalente)

No se comprendió bien la técnica estructural (Ejemplo: sujetos no sabían con que profundidad aplicar la cobertura)

Preparación

del material Exceso de material dado para una técnica (Ejemplo: se entregó la especificación a los que aplicaron técnica estructural) Se quitó la hoja suplementaria

Se tuvieron que agregar los números de línea en el documento de código No se pudo compilar uno de los programas en la plataforma

Se requirió apoyo de otras personas para preparar material Esfuerzo subestimado para preparar el material

Miedo a que imprevistos de material que afectaran el tiempo de sesión (Subjetivo) Actividad trabajosa, compleja (Subjetivo)

Se imprimieron copias de más

Operativa de la

replicación Sujetos plantean muchas dudas Sujetos no leen completamente el material

Replicador no conocía los programas en detalle y no se podía responder algunas dudas

Tiempo limitado de sesión

Ambiente riguroso en la sesión (Ejemplo: ambiente similar a un examen) Efecto cansancio en los sujetos (Ejemplo: se aplicaban dos técnicas en la misma sesión)

Algunos sujetos aplican técnica equivocada (Ejemplo: uso de grafos para estructural)

Análisis de

datos No se realizó análisis (estaba previsto que lo realizaría el grupo original) Análisis realizado de manera tardía Se requirió apoyo de otra persona para realizar análisis

Criterio de corrección definido por el replicador

Casos de prueba y faltas escritas por los sujetos son ambiguos Corrección percibida como una actividad muy difícil (Subjetivo) No se contaba con guías o ejemplos para el análisis

No se contaba con datos anteriores para comparar resultados Descripción de las faltas no estaba integrada al PL

Descripción de las faltas no tiene el detalle suficiente

Errores en la descripción falta/fallo (Ejemplo: solapamiento, estímulo)

Proceso de

investigación Se realizaron notas sobre la replicación que no se conservaron Reporte de replicación tardío

No se realizó ciclo de investigación completo (Ejemplo: no se publicaron resultados) No se evolucionó el experimento (Ejemplo: establecer trabajo futuro, nuevas hipótesis)

Algunos incidentes pueden afectar en forma general a la replicación y no ser clasificables dentro de una de las actividades. Esto ocurre con los incidentes de comunicación y otros problemas generales del proceso experimental. Si los incidentes no pueden agruparse dentro de una actividad específica, se agrupan en alguna de estas actividades: comunicación o planificación de la replicación. Por el contrario, en caso de que los incidentes de comunicación o planificación afecten una actividad específica, se agrupan con dicha actividad. Por ejemplo, incidentes que afectan al entrenamiento o ambiente, se agrupan como incidentes de cada actividad. Incidentes de subestimación del esfuerzo de la replicación se clasifican como incidentes en la planificación de la replicación. Sin embargo, si en la entrevista se menciona problemas relativos al esfuerzo dentro de una fase concreta, estos se clasifican dentro de la actividad correspondiente.

Ciertos campos de tipo lista obtienen los valores directamente a partir de las respuestas obtenidas. Los valores surgen de la agregación de las respuestas mencionadas en las fuentes de información. Este enfoque es utilizado para las listas que se utilizan para los campos: secciones del PL y beneficios de la replicación.

Por otro lado, se ha establecido un grupo de listas de valores abiertos. Las listas abiertas admiten cualquier valor posible y no están predefinidas. Se utilizan para los valores que no están tabulados y se quieren dejar para que el replicador o evaluador completen en forma libre. Los valores de estas listas directas y de las listas abiertas se detallan en la Tabla 6.9.

Tipo de lista Campo Valores posibles

Listas de valores

directos Secciones del PL Introducción Diseño Material operativo Descripción de defectos Guías de análisis Beneficios de la replicación Experimentación:

Aprendizaje sobre experimentación en IS Aprendizaje del proceso de adaptación de un experimento

Aprendizaje práctico de la operativa experimental Análisis conjunto de la replicación

Utilización de soporte escrito para el experimento (Ejemplo: usar un PL ya armado)

Utilización de material generado por otro grupo Mayor conocimiento del experimento

Ingeniería de software:

Aprendizaje sobre técnicas de prueba, alumnos Estudio sobre técnicas de prueba, profesor Incorporación de casos prácticos a la asignatura Ventajas para el sujeto, experimentador y replicador (Subjetivo, ventajas múltiples) Listas de valores

abiertos Restricciones Participantes

Modificaciones o agregados Mejoras al PL Elementos de ambiente Tratamiento de dudas Percepción de resultados No corresponde

6.4

Fase de Síntesis de Resultados

La fase de síntesis de los resultados es la última del proceso de evaluación y tiene como objetivo hacer una interpretación de la información analizada. En esta síntesis se asigna un valor a los atributos de evaluación definidos. De esta fase resulta una valoración completa de los atributos de la replicación que permite comparar el uso del PL en cada una. En esta sección se describe la síntesis de resultados y valoración de atributos.

La fase de síntesis de resultados es la primera en la que interviene el juicio del evaluador para interpretar la información obtenida. Esta interpretación tiene como propósito establecer el valor de cada atributo considerando la información recogida en forma ponderada.

Debe tenerse en cuenta para realizar esta síntesis que la información obtenida es en algunos casos subjetiva. Cada fuente de información, sean documentos o personas, ve la replicación desde una perspectiva distinta. Por ejemplo, en el caso de la entrevista se analiza la replicación desde el punto de vista del replicador responsable. Por este motivo, al construir la síntesis de resultados se deben realizar interpretaciones sobre los productos obtenidos en la fase de análisis de información. Para la valoración de cada atributo se detallará cómo la interpretación del investigador influye en su valor, en particular cuando la valoración difiere de la perspectiva del replicador.

El producto de entrada a esta fase es el resumen de la replicación. Dentro de la fase se realiza la actividad de valoración de atributos que tiene como resultado un documento con atributos de replicación valorados. Las actividades y productos de la fase síntesis de resultados se muestran en la Figura 6.5.