Problem Statement

Para garantizar la validez o confiabilidad de la investigación se utilizaron tres procedimientos: validación externa de instrumentos, estabilidad de la codificación y validación externa de las categorías de análisis y la codificación (Erazo-Jiménez, 2009; 2011).

Validación externa de instrumentos: los instrumentos de producción de datos fueron enviados a dos expertos de Colombia (Anexo 16) y España (Anexo 17), quienes investigan a profesores de ciencias a través de metodologías cualitativas. Ellos propusieron algunos cambios en las preguntas y solicitaron omitir la perspectiva de género ya que sobrecargaba los textos y estaba fuera del objeto de la investigación. En el juicio emitido por los expertos se establece que están ‘de acuerdo’ o ‘totalmente de acuerdo’ con que los instrumentos son coherentes y pertinentes para la

investigación, y además, están ‘totalmente de acuerdo’ en que los instrumentos permiten producir información confiable. Luego de realizar los ajustes solicitados por los expertos, los instrumentos fueron sometidos a pilotaje con una tríada de profesores de ciencias de la misma casa de estudio donde se aplicó la investigación. Estabilidad de la codificación: este procedimiento permitió medir en tiempos diferentes, cómo sobre una misma muestra de datos (10%), el investigador realizaba una categorización con resultados idénticos (Salgado Lévano, 2007). Primero, el investigador realizó la codificación del 10% de los datos con base en las definiciones de las categorías; un mes después, de nuevo el investigador realiza la codificación sobre el mismo muestreo de datos.

Para determinar la estabilidad de la codificación, se utilizaron el coeficientes Kappa de Cohen y el porcentaje de acuerdo. Estas dos medidas son complementarias; el coeficiente Kappa (K) entrega el resultado de fiabilidad en función de la consistencia relativa a la medida (si cada categoría es aplicada a la misma familia de situaciones), mientras que el porcentaje de acuerdo sintetiza el consenso absoluto en las valoraciones de los jueces (si hay coincidencia en las categorías aplicadas) (Benavente, 2009; Torres Gordillo & Perea Rodríguez, 2009).

Para la interpretación del coeficiente Kappa, se utilizó la escala de Torres Gordillo & Perea Rodríguez (2009) que aparece en la tabla 3.10. Los resultados de la estabilidad de la codificación de esta tesis fueron realizados a través del software NVivo 10 y presentan en la tabla 3.11.

Tabla 3.10 Interpretación del Coeficiente Kappa (Torres Gordillo & Perea Rodríguez, 2009)

Valor de K Fiabilidad <0,20 Pobre 0,21 – 0,40 Débil 0,41 – 0,60 Moderada 0,61 – 0,80 Buena 0,81 – 1,00 Muy Buena

Tabla 3.11 Coeficiente Kappa de Cohen y porcentaje de acuerdo de estabilidad de la investigación.

Categoría Kappa Acuerdo

(%) Contexto Inmediato 1,000 100,0 Didáctica y Ciencia 0,802 96,1 Enseñanza 0,762 98,0 Escuela - Universidad 0,965 99,8 Profesor Guía 1,000 100,0 Identificación 0,858 95,7 Identización 0,819 95,4 Práctica 0,820 96,4 Profesor en Formación 0,794 98,6 Reflexión 1,000 100,0 Relaciones Tríadicas 0,775 92,3 Sistema Educativo 0,833 98,4 Sociocultural 0,801 99,0 Profesor Tutor 1,000 100,0 GENERAL 0,874 97,8

Los datos de la tabla 3.11 muestran que todas las categorías tienen una fiabilidad muy buena y buena, así como porcentajes de acuerdo superiores al 92%. Algunas categorías no aparecen en la tabla 3.11 porque no fueron codificadas en el muestreo de datos tomado para este proceso. Según la escala de Torres Gordillo & Perea Rodríguez (2009), la codificación que realiza el investigador tiene una muy buena fiabilidad (K=0,87) y un porcentaje de acuerdo del 97,8%. Por lo cual se puede asegurar que el investigador tiene categorías de análisis claramente definidas y aplicadas de manera estable.

Validación externa de las categorías de análisis y la codificación: este procedimiento se realizó mediante la triangulación con el juicio de expertos de Colombia (Anexo 18), Canadá (Anexo 19) y Chile (Anexo 20); quienes han trabajado con metodologías cualitativas en el campo de investigación de la reflexión. Para ello, se realizó la selección de fragmentos de datos representativos con el fin de que fueran codificados por ellos, y posteriormente, se hizo el análisis comparativo con el trabajo del investigador.

Se decidió hacer una selección intencionada de fragmentos de datos utilizando los siguientes criterios:

Similar porción entre datos de momentos individuales y grupales.

Seleccionar segmentos que iteren por la mayoría de las categorías y que permitan codificar una o más de una de las categorías en cada unidad de significado.

Representatividad de todos los actores: profesor en formación (PF), profesor tutor (PT) y profesor guía (PG).

Consideración equitativa de cada una de las tríadas en el muestreo de datos.

El muestreo de datos quedó establecido con la configuración indicada en la tabla 3.12.

Tabla 3.12 Configuración del muestreo de datos para la validación externa.

Tipo de Dato Tríada Actor

1 2 3 4 PF PT PG Grupal X X X X Individual X X X X X X

Como se ilustra en la tabla 3.13, el plan para establecer la validez de las categorías y la codificación del estudio, consistió en el establecimiento de correspondencias uno a uno (coeficiente Kappa de Cohen) entre el trabajo del investigador y cada experto, y posteriormente, se hizo el análisis de correspondencias entre el trabajo del investigador y el grupo de expertos (coeficiente Kappa de Fleiss).

Tabla 3.13 Plan de análisis de acuerdo y fiabilidad de la investigación. Nº Índice Entre: 1 Cohen Investigador y Experto 1 2 Investigador y Experto 2 3 Investigador y Experto 3

4 Fleiss Investigador y Grupo de Expertos

Para garantizar el rigor científico, en esta investigación se estableció previamente que las categorías y la codificación de datos se considerarían validadas si se cumplían las siguientes dos condiciones:

El coeficiente de Cohen muestra que hay acuerdo y fiabilidad entre el investigador y al menos dos de los tres expertos.

El coeficiente de Fleiss muestra que hay acuerdo y fiabilidad entre el investigador y el grupo de expertos.

De acuerdo con Torres Gordillo & Perea Rodríguez (2009), los resultados entregados por el software NVivo 10, compilados en la tabla 3.14, muestran que la mayoría de las categorías tienen fiabilidad muy buena y porcentaje de acuerdo superior al 96% (en azul), una menor proporción tienen fiabilidad buena (en celeste) y porcentaje de acuerdo superior al 82%. Dos categorías (Escuela-Universidad y Sociocultural) generan resultados perfectos (K=1, %=100), puesto que no fueron codificadas ni por el investigador ni por los expertos (Cobertura del discurso = 0%), lo que significa que sus definiciones y aplicabilidad resultan coherentes para los cuatro codificadores.

Los resultados con el experto 2 presenta dos categorías con fiabilidad moderada (en verde) y dos con fiabilidad débil (en amarillo); esto se debe a que dicho experto dejó varios fragmentos sin codificar puesto que le resultaban confusas algunas definiciones y ejemplos de las categorías (Anexo 19).

Tabla 3.14 Coeficiente de Cohen de fiabilidad (K) y acuerdo (%) de la investigación.

Categoría

% Cobertura del Discurso

Experto 1 Experto 2 Experto 3

K (%) K (%) K (%) Contexto Inmediato 10,82 0,74 97,52 0,71 95,43 0,74 97,52 Didáctica y Ciencia 58,50 0,96 98,04 0,37 65,54 0,92 96,11 Enseñanza 10,00 0,92 98,61 0,47 93,29 0,92 98,61 Escuela - Universidad 0,00 1,00 100,00 1,00 100,00 1,00 100,00 Experiencia Compartida 18,86 0,75 94,39 0,33 92,12 0,85 96,82 Guía 5,02 0,85 98,76 0,85 98,76 0,85 98,76 Identificación 45,33 0,61 82,62 0,72 86,82 1,00 99,97 Identización 8,21 0,67 96,10 1,00 100,00 1,00 100,00 Práctica 4,98 0,68 97,63 0,68 97,63 0,68 97,63 Profesor en Formación 6,50 0,91 99,02 0,58 96,24 0,91 99,02 Reflexión 30,72 0,75 91,49 1,00 99,97 0,86 95,47 Relaciones Tríadicas 25,80 0,67 90,09 0,89 97,36 0,66 93,68 Sistema Educativo 4,66 0,89 99,12 0,89 99,12 0,89 99,12 Sociocultural 0,00 1,00 100,00 1,00 100,00 1,00 100,00 Tutor 12,98 0,90 97,81 0,90 97,81 0,90 97,81 Visiones Diferentes 16,10 0,91 98,29 0,91 98,29 0,73 93,79 GENERAL 100,00 0,79 93,49 0,68 88,20 0,87 96,95

En general, se estableció que la investigación: tiene una buena fiabilidad (K=0,79) y un porcentaje de acuerdo del 93,49% con el experto 1, hay una buena fiabilidad (K=0,68) y un porcentaje de acuerdo del 88,20% con el experto 2, y finalmente, existe una muy buena fiabilidad (K=0,87) y un porcentaje de acuerdo del 96,95% con el experto 3. En conclusión, el análisis del coeficiente Cohen y los porcentajes de acuerdo con cada experto validan la definición de categorías y la codificación realizada por el investigador.

Siguiendo el plan de gestión de la calidad de la investigación, se realizó el análisis del coeficiente de Fleiss, el cual, en conjunto con el porcentaje de acuerdo, permite establecer la correspondencia del trabajo del investigador con la del grupo de expertos. Los resultados arrojados por el software NVivo 10 se han sintetizado en la tabla 3.15.

Tabla 3.15 Coeficiente de Fleiss de fiabilidad (K) y acuerdo (%) de la investigación.

Categoría % Cobertura

del Discurso Kappa (K) Acuerdo (%)

Contexto Inmediato 10,82 0,71 95,43 Didáctica y Ciencia 58,50 0,96 98,04 Enseñanza 10,00 0,92 98,61 Escuela - Universidad 0,00 1,00 100,00 Experiencia Compartida 18,86 0,65 91,20 Guía 5,02 0,85 98,76 Identificación 45,33 0,89 94,71 Identización 8,21 0,67 96,10 Práctica 4,98 0,68 97,63 Profesor en Formación 6,50 0,91 99,02 Reflexión 30,72 0,65 86,99 Relaciones Tríadicas 25,80 0,61 87,47 Sistema Educativo 4,66 0,89 99,12 Sociocultural 0,00 1,00 100,00 Tutor 12,98 0,90 97,81 Visiones Diferentes 16,10 0,73 93,79 GENERAL 100,00 0,81 94,21

Estos resultados muestran que la mayoría de las categorías tienen muy buena fiabilidad (en azul) y porcentaje de acuerdo superior al 94%; las demás, tienen buena fiabilidad (en celeste) y porcentaje de acuerdo sobre el 86%. De acuerdo con Torres Gordillo & Perea Rodríguez (2009), el resultado general deja en evidencia que la investigación cuenta con muy buena fiabilidad (K=0,81) y un porcentaje de acuerdo del 94,21%; con lo cual, se ratifica la validación de la definición de categorías y la codificación realizada por el investigador.

Los tres procedimientos llevados a cabo y sus resultados, permiten garantizar la calidad de la investigación (Benavente, 2009; Salgado, 2007; Torres Gordillo & Perea Rodríguez, 2009). Sin embargo, durante los análisis se hicieron modificaciones en función de las recomendaciones de los expertos: agrupar categorías en macrocategorías o dimensiones, ajustar definiciones y ejemplos de algunas categorías, e incorporar categorías que den cuenta de las relaciones diádicas para

diferenciar y descongestionar la cantidad de información que había en la categoría ‘Relaciones Tríadicas’.