Abstract collections

Una vez definidas las variables a tratar, la muestra y el período de estudio y establecida la encuesta como la técnica más adecuada debido a los requisitos de acceso a la población e idioma se procedió a diseñar el instrumento de medida acorde a todos estos elementos. Para poder realizar la encuesta construimos un cuestionario que fuese posible administrar vía e-mail, preferentemente, a una población numerosa y de difícil acceso mediante una aplicación web de encuestas on-line. Aunque, como acabamos de comentar, un nivel de respuesta total del 50% sería un éxito, en este tipo de administración de encuesta no se suele llegar a esa cifra (Ruiz Bueno, 2009). El cuestionario fue también validado mediante consulta a expertos y se realizaron un pre-test y un pilotaje para mejorar su fiabilidad.

3.2.1. Elaboración del cuestionario

El cuestionario fue creado entre febrero y junio de 2015 y se realizaron 14 versiones distintas antes de las pruebas de fiabilidad. Nuestro objetivo fue siempre un cuestionario on-line auto-administrado –donde se les proporciona el cuestionario directamente a los respondientes y las preguntas las gestionan ellos- que pudiese ser accesible a partir de diversas vías, preferentemente e-mail, pero también mediante hipervínculos o códigos QR. El cuestionario fue diseñado en inglés en colaboración con expertos de la Pädagogische Hochschule Heidelberg (PHH), como veremos en apartados siguientes, y traducido posteriormente al alemán, en los anexos podemos encontrar la versión final en castellano hecha por el autor.

El cuestionario es un instrumento muy útil para la técnica de encuesta ya que proporciona datos numéricos y estructurados, puede ser aplicado sin la intervención del investigador y es bastante sencillo de analizar (Wilson & McLean, 1994 en Cohen et al., 2000). Éste será tanto más bueno cuanto mejor sepamos cómo vamos a analizar los datos, de cuantos recursos y tiempo disponemos y si sabemos los problemas comunes de diseño. Los datos recogidos serán, por tanto, adecuados dependiendo del cuestionario, la muestra utilizada y el análisis realizado (Wiggins & Bowers, 2013).

Para que un cuestionario funcione ha de utilizar preguntas claras y precisas que contengan significado, que sean realmente importantes para los objetivos planteados y por eso cada pregunta está relacionada con las variables y éstas con los objetivos en los Cuadros 4 y 6; nuestro instrumento de medida tiene que representar fielmente los conceptos y variables que tenemos en mente (Hernández Sampieri et al., 1997). Hay que evitar preguntas innecesarias y que éstas sean lo más breves posibles, las preguntas también deben ser

118

claras, de forma personal y directa (Ruiz Bueno, 2009) e informar al respondiente del porcentaje del cuestionario completado junto a una presentación que asegure confidencialidad, anonimato y agradezca la colaboración (Cohen et al., 2000). Por el contrario hay que evitar que las preguntas sean dirigidas, demasiado intelectuales, molestas, con dobles negativos y usar las menos preguntas abiertas posibles, sobre todo si la muestra es grande (Cohen et al., 2000).

La batería inicial de preguntas se creó a partir de un brainstorming y consistió en 80 preguntas, que se redujeron a 60 para la primera versión del cuestionario y finalmente a 20 para la última versión –descontando las 2 preguntas finales que ofrecían la posibilidad de recibir los resultados a los respondientes-. Esto es normal ya que en las primeras fases del cuestionario éste suele ser muy grande y pesado hasta que definimos bien las categorías de estudio (Cohen et al., 2000).

La colaboración y revisión por expertos es fundamental para poder comprobar si todas las preguntas significan lo mismo para todos los lectores y para revisar que midan un único concepto y no otros, buscando además que sean adecuadas para la población a la que va dirigida la encuesta; el principal problema fue determinar que las preguntas fueran entendidas por todos los sujetos de la misma manera y que midiesen el mismo concepto. Medir significa «asignar números a objetos y sucesos según unas reglas» (Stevens, 1951) y en este proceso el instrumento de medición o recolección de datos juega un papel primordial. Nuestro foco estuvo centrado en la respuesta observable por parte del sujeto – la respuesta marcada en el cuestionario- y por tanto el instrumento debía ser fiable y válido. Listar las variables, revisar su definición conceptual y revisar mediante expertos cómo se ha medido cada una son pasos necesarios para comprobar su fiabilidad y validez (Pallant, 2010; Hernández Sampieri et al., 1997). Para la fiabilidad cada pregunta ha de medir siempre lo mismo y significar lo mismo para todos, siempre ha de producir el mismo resultado al responderla; mientras que la validez define hasta qué punto mide lo que queremos medir, la exactitud de la medida, el margen de error (Thayer-Hart et al., 2010).

Las preguntas de nuestro cuestionario son de tres tipos: de conducta –hechos y frecuencias- , de actitudes –opiniones, satisfacción, certeza- y de información -diferenciar grupos, edad, género, formación- (Ruiz Bueno, 2009; Thayer-Hart et al., 2010). En el eje más técnico, combinado con el anterior, utilizamos preguntas de clase dicotómica, de elección múltiple, mediante escala de valoración y preguntas abiertas (Cohen et al., 2000; Ruiz Bueno, 2009). Las preguntas abiertas son necesarias cuando la categorización previa resulta difícil o imposible –como es el caso principal de los temas más difíciles en Geografía o los más

119

habituales con SIG- mientras que las cerradas deben tener categorías exhaustivas, no solapadas y mutuamente exclusivas (Cohen et al., 2000; Thayer-Hart et al., 2010); las medidas que buscan las preguntas cerradas tienen que ser de interés real como porcentajes, número de veces, promedio de usos, etc. También utilizamos filtros que nos permitían crear subgrupos y ajustar el cuestionario a los respondientes –fundamentalmente usuarios de SIG o no- (Ruiz Bueno, 2009) ya que los sujetos sólo deben responder a las preguntas que les atañen (Harrison, 2007).

Dentro de la clase de preguntas de elecciones múltiples había varios problemas a tener en cuenta a la hora de diseñarlas: siempre se responde más frecuentemente a la primera opción –por eso dimos preferencia a la respuesta “No” como primera opción, para evitar sesgos positivos- y no siempre medimos lo que realmente queremos medir (Wiggins & Bowers, 2013), existiendo un sesgo en las respuestas a las preguntas “de acuerdo” con lo que era mejor evitarlas (Harrison, 2007). Debido a este último caso preferimos no incluir preguntas de valoración de la experiencia con SIG puesto que el sesgo hacia valoraciones altas es muy grande. Respecto a las escalas éstas debían estar etiquetadas de forma no ambigua añadiendo una descripción a cada valor de la escala en lugar de dejar simplemente un dígito. Las preguntas cerradas son mucho más abundantes en nuestro cuestionario debido a que son fáciles de traspasar a valores numéricos posteriormente en un programa informático –como el SPSS- y permiten un mayor espectro de análisis, pero las abiertas que utilizamos también se pueden codificar en categorías posteriormente definidas (Pallant, 2010) como hemos hecho a partir de la clasificación UNESCO.

Muchas preguntas de un cuestionario no suponen una percepción de amenaza por parte del respondiente y por tanto es útil ayudarle a recordar, tipificando el periodo temporal y mediante respuestas cerradas exactas ya que así se suele dar más información (Ruiz Bueno, 2009), pero en las preguntas de conducta, sobre todo, se puede percibir una cierta amenaza y es mejor usar intervalos o preguntas abiertas (Ruiz Bueno, 2009). Los intervalos en esas medidas son interesantes ya que hacen a las preguntas menos agresivas, pero perdemos detalle (Wiggins & Bowers, 2013). En nuestro caso en la mayoría de preguntas conductuales se han creado intervalos –de tipo ordinal estrictamente hablando- para favorecer la respuesta.

El orden de las preguntas en el cuestionario está organizado para ir de lo más general a lo más específico y de los más fácil a lo más complicado, agrupadas por temas y con las preguntas personales situadas al final (Ruiz Bueno, 2009). Sólo existe la excepción del test

120

de conocimientos que se incluyó al principio debido a que buscábamos evitar dar cualquier tipo de pista que condicionara las respuestas.

Para hacer partícipes a los respondientes en la encuesta es útil ofrecerles en el cuestionario los resultados del estudio –como se hizo en las últimas dos preguntas- además de identificar a las organizaciones que lo realizan y marcar un límite de tiempo máximo para responder junto a recordatorios posteriores (Thayer-Hart et al., 2010) –ver más adelante el apartado de proceso de administración-. En el caso particular de un cuestionario auto-administrado también era necesario un título interesante, fuentes grandes y fáciles de leer, instrucciones para su uso, espacios frecuentes entre las preguntas, aplicar negrita y cursiva para resaltar palabras o frases clave, cajas para marcar las respuestas y énfasis en palabras concretas (Wiggins & Bowers, 2013). Era fundamental también una presentación de objetivos del estudio al principio, una petición de colaboración, describir la investigación e incluir los logos de las instituciones implicadas (Ruiz Bueno, 2009).

Debido a que las encuestas on-line mediante aplicación web son intuitivas y funcionan con múltiples navegadores (Thayer-Hart et al., 2010) nos resultó una elección atractiva para poder llegar a una amplia muestra de población de difícil acceso como los profesores de secundaria. Tras elaborar el cuestionario y realizar un pre-test en la PHH creamos una encuesta on-line en un servidor alemán. Aunque los miembros de la muestra dan su consentimiento tácito a participar en la encuesta preferimos que sus datos estuvieran regulados por la ley alemana y no salieran del país.

En la Figura 12 podemos ver los pasos seguidos en la Fase 2 del proceso de encuesta. Primero la elaboración del cuestionario mediante una serie de borradores colaborando con expertos de la PHH y supeditando su diseño a los objetivos de la investigación y la teoría educativa y de diseño de encuestas. Finalizado el pre-cuestionario se procedió a hacer un pre-test con alumnos de la PHH que aportaron sugerencias por escrito que se aplicaron en el cuestionario de la encuesta on-line junto a un seguimiento por parte de los expertos. Cuando la encuesta on-line estuvo acabada se pilotó con profesores de la PHH lo que llevó a modificar la encuesta on-line gracias a sus sugerencias y tras estos pasos obtuvimos el cuestionario definitivo que podemos ver en el apartado de descripción del cuestionario y en los anexos.

121 Figura 12: Elaboración del cuestionario

Figura 12: Etapas de la Fase 2 del proceso de encuesta para la elaboración del cuestionario. Fuente: propia.