En este apartado se abordan aspectos relacionados con la calidad de los datos obtenidos mediante la puesta en práctica de una investigación a través de la metodología de encuesta. Concretamente analizamos los conceptos de validez y fiabilidad en relación con esta metodología.
La validez hace referencia a que el procedimiento utilizado mide lo que realmente pretende medir, mientras que la fiabilidad hace referencia a la propiedad del instrumento que produce los mismos resultados en diferente usos (Latiesa, 1998). La validez pone en cuestión si un instrumento de medida está conectado adecuadamente con el constructo teórico que pretende capturar (Aldrige y Levine, 2003).
Establecemos, por tanto, que la validez es una valoración de si un instrumento de medida consigue medir aquello para lo que fue diseñado. La fiabilidad, por su parte, se refiere al grado en el que un instrumento de medición produce constantemente los mismos resultados cuando se usa en las mismas condiciones y permite conocer la calidad de las mediciones llevadas a cabo.
Desde nuestro punto de vista, retomando el concepto de validez, será necesario prestar especial atención a la validez externa, la
validez de constructo, la validez estadística y la validez interna.
La validez externa: se produce cuando los resultados
obtenidos en la investigación son generalizables a otros niveles de análisis, otras situaciones y otros momentos temporales. En la práctica, la validez externa está íntimamente ligada a la aplicación correcta del procedimiento de muestreo ya que su propósito último es generalizar los resultados obtenidos más allá del propio estudio y para ello es un requisito indispensable que la muestra sea obtenida de manera aleatoria de la población de origen y que sea representativa de ella.
La validez de constructo: se define como un indicador de la correspondencia producida entre el nivel teórico, los conceptos y constructos y el nivel observado o la comprobación empírica de dichos conceptos y constructos. Cobra en este punto especial importancia la elaboración del instrumento de medida y la confección del cuestionario.
La validez estadística: este tipo de validez se relaciona
con la sensibilidad a la hora de detectar un determinado efecto. Es por tanto la probabilidad de que un efecto sea detectado, estando dicho efecto presente.
La validez interna: el investigador, con el objetivo de
asegurar el mayor grado de certeza de sus conclusiones debe controlar o minimizar en la medida de lo posible las influencias sistemáticas que podrían invalidar las conclusiones obtenidas a partir de su investigación. Desde un punto de vista más operativo, a continuación relacionamos las principales fuentes de error que son o pueden ser causa de una descenso en los niveles de validez de la investigación. Estas fuentes producen los siguientes tipos de errores:
Errores relacionados con el cuestionario: se producen
cuando existen deficiencias en la confección de este instrumento. Tienen lugar cuando el investigador, al redactar las preguntas que componen el formulario, no consigue sistematizar el proceso de interrogación ya que introduce ambigüedades que ocasionan interpretaciones erróneas por parte de los entrevistados. En este caso, el investigador no asegura la comparabilidad de las respuestas obtenidas.
Errores debidos al proceso de entrevista: este tipo de
errores son introducidos generalmente por el equipo de entrevistadores. Éstos, durante el proceso de entrevista, pueden no seguir las instrucciones dadas, no
prestar la debida atención al entrevistado, etc. El problema en muchos casos es debido a una escasa importancia otorgada al entrenamiento, motivación y supervisión del personal de campo. Señalar, por tanto, que el investigador debe tener en cuenta estos aspectos con el fin de asegurar un alto nivel de calidad y objetividad de la información obtenida.
Errores de las personas investigadas: se producen
cuando la persona que contesta no se percata completamente de la finalidad de la entrevista, no comprende toda o parte de una pregunta, aporta información incorrecta de manera aleatoria, etc.
Errores relacionados con el tratamiento de datos: son
errores asociados a la codificación y registro de los datos obtenidos. En este caso, el investigador para minimizar su influencia, debe revisar la consistencia de las respuestas, la existencia de cuestionarios con datos faltantes, etc.
Errores asociados al muestreo: además del hecho de
trabajar con una muestra y no con la población entera (error de muestreo), es necesario considerar que se producen errores debidos asociados al muestreo debidos a la no respuesta. Teniendo en cuenta la importancia de este fenómeno en la aplicación de encuestas, hemos decidido estudiarlo con un poco más de detalle. El apartado que se muestra a continuación persigue este objetivo.
5.2.1.- El caso de la “No Respuesta”
Desde nuestro punto de vista, la no respuesta es un factor a tener en cuenta a la hora de alcanzar un nivel de calidad adecuado en la investigación mediante encuesta. En este apartado analizamos este problema con la finalidad de comprenderlo en mayor medida e identificar posibles mecanismos para minimizar sus efectos sobre los datos.
El fenómeno de la no respuesta se produce cuando las personas contactadas deciden no participar, total o parcialmente, en la entrevista que propuesta por el entrevistador. Específicamente, decimos que se produce una “no respuesta total” cuando no se consigue realizar la entrevista con el hogar o persona seleccionada. Mientras que la “no respuesta parcial” se produce cuando la persona entrevistada se reserva opiniones o no sabe responder a una o varias de las cuestiones planteadas en el cuestionario en el que se basa la entrevista.
Con la denominación de no respuesta se ubican incidencias producidas durante el muestreo y/o la implementación del trabajo de campo del tipo que se describen a continuación:
No contactos: se produce cuando no es posible
contactar con la persona que se pretendía entrevistar. Rechazos: se produce el contacto de manera correcta,
pero el entrevistador encuentra que la persona contactada no quiere participar en el estudio.
No entrevistados: en este caso se produce el contacto y
existe una disposición positiva para aportar la información, pero la entrevista no se produce porque la persona contactada no es capaz de comunicarse correctamente con el entrevistador.
En la literatura sobre el tema de la no respuesta en el ámbito de las encuestas, Groves (1989), a partir de una revisión de diversas investigaciones, establece las siguientes tendencias:
Se produce una mayor tasa de no respuesta en las
personas de mayor edad que en los más jóvenes.
En cuanto al sexo, los hombres presentan menor tasa
de respuesta que las mujeres.
Teniendo en cuenta el nivel cultural, la no respuesta se
produce en mayor medida en las personas con menor nivel cultural.
Este autor establece también que los hogares con menor número de personas presentan una tasa de respuesta menor.
Por último, cabe destacar que a mayor nivel de
urbanización se debe esperar una menor tasa de respuesta.
En esta línea de investigación De Heer e Israels (1992) identifican tres factores relacionados con la no respuesta:
El primero de ellos hace referencia al diseño y agrupa
los casos de no respuesta ocasionados por la pérdida de unidades de muestreo, la elaboración inadecuada del cuestionario y los fallos en la puesta en práctica del trabajo de campo.
El segundo factor hace referencia a la organización del
trabajo de campo. En este sentido, señalan como
potenciales causas de la no respuesta, los deficientes controles de calidad establecidos, la excesiva carga de trabajo de los entrevistadores, un deficiente sistema de incentivos y retribución del personal de campo y la escasa supervisión por parte del investigador.
Por último, identifican un factor relacionado con las
características sociodemográficas y establece que se produce una menor tasa de no respuesta en los siguientes casos: personas muy mayores o muy jóvenes, personas con bajos niveles de estudios, sujetos de hogares en los que trabaja la mujer y sujetos que viven en ciudades grandes.
Como indica Sánchez (2000) existen principalmente dos procedimientos mediante las cuales el investigador puede reducir el nivel de no respuesta de carácter total. La primera se refiere a gestionar adecuadamente la gestión de las re-contactos (re- llamadas, re-visitas, etc.), es decir, las acciones que se llevan a cabo con el fin de insistir en el intento de conseguir la realización de una entrevista.
El segundo, hace referencia al hecho de sustituir a los hogares/personas seleccionadas por otras distintas. No obstante, cuando los criterios para realizar una sustitución deben establecerse teniendo en cuenta que una excesiva laxitud en la aplicación de estas prácticas para reducir la no respuesta puede introducir sesgos en la muestra al hacer que esta pierda representatividad y pueda dificultar el proceso de estimación de los parámetros de la población.
Ante la “no respuesta parcial”, lo normal es dejar las cosas como están suponiendo, como indica Sánchez (2000) que:
“Las personas que no contestan a una pregunta en particular, de haberlo hecho, habrían contestado lo mismo que los que han respondido. Ahora bien, si se imputan valores a los no respondientes hay que tener muy claro el procedimiento de imputación para que el aumento de la precisión que se consigue al aumentar el tamaño de la muestra con los casos que no habían contestado no se produzca a costa de un aumento del sesgo y del error variable atribuible a la imputación”(página 22).
El investigador que utiliza la encuesta como metodología para la generación de conocimiento debe tener presente y abordar convenientemente el problema que se presenta con la no
respuesta. Operativamente, debe diseñar procedimientos que
minimicen los casos de no respuesta y en la medida de lo posible tratar de conocer las características de las personas que no contestan para evaluar la dirección en la que puede ir el sesgo a la hora de realizar nuestras estimaciones.
A la hora de analizar los datos, se pueden desarrollar procedimientos que tengan en cuenta la existencia de la no
respuesta. Por ejemplo, utilizando procedimientos de ponderación
para la “no respuesta total” y realizando imputaciones en el caso de la “no respuesta parcial”.