Research Methodology

En este contexto, esta investigación retoma el trabajo de Vidal Díaz de Rada y Peio Ayerdi de 2007, en el que se constataba el riesgo que supone la exclusión de la población ‘Sólo-Móvil’ para las encuestas electorales realizadas en España, y lo complementa proporcionando la evidencia empírica que confirma la existencia de sesgos en las predicciones electorales realizadas a partir de los datos de encuestas que excluyen a esta población. Para ello, de acuerdo con el enfoque del ETE, esta investigación conceptualiza la falta de precisión de las encuestas electorales como un fenómeno complejo, en cuya explicación intervienen múltiples factores, que se pueden sistematizar en torno a la idea de la encuesta pre-electoral como un doble proceso de inferencia: 1) El que supone obtener una muestra representativa de las personas que votarán el día de las elecciones y; 2) el de medir adecuadamente las preferencias electorales de los votantes. De todas las posibles fuentes de error que se pueden producir en este proceso, el trabajo aborda una de ellas, la de los sesgos de cobertura que se producen como consecuencia de excluir del marco muestral de las encuestas telefónicas a aquella población que no dispone de teléfono fijo en su hogar, pero que podría ser contactada a través del móvil.

Para responder a este objetivo de investigación, el análisis se ha centrado principalmente sobre el caso de estudio que proporcionan las elecciones autonómicas andaluzas de 2012, en las que la totalidad de las encuestas pre- electorales fallaron en sus pronósticos. Se trata de un caso interesante de

sido poco analizadas sus causas. La mayor parte de las hipótesis avanzadas hasta el momento en la explicación de este fallo se han centrado en el comportamiento de las personas encuestadas y de los votantes, los cuáles, o bien no declararon su verdadera intención en la encuesta, o bien cambiaron su intención entre el momento en que se realizaron las encuestas y el día de los comicios. En lo que se refiere a las hipótesis relacionadas con el diseño técnico y metodológico de las encuestas realizadas con motivo de esta convocatoria, se ha señalado que la mayoría de estas encuestas no cumplían los requisitos necesarios de tamaño y estratificación de la muestra por circunscripción electoral que permitiera hacer una atribución de escaños con un margen de error aceptable. Asimismo, se ha apuntado a la mala elección de las variables incorporadas en los modelos de estimación de voto, y en particular el uso del recuerdo de voto, como una de las causas principales en el fallo de las predicciones. Sin embargo, hasta la fecha ningún trabajo ha abordado el análisis de la medida en que el problema de la falta de cobertura, asociada a la exclusión de la población ‘Sólo-Móvil’, que presentan las encuestas telefónicas, haya podido contribuir a la explicación del fallo en las predicciones realizadas a partir de encuestas electorales realizadas con motivo de ésta u otras convocatorias electorales en nuestro país.

Éste es precisamente el nicho de investigación que pretende cubrir este trabajo cuyo objetivo ha consistido en determinar el efecto que tiene la exclusión de la población ‘Sólo-Móvil’ sobre el nivel de precisión de las predicciones electorales realizadas a partir de datos procedentes de encuestas telefónicas y, secundariamente, valorar en qué medida este factor ha podido contribuir a explicar el fallo en los pronósticos realizados con motivo de las elecciones andaluzas de 2012.

Dar respuesta a este problema de investigación ha sido posible gracias a la disponibilidad de una fuente de datos que cumplía los requisitos necesarios para analizar el efecto de la falta de cobertura de la población ‘Sólo-Móvil’ sobre las predicciones electorales. Efectivamente, el Barómetro de Opinión

Pública de Andalucía de 2011 es una encuesta presencial, con un nivel de cobertura prácticamente completo de la población, y cuyo cuestionario incorpora las variables clásicas de medición del comportamiento electoral junto con las variables que permiten segmentar a la población en función del equipamiento telefónico de sus hogares.

El objetivo global de la investigación se ha desglosado en cuatro hipótesis a partir de la definición estadística del sesgo de falta de cobertura. Según esta definición, el sesgo de falta de cobertura es la diferencia que se produce entre el valor observado en una encuesta y el valor real de la población cuando se excluye a una parte de ésta. La existencia o no de este sesgo y su magnitud depende de dos factores: el tamaño de la población excluida y la existencia de diferencias entre ésta y la población que resulta cubierta por la encuesta en las variables de interés de la investigación. Las hipótesis, derivadas a partir de esta definición, que han guiado el proceso de investigación son las siguientes:

1. En Andalucía existe un porcentaje importante de la población que dispone exclusivamente de teléfono móvil en el hogar y por tanto queda excluido de las encuestas telefónicas que emplean marcos muestrales de líneas fijas en exclusiva.

2. En Andalucía, la población ‘Sólo-Móvil’ presenta un perfil sociodemográfico diferente al resto de la población que se traduce en la existencia de diferencias significativas en sus actitudes políticas y su comportamiento electoral.

3. Las encuestas que excluyen a la población ‘Sólo-Móvil’ presentan sesgos de cobertura en las variables de estimación del voto que hacen que su nivel de precisión a la hora de predecir los resultados de las elecciones sea menor que el de las encuestas que incorporan las líneas móviles en su marco muestral.

4. Los sesgos que se producen como consecuencia de esta falta de cobertura van en la misma dirección que el sesgo global observado en las encuestas telefónicas que se realizaron con motivo de las elecciones andaluzas de 2012.

Para responder a los objetivos de la investigación, se ha optado por una estrategia de investigación definida desde una perspectiva metodológica cuantitativa. Más concretamente, la técnica empleada para probar las hipótesis antes definidas es el análisis cuantitativo a partir de datos secundarios. Estos datos proceden de fuentes diversas producidas por instituciones públicas como el INE, el CIS o el IESA/CSIC, además de las empresas privadas que llevaron a cabo la mayor parte de las encuestas previas a las elecciones andaluzas de 2012.

Concretamente, se han empleado los datos que proporciona la Encuesta sobre Equipamiento y Uso de Tecnologías de la Información y Comunicación en los Hogares (TIC-H) del INE para analizar la magnitud del fenómeno de sustitución de la telefonía fija por la telefonía móvil en Andalucía y su evolución en el tiempo (hipótesis 1). La caracterización del segmento de población ‘Sólo-Móvil’ y el análisis de sus diferencias con la población que dispone de teléfono fijo en el hogar (hipótesis 2) se ha realizado a partir de los datos de la encuesta del INE en lo que se refiere a su perfil sociodemográfico y al nivel de equipamiento tecnológico de sus hogares, y de los datos proporcionados por el BOPA de 2011, en lo que se refiere a sus actitudes y comportamientos políticos.

Dado que ninguna de las veintitrés encuestas telefónicas que se realizaron con motivo de las elecciones andaluzas de 2012 realizaron llamadas a teléfonos móviles, la tercera hipótesis se ha comprobado mediante la construcción de muestras simuladas a partir del BOPA de 2011. Partiendo de estos datos, obtenidos mediante entrevista presencial, se ha segmentado la muestra en función de su disponibilidad de teléfono fijo y móvil. Se obtienen así tres

muestras que simulan el escenario de: 1) una encuesta presencial; 2) el de una encuesta telefónica clásica (realizada exclusivamente en líneas fijas) y; 3) el de una encuesta telefónica dual (que incluye líneas fijas y móviles). Los distintos segmentos obtenidos se han ponderado para que sean representativos de la población con derecho a voto en las elecciones autonómicas andaluzas de 2012 en función de las variables habitualmente empleadas en la estratificación de la muestra de este tipo de encuestas (sexo, edad, provincia y tamaño de hábitat del municipio de residencia). Asimismo, se ha calculado un segundo factor de ponderación en el que, además de estas variables, se incluía el recuerdo de voto en las pasadas elecciones del mismo nivel. Y ello con el fin de valorar en qué medida es posible corregir el sesgo producido por la exclusión de la población ‘Sólo-Móvil’ mediante la ponderación de los resultados por recuerdo de voto. La cuantificación del impacto de la exclusión de la población ‘Sólo-Móvil’ se ha efectuado a partir de la comparación del nivel de precisión obtenido por las estimaciones producidas a partir de estas seis muestras simuladas. En la cuantificación del nivel de precisión se han empleado las medidas de precisión Mosteller 5 y A de Martin et al.

El análisis se ha completado con una evaluación del nivel de precisión y los sesgos cometidos por las encuestas pre-electorales que se llevaron a cabo con motivo de las elecciones andaluzas de 2012, con el fin de valorar si la magnitud y el sesgo de las desviaciones producidas en estas encuestas es consistente con los sesgos observados en el análisis de las estimaciones producidas a partir de las muestras simuladas cuando se excluye a la población ‘Sólo-Móvil’ (hipótesis 4).

Por último, con el fin de reforzar la fiabilidad y validez de los resultados obtenidos a partir del análisis de las elecciones andaluzas de 2012, se ha replicado parte del procedimiento de análisis con los datos que proporciona el BOPA de 2011 para el voto andaluz en las elecciones generales de noviembre

de 2011 y los que ofrece la encuesta pre-electoral del CIS, una encuesta de ámbito nacional, para el voto en las elecciones europeas de 2014.

Además de contribuir a la demostración del efecto que la exclusión de la población ‘Sólo-Móvil’ produce sobre las encuestas pre-electorales realizadas en nuestro país, este trabajo contribuye a la investigación llevada a cabo

en este ámbito de estudio de varias maneras:

1) Proporcionando una propuesta para la sistematización de los distintos trabajos que, desde perspectivas teóricas y disciplinas distintas, han abordado el estudio de los factores que afectan a la precisión de las encuestas electorales a partir del esquema de clasificación de las fuentes de error que proporciona el enfoque del Error Total de la Encuesta.

2) Presentando una aproximación metodológica original y robusta para el análisis de los problemas de cobertura de los distintos modos de administración de encuestas. La construcción de muestras simuladas, que reproducen las distintas opciones técnico-metodológicas de una encuesta, a partir de una encuesta con una cobertura completa de la población, permite valorar el impacto que tendría el sesgo de falta de cobertura sobre el nivel de precisión de los pronósticos electorales obtenidos con encuestas basadas en distintos modos de administración. La validez de este procedimiento de análisis ha sido comprobada mediante su aplicación a los datos de dos encuestas y tres convocatorias electorales distintas (el voto andaluz en las elecciones generales de 2011, las elecciones autonómicas andaluzas de 2012 y las elecciones europeas de 2014). Si bien este trabajo se ha centrado sobre el problema de cobertura que suponen los hogares ‘Sólo-Móvil’ para las encuestas telefónicas tradicionales, consideramos que este procedimiento de análisis podría contribuir significativamente al estudio del efecto de la falta de cobertura de otros modos de administración como la encuesta online.

Esta investigación está sujeta a ciertas limitaciones relacionadas, fundamentalmente, con la fuente de datos empleada para dar respuesta a los objetivos e hipótesis de la investigación y el enfoque metodológico elegido. Como se ha señalado, la manera ideal de responder al objetivo principal de la investigación habría consistido en comparar el nivel de precisión obtenido por las encuestas telefónicas que incluyeron líneas fijas y móviles en su diseño muestral, con el obtenido por las que se realizaron exclusivamente a través de líneas fijas. Sin embargo, ninguna de las encuestas realizadas con motivo de la convocatoria analizada incluía líneas móviles, por lo que éstas se han tenido que simular a partir de una fuente de datos obtenida mediante un modo de administración con un nivel de cobertura mayor que el modo analizado. El BOPA es una encuesta presencial que, por tanto, tiene una cobertura casi completa de la población con derecho a votar en las elecciones andaluzas de 2012, pero que también está sometida a sus propias fuentes de error y de sesgos (fundamentalmente errores de no respuesta y errores de medida). Estas fuentes de error, específicas del modo presencial, habrían estado presentes en la conformación de la muestra del BOPA y, por tanto, sus efectos están incorporados en las distintas simulaciones realizadas a partir de ésta. Esta limitación no afecta significativamente a los resultados obtenidos en lo que se refiere a la demostración del efecto de la falta de cobertura de la población ‘Sólo-Móvil’ sobre las estimaciones, dado que esta variable se ha controlado en la configuración de las simulaciones. Sin embargo, sí puede afectar de algún modo al nivel de precisión en la cuantificación de este efecto, en la medida en que las muestras empleadas son simulaciones de una encuesta telefónica y, en tanto que tal, son representaciones imperfectas de éstas. Contar en el futuro con ejemplos reales de encuestas pre-electorales, realizadas a partir de encuestas telefónicas basadas en marcos muestrales duales, permitirá cuantificar de manera más precisa el efecto que tiene, la incorporación de los móviles, sobre el nivel de precisión de los pronósticos electorales realizados a partir de este tipo de encuestas.

Asimismo, es necesario continuar analizando el efecto que la ponderación por recuerdo de voto produjo sobre la estimación de los resultados electorales de las elecciones andaluzas de 2012 y del voto andaluz en las elecciones generales de 2011. El objetivo de introducir la variable de recuerdo de voto en el cálculo del factor de ponderación de los resultados, consistía en valorar en qué medida esta variable, empleada de manera habitual como variable de estratificación o post-estratificación en las encuestas electorales que se realizan en España, podía contribuir a corregir el sesgo provocado por la exclusión de la población ‘Sólo-Móvil’. Por el contrario, los resultados del análisis mostraron que la introducción del recuerdo de voto no sólo no corrigió sino que profundizó la sobrestimación de la intención del voto al PP en ambos casos. Al ser un tema que quedaba fuera de los objetivos de la investigación, este trabajo no ha profundizado en el análisis de los mecanismos por los que se produce este efecto. Sin embargo, creemos que es un aspecto que merece ser analizado con detenimiento, ya que tiene que ver con el funcionamiento de una variable que, en muchos casos, se sigue incorporando de manera automática en los modelos de estimación de voto a pesar de que hay indicios que apuntan a que su uso habría contribuido al fallo de las estimaciones en algunas convocatorias recientes.