Impact of the mode of data collection on the quality of survey questions in social sciences

Abstract

This dissertation studies the impact of the mode of data collection on the quality of answers to survey questions, defined as the product of reliability and validity. Using data from the Netherlands about different topics (media, social and political trust, satisfaction, political orientation, left-right self-placement, attitudes toward immigration), it shows that the quality is similar in a computed assisted face-to-face survey using show cards (the European Social Survey, ESS) and a web survey based on a probability sample (the LISS panel). This is true both at the level of single items and composite scores. It suggests that standardised relationships across variables can be compared across these two modes. On the contrary, telephone interviews lead to some differences in quality. For complex concepts, measurement equivalence also holds, meaning that means and unstandardised relationships can be compared across the faceto- face and web surveys mentioned previously.

Esta tesis estudia el impacto que el método de recolección de datos en encuestas tiene sobre la calidad de las respuestas, definida como el producto de la fiabilidad y la validez. Utilizando datos de Holanda sobre temas diversos (utilización de los medios de comunicación, confianza social y política, satisfacción, orientaciones políticas, autoubicación en la escala izquierda-derecha, actitudes hacia la inmigración), se muestra que la calidad es similar en una encuesta cara-a-cara asistida con ordenador y utilizando tarjetas (la Encuesta Social Europea) y una encuesta online basada en una muestra probabilística (el panel LISS). Esto se cumple tanto para los indicadores simples, como para indicadores complejos. Los resultados sugieren que las relaciones estandardizadas entre variables son comparables entre los dos métodos de recolección. Al contrario, las entrevistas telefónicas producen diferencias de calidad. Para conceptos complejos, la equivalencia de las mediciones también está garantizada: las medias y las relaciones no estandarizadas son comparables en las entrevistas cara-a-cara y online.