Development of a program to control response biases and assessment of its usefulness in typical performance measures

Abstract

Un dels problemes més habitual quan administrem qüestionaris auto-informats és saber fins a quin punt les mesures són un reflex fidel del tret que volem mesurar, o estem recollint algun efecte sistemàtic. Aquests efectes s’anomenen biaixos de resposta, sent els dos més importants la Desitjabilitat Social (DS) i la Aquiescència (AC). Aquests biaixos produeixen diverses alteracions en l’estructura del qüestionari, que poden dificultar la interpretació dels resultats, així com la seva validesa. S’han desenvolupat diversos mètodes per controlar l’impacte de la DS i l’AC, però només el proposat per Ferrando, Lorenzo-Seva, & Chico (2009) permet realitzar un anàlisi factorial controlant l’efecte dels dos biaixos simultàniament. No obstant, aquest mètode no estava disponible a cap software estadístic. Així doncs, el primer objectiu d’aquesta tesis és desenvolupar un software per permetre als investigadors aplicats utilitzar el mètode prèviament mencionat. El segon objectiu es aplicar el mètode a dos problemàtiques relacionades amb la DS i l’AC. El primer cas és l’impacte sobre la estructura factorial de dos qüestionaris i el segon, el rol dels biaixos de resposta en els efectes associats amb la “Personality Differentiation Hypothesis across ability levels” (PDH). Hem desenvolupat el programa Psychological Test Toolbox, de distribució gratuïta, utilitzant MATLAB. Per tant, el primer objectiu s’ha assolit, donant als investigadors aplicats una eina per aplicar el mètode en el desenvolupament de qüestionaris. Pel que fa al segon objectiu, hem demostrat que els biaixos de resposta poden tenir un gran impacte en l’estructura factorial de qüestionaris auto-informats, especialment l’AC. També hem descartat la relació entre els biaixos i els efectes de la PDH, ja que no hem trobat relació entre la DS i capacitat, i la relació entre DS i capacitat era molt petita.

Uno de los problemas mas habituales cuando administramos cuestionarios auto-informados es saber hasta qué punto las mediadas son un fiel reflejo del rasgo que queremos medir, o bien estamos recogiendo algún efecto sistemático. Estos efectos se conocen como sesgos de respuesta, siendo los dos más importantes la Deseabilidad Social (DS) i la Aquiescencia (AC). Estos sesgos producen diversas alteraciones en la estructura del cuestionario, que pueden dificultar la interpretación de los resultados, así como su validez. Se han propuesto diversos métodos para controlar el impacto de la DS i la AC, pero únicamente el propuesto por Ferrando, Lorenzo-Seva, y Chico (2009) permite realizar un análisis factorial controlando el efecto de los dos sesgos simultáneamente. No obstante, este método no estaba disponible en ningún software estadístico. Así pues, el primer objetivo de esta tesis es desarrollar un software que permita a los investigadores aplicados utilizar el método antes mencionado. El segundo objetivo es aplicar el método en dos problemáticas relacionadas con la DS y la AC. El primer caso es el impacto sobre la estructura factorial de dos cuestionarios y el segundo, el rol de los sesgos de respuesta en los efectos asociados con la “Personality Differentiation Hypothesis across ability levels” (PDH). Hemos desarrollado el programa Psychological Test Toolbox, de distribución gratuita, utilizando MATLAB. Por lo tanto, el primer objetivo se ha alcanzado, dando a los investigadores aplicados una herramienta para aplicar el método en el desarrollo de cuestionarios. Respecto al segundo objetivo, hemos demostrado que los sesgos de respuesta pueden tener un gran impacto en la estructura factorial de cuestionarios auto-informados, especialmente la AC. También hemos descartado la relación entre los sesgos y los efectos de la PDH, ya que no hemos encontrado relación entre DS y capacidad, y la relación entre AC y capacidad era muy débil.

One of the main problems when administrating self-reports questionnaires is to what extent the participant’s response reflects accurately the latent trait of interest, or may be reflecting some systematic effects. This effects are known as response biases, being the most known ones the Social Desirability (SD) and Acquiescence (AC). This response biases produce different alterations in the structure of a questionnaire, difficulty the result interpretation and validity. Some methods for controlling the impact of SD and AC have been proposed, but only the proposed by Ferrando, Lorenzo-Seva, & Chico (2009) allows performing a factor analysis controlling the impact of both biases simultaneously. However, this method was not available in any statistical software. Hence, the first objective of this thesis is develop a software allowing the applied researchers using the aforementioned method. The second objective is applying the method in two different issues related with SD and AC. The first iisue is the impact on the factor structure of two questionnaires, and the second one, the role of response biases in the effects associated with the Personality Differentaition Hypothesis across ability levels (PDH). We developed the program Psychological Test Toolbox, distributed freely, using MATLAB. So, the first objective was accomplished, providing the applied researchers a tool to apply the method in the development of questionnaires. In regards with the second objective, we demonstrated that both response biases have a big impact on the factor structure of self-reports, especially the AC. Also, we discarded the relationship between response biases and the PDH effects, since there is no relationship between SD and ability, and the relationship between AC and ability being weak.