Investigating Reliability and Construct Validity of Situational Test of Socio-Emotional Competencies in the Iranian Context

Abstract

El present estudi analitza la fiabilitat i la validesa de constructe del Test Situacional del Desenvolupament de Competències Socioemocionals en el context d’Iran. Per això es va traduir el test, es va validar per experts, es va fer una administració pilot i es va dissenyar un estudi exploratori no experimental amb la versió iraniana del test (SSECDT) que va ser administrada a 250 nens (amb edats de 12 a 15 anys) d’ambdós sexes que estudiaven en diferents instituts de Tehran. Les dades van ser analitzades a partir de a) les alfes de Cronbach per a estimar la fiabilitat del test, b) els coeficients de correlació intraclasse per analitzar la consistència interna de les puntuacions dels cinc experts que van avaluar el contingut del test, c) una anàlisi factorial exploratòria per a calcular la validesa interna del test, i finalment d) una anàlisi factorial confirmatoria utilitzant LISREL 8.8 per a provar l’estructura de la versió persa del SSECDT. Els resultats de l’anàlisi van revelar que la versió persa del test desenvolupat per Sala-Roca et al. (2016) tenia una consistència interna significativa a partir dels índexs de fiabilitat dels components del test. En segon lloc, l’anàlisi va revelar la validesa del test a partir dels anàlisis dels jutges utilitzant el mètode Delphi. En tercer lloc, l’anàlisi factorial exploratòria, en que es va realitzar una rotació varimax, va mostrar una validesa interna significativa del test. En quart lloc, l’anàlisi confirmatòria va comprovar la validesa de constructe de la versió persa amb un model que presenta sis variables latents: autoestima, assertivitat, comprensió de les emocions dels altres, comprensió de les pròpies emocions, autoregulació, i regulació de les emocions dels altres. L’anàlisi també va identificar una variable latent superior etiquetada como SSEST. Els resultats tenen implicacions pràctiques tant en la psicologia clínica com a educativa i l’investigació sociològica.

El presente estudio pretende investigar la fiabilidad y la validez de constructo del Test Situacional del Desarrollo de Competencias Socioemocionales en el contexto de Iran. Para ello se realizó una traducción del test, una validación por expertos, una administración piloto y se diseñó un estudio exploratorio no experimental con la versión iraniana del test (SSECDT) que fue administrada a 250 niños (con edades de 12 a 15 años) de ambos sexos que estudiaban en diferentes institutos de Tehran. Los datos fueron analizados a partir de a) las alfas de Cronbach para estimar la fiabilidad del test, b) los coeficientes de correlación intraclase para analizar la consistencia interna de las puntuaciones de los cinco expertos que evaluaron el contenido del test, c) un análisis factorial exploratorio para calcular la validez interna del test, y finalmente d) un análisis factorial confirmatorio utilizando LISREL 8.8 para probar la estructura de la versión persa del SSECDT. Los resultados del análisis revelaron que la versión persa del test desarrollado por Sala-Roca et al. (2016) tenía una consistencia interna significativa a partir de los índices de fiabilidad de los componentes del test. En segundo lugar, el análisis reveló la validez del test a partir del análisis de los jueces utilizando el método Delphi. En tercer lugar, el análisis factorial exploratorio en que se realizó una. Rotación varimax mostró una significativa validez interna del test. En cuarto lugar, el análisis confirmatorio comprobó la validez de constructo de la versión persa con un modelo que presenta seis variables latentes: autoestima, asertividad, comprensión de las emociones de los otros, comprensión de las propias emociones, autoregulación, y regulación de las emociones de los otros. El análisis también identificó una variable latente superior etiquetada como SSEST. Los resultados tienen implicaciones prácticas tanto en la psicología clínica como educativa y la investigación sociológica.

The present study was an attempt to investigate the reliability and construct validity of situational test of socio-emotional competencies in the Iranian context. To run the research, following the processes of translation, expert judgment, and piloting the test, a non-experimental exploratory study was designed and the modified reliable SSECDT Persian test was administered to 250 normal children (with the age range of 12 to 15) from both male and female genders studying at different educational centers (high schools) in Tehran from various districts. The collected data were analyzed through employing a) Cronbach’s alpha for the purpose of estimating reliability of the test, b) intra-class correlation coefficients to find the internal consistency of the ratings of the five experts who evaluated the SSECDT based on content-related evidence, c) an exploratory factor analysis (EFA) to calculate the internal validity of the test, and finally d) a confirmatory factor analysis (CFA) which was run using LISREL 8.8 in order to probe the trait structure of the Persian version of the SSECDT. The results of data analysis revealed that the Persian version of the SJT developed by Sala-Roca et al. (2016) under the name of Situational Socio-emotional Skills Test (SSEST) firstly enjoyed significant internal consistency as the findings showed high degrees of reliability indices for the components of the test. Secondly, the results of data analysis revealed that the test had significant expert judgment validity based on Delphi method. Thirdly, the exploratory factor analysis (EFA) which was run to find internal validity of the test through varimax rotation using principal axis factoring method, showed that the test had significant degree of internal validity. In the fourth place, the data analysis results showed that the Persian version of the SSEST enjoyed significant construct validity as the confirmatory factor analysis (CFA) calculated through LISREL 8.8 investigated a model which included six latent variables; i.e. self-esteem, assertiveness, understanding others’ emotions, understanding own emotions, self-regulation and others’ emotional regulation. In addition, these variables tapped on a higher order latent variable labeled as “SSEST”. The findings have practical implications in clinical and educational psychology and sociology research.