Perception and production of non-verbal signals in autism

Abstract

Antecedents: L'autisme és una condició del neurodesenvolupament que inclou dificultats característiques en la comunicació i la interacció social, i patrons restringits i repetitius de comportament, interessos o activitats. Dins del domini de la comunicació, s'han documentat diferències en els senyals no verbals, com les expressions facials o el contacte visual durant una interacció social, en individus autistes en comparació amb individus controls. Objectius: L'objectiu general d'aquesta tesi va ser explorar els senyals no verbals en l'autisme, particularment, les expressions facials i els moviments dels ulls, cap i mans. Els objectius específics van ser (1) explorar com les persones autistes fan prediccions sobre les expressions facials i com aquestes prediccions s'utilitzen per a l'avaluació social, i (2) explorar el potencial dels moviments dels ulls, cap i mans com a marcadors d'autisme en un entorn de realitat virtual (VR), per a utilitzar aquestes dades en la classificació de patrons. Mètodes: Es van realitzar dos estudis. En la Publicació I, es van avaluar individus autistes adults (n = 34) i individus controls adults (n = 34) utilitzant un paradigma conductual de percepció social per a explorar les prediccions sobre expressions facials i el seu impacte en l'avaluació social. En la Publicació II, es van registrar els moviments dels ulls, cap i mans d'individus autistes adults (n = 6) i individus controls adults (n = 13) durant una tasca en un entorn de VR, que consistia a fer una compra de supermercat, interactuant amb un personatge virtual que feia de venedor. Aquestes dades es van analitzar utilitzant tècniques d'aprenentatge automàtic per a la classificació de patrons. Resultats: En la Publicació I, els individus autistes van tenir unes prediccions sobre les expressions facials menys estereotípiques en comparació amb els individus controls. L'ús d'aquestes prediccions per a l'avaluació social (agradabilitat) no va diferir significativament entre els grups, és a dir, els individus autistes van usar les seves prediccions per a avaluar als altres en la mateixa mesura que ho van fer els controls. En la Publicació II, es van observar diferències significatives entre individus autistes i controls en els temps de fixació de la mirada i en els moviments del cap durant les interaccions socials. En comparació amb els controls, els individus autistes van mostrar temps de fixació reduïts a la regió dels ulls del personatge virtual i, en el seu lloc, van mirar més cap al fons durant aquestes interaccions socials amb el venedor. Utilitzar un sistema de VR per a capturar senyals de comunicació no verbal en l'autisme i per a la classificació de patrons és factible. Conclusions: Els individus autistes presenten diferències en la percepció i producció de senyals de comunicació no verbal. Els senyals de comunicació no verbal poden capturar-se objectivament en un sistema de VR i mostren un gran potencial per a la classificació de patrons.

Antecedentes: El autismo es una condición del neurodesarrollo que incluye dificultades características en la comunicación y la interacción social, y patrones restringidos y repetitivos de comportamiento, intereses o actividades. Dentro del dominio de la comunicación, se han documentado diferencias en las señales no verbales, como las expresiones faciales o el contacto visual durante una interacción social, en individuos autistas en comparación con individuos controles. Objetivos: El objetivo general de esta tesis fue explorar las señales no verbales en el autismo, particularmente, las expresiones faciales y los movimientos de los ojos, cabeza y manos. Los objetivos específicos fueron (1) explorar cómo las personas autistas hacen predicciones sobre las expresiones faciales y cómo estas predicciones se utilizan para la evaluación social, y (2) explorar el potencial de los movimientos de los ojos, cabeza y manos como marcadores de autismo en un entorno de realidad virtual (VR), para utilizar estos datos en la clasificación de patrones. Métodos: Se realizaron dos estudios. En la Publicación I, se evaluaron individuos autistas adultos (n = 34) e individuos controles adultos (n = 34) utilizando un paradigma conductual de percepción social para explorar las predicciones sobre expresiones faciales y su impacto en la evaluación social. En la Publicación II, se registraron los movimientos de los ojos, cabeza y manos de individuos autistas adultos (n = 6) e individuos controles adultos (n = 13) durante una tarea en un entorno de VR, que consistía en hacer una compra de supermercado, interactuando con un personaje virtual que hacía de vendedor. Estos datos se analizaron utilizando técnicas de aprendizaje automático para la clasificación de patrones. Resultados: En la Publicación I, los individuos autistas tuvieron unas predicciones sobre las expresiones faciales menos estereotípicas en comparación con los individuos controles. El uso de dichas predicciones para la evaluación social (agradabilidad) no difirió significativamente entre los grupos, es decir, los individuos autistas usaron sus predicciones para evaluar a los demás en la misma medida que lo hicieron los controles. En la Publicación II, se observaron diferencias significativas entre individuos autistas y controles en los tiempos de fijación de la mirada y en los movimientos de la cabeza durante las interacciones sociales. En comparación con los controles, los individuos autistas mostraron tiempos de fijación reducidos en la región de los ojos del personaje virtual y, en su lugar, miraron más hacia el fondo durante esas interacciones sociales con el vendedor. Utilizar un sistema de VR para capturar señales de comunicación no verbal en el autismo y para la clasificación de patrones es factible. Conclusiones: Los individuos autistas presentan diferencias en la percepción y producción de señales de comunicación no verbal. Las señales de comunicación no verbal pueden capturarse objetivamente en un sistema de VR y muestran un gran potencial para la clasificación de patrones.

Background: Autism is a neurodevelopmental condition including characteristic communication and social interaction difficulties, and restricted, repetitive patterns of behaviour, interests, or activities. Within the communication domain, differences in non-verbal signals, such as facial expressions or eye contact during a social interaction, have been reported in autistic individuals with regards to control individuals. Objectives: The general aim of this thesis was to explore non-verbal signals in autism, particularly, facial expressions and eye, head and hand movements. The specific objectives were (1) to explore how autistic individuals make predictions about facial expressions and how these predictions are used for social evaluation, and (2) to explore the potential of eye, head and hand movements as markers for autism in a virtual reality (VR) setting, to further use these data for pattern classification. Methods: Two studies were conducted. In Publication I, adult autistic individuals (n = 34) and adult control individuals (n = 34) were assessed using a social perception behavioural paradigm to explore facial expression predictions and their impact on social evaluation. In Publication II, eye, head, and hand movements were recorded in adult autistic individuals (n = 6) and adult control individuals (n = 13) during a VR shopping experience task, interacting with a virtual character acting as the supermarket assistant. This data was then analysed using machine learning techniques for pattern classification. Results: In Publication I, autistic individuals held less stereotypical predictions about facial expressions than controls. The use of such predictions for social evaluation (likability) did not differ significantly between groups, with autistic individuals relying on their predictions to evaluate others to a similar extent than controls. In Publication II, Significant differences between autistic and control individuals were observed in gaze fixation times and head movements during social interactions. Compared to control, autistic individuals showed reduced fixation times in the eye region of the virtual character and, instead, looked more to the background during social interactions. Utilising a VR system to capture non-verbal communication signals in autism for pattern classification is feasible. Conclusions: Autistic individuals present significant differences in perception and production of non-verbal signals. Non-verbal communication signals can be objectively captured in a VR-system with strong potential for pattern classification.