Analysis of interaction design and evaluation methods in full-body interaction for special needs: collaborative virtual environments for improving socialization in children with autism

Abstract

This thesis is focused on the specific properties and evaluation of full-body interaction design of multi-user mixed reality environments to aid in intervention strategies for children with autism, to improve their understanding and adoption of social behaviors with peers and with society in general. This practice-based research is based upon human-computer interaction theory, and is aided by general theories of embodied cognition, embodiment and developmental psychology. The research consists of designing playful experiences for the target users in order to promote socialization and collaboration. The design of the experiences has been informed by codesign activities and collaboration with experts in autism, parents, psychologists, therapists, caregivers and the children themselves. Topics for analysis will include understanding the dynamics of goal-oriented and open-ended gameplay, proxemics, and encouraged versus enforced collaboration. Assessment methods take into account video recorded footage, system logs, user interviews and multimodal analysis, including physiology-based data such as electrodermal activity and heart rate of the children's behavioral and affective states throughout the experience. The main setting of the research is large scale floor-projected mixed environments, enabling the testing of interaction strategies and evaluation methods of experiences based on collocation of multiple users within a full-body interactive scenario, where they can practice interaction face-to-face in a natural and uninhibited manner.

Aquesta tesi es centra en l'avaluació i les propietats específiques del disseny d'interacció a cos sencer d'entorns de realitat mixta multiusuari, dissenyats per ajudar en estratègies d'intervenció per a nens amb autisme, i millorar la seva comprensió i adopció de comportaments socials amb companys i amb la societat en general. Aquesta investigació es basa en la disciplina de la interacció persona-ordinador, informada també per teories generals de la cognició encarnada i de la psicologia del desenvolupament. Aquesta recerca consisteix en dissenyar experiències lúdiques per a la població objectiu per tal de promoure la socialització i la col·laboració. El disseny de les experiències ha estat informat per activitats de co-disseny i la col·laboració amb experts en autisme, pares, psicòlegs, terapeutes, cuidadors i els propis nens. Els temes per a l'anàlisi inclouen la comprensió de les dinàmiques de joc orientat a un objectiu i joc lliure, les proxèmiques i la col·laboració encoratjada per al disseny d'aquests tipus de sistemes. Els mètodes d'avaluació tenen en compte les imatges enregistrades en vídeo, els registres del sistema, les entrevistes amb els usuaris i l'anàlisi multimodal; incloent dades fisiològiques, com l'activitat electrodèrmica i la freqüència cardíaca dels estats conductuals i afectius dels nens durant tota l'experiència. El context principal de la investigació són els entorns mixtos a gran escala projectats al terra , els quals permeten provar estratègies d'interacció i mètodes d'avaluació d'experiències d'interacció a cos sencer amb múltiples usuaris dins d'un mateix escenari, on poden practicar la interacció cara a cara, de manera natural i desinhibida.