Exploring through prototyping embodied interaction design developing systems for mathematics learning for children with visual impairments and without

Abstract

In the last decades new interaction paradigms have emerged: Tangible User Interfaces, ubiquitous computing, wearable devices, mixed- reality among others. Such paradigms extended the user interface beyond the keyboard and mouse, and physical interaction has gained importance. This transformation represents a challenge-opportunity for interaction and experience designers. As a consequence, design frameworks are incorporating embodied cognition theories, getting inspiration from phenomenology and aiming to integrate body, mind and technology. This interaction design perspective is known as embodied interaction. This dissertation aims to understand how to design and implement embodied interactive systems for mathematics learning for children, including sighted children and children with visual impairments (VIs). Thus, we might capitalize technological progress into actual opportunities to better support learning. In this context, the thesis explores the development of three interactive systems for mathematics learning and the evaluation of two of them. Through this prototyping approach we discuss design implications for embodied interaction systems in learning contexts, contributing with the generation of intermediate-level knowledge. Finally, we also confirm and extend previous research in this field.

En la últimas décadas han emergido nuevos paradigmas de interacción: Interfaces de Usuario Tangibles, computación ubicua, dispositivos “vestibles”, realidad mixta entre otros. Estos paradigmas han extendido la interfaz de usuario más allá del ratón y el teclado, provocando que la interacción física ganase trascendencia. Para los diseñadores de interacción y experiencia de usuario, esta transformación representa un desafío y oportunidad al mismo tiempo. Consecuentemente, los frameworks de diseño han estado virando hacia la incorporación de teorías inspiradas en fenomenología como la cognición encarnada, buscando la integración de cuerpo, mente y tecnología. A esta perspectiva de diseño de interacción se le ha llamado interacción encarnada ( embodied interaction) . Esta tesis busca comprender cómo diseñar sistemas de interacción encarnada para el aprendizaje de matemáticas tanto para niños videntes como para niños con discapacidad visual. Entonces, seríamos capaces de capitalizar el avance tecnológico en oportunidades concretas que apoyen el aprendizaje. En este contexto, esta tesis explora el desarrollo de tres sistemas interactivos para el aprendizaje de matemáticas y la evaluación de dos de ellos. A través del desarrollo de estos prototipos, discutimos implicaciones de diseño para sistemas de interacción encarnada en contextos de aprendizaje, contribuyendo a la generación de conocimiento intermedio ( intermediate-level knowledge ). Finalmente también confirmamos y extendemos trabajos previos de investigación en este campo.

Durant les darreres dècades han aparegut nous paradigmes d'interacció: interfícies d'usuari tangibles, computació ubiqua, "wearable devices" (dispositius vestibles), o la "mixed-reality" (realitat mixta), entre d'altres. Aquests paradigmes han estès la interfície d'usuari més enllà del teclat i el ratolí, i la interacció física ha guanyat importància. Aquesta transformació representa un repte/oportunitat pels dissenyadors d'interacció i d'experiència d'usuari. A conseqüència d'això els "frameworks" de disseny estan incorporant teories d'"embodied cognition" (cognició corporal), prenent inspiració de la fenomenologia amb l'objectiu d'integrar cos, ment i tecnologia. Aquesta perspectiva de disseny d'interacció es coneix com "embodied interaction". Aquesta dissertació té l'objectiu d'entendre com dissenyar i implementar sistemes d'"embodied interaction" per l'aprenentatge de matemàtiques dels infants, incloent tant nens amb capacitats visuals intactes com aquells amb discapacitats visuals. Per tant, podríem capitalitzar el progrés tecnològic convertint-lo en oportunitats reals per millorar el suport a l'aprenentagte. En aquest context, aquesta tesis explora el desenvolupament de tres sistemes interactius d'aprenentatge matemàtic i la evaluacióde dos d'ells. Mitjançant aquesta aproximació a travès del prototipatge discutirem les implicacions dels sistemes d'"embodied interaction" en contextos d'aprenentatge, contribuint amb la generació de coneixement de nivell intermedi. Finalment, també confirmem i estenem coneixement previ en aquest mateix camp.