Toward empathic systems: implicit understanding and modulation of human cognitive and affective states

Abstract

Emotions are a fundamental part of human life. They play a critical role in how we think, behave, and implicitly understand each other. However, although computing devices are increasingly consequential in our world, they still lack meaningful emotional capabilities, so we can only interact with them explicitly. This thesis explores and develops how synthetic systems could implicitly understand and modulate human cognitive and affective states to enhance our interaction with them. First, we introduce a technological architecture to sense user information, interpret it, and dynamically adapt immersive environments. Then, we present several studies exploring methods to infer different internal states from multiple sources, including physiological signals, keystroke dynamics, and affective ratings. Finally, we show two examples of interactive and adaptive experiences exploiting implicit understanding to assist users when needed. Overall, our results offer insights into human emotion and contribute toward developing empathic systems, better prepared to support us and to act autonomously.

Les emocions són una part fonamental de la vida humana. Tenen un paper crític en com pensem, ens comportem i ens entenem implícitament. Tanmateix, tot i que els dispositius informàtics són cada cop més importants al nostre món, encara no tenen capacitats emocionals significatives, de manera que només podem interactuar amb ells de manera explícita. Aquesta tesi explora i desenvolupa com els sistemes sintètics podrien comprendre i modular implícitament els estats cognitius i afectius humans per millorar la nostra interacció amb ells. En primer lloc, introduïm una arquitectura tecnològica per detectar informació de l’usuari, interpretar-la i adaptar dinàmicament entorns immersius. A continuació, presentem diversos estudis que exploren mètodes per inferir diferents estats interns a partir de múltiples fonts, incloent senyals fisiològics, dinàmiques de pulsació de tecles i valoracions afectives. Finalment, mostrem dos exemples d’experiències interactives i adaptativnostres resultats ofereixen nous coneixements sobre l’emoció humana i contribueixen a desenvolupar sistemes es que utilitzen la comprensió implícita per ajudar els usuaris quan sigui necessari. Els empàtics, més preparats per donar-nos suport i actuar de manera autònoma.