Neurophysiological signatures of the body representation in the brain using Immersive Virtual Reality

Abstract

Several studies have shown that it is possible to substitute a person’s body by a virtual one giving rise to illusions of ownership and agency with respect to the virtual body. The effects and traces of such body substitution can be measured using subjective reporting, behavioural and objective physiological measures. However, considerable work remains for uncovering the underlying neurological mechanisms that trigger those effects. In this thesis we aim to measure neurophysiological correlates of ownership and agency, and by doing so to contribute to a greater understanding of the functioning of the body representation in the brain. In order to address this question we carried out a series of studies where the representation of the human body and activity in which it was engaged were externally manipulated in various ways through multisensory stimulation, while measuring the corresponding electroencephalography (EEG) responses. Through this multisensory stimulation, healthy humans experienced full body ownership and agency illusions over virtual bodies – as if their real bodies were perceptually substituted by these bodies.

Specifically, Virtual Reality (VR) was used to give participants an egocentric view of a co-located virtual body, using a Head-Mounted Display. They could move this body through real-time motion tracking thus providing synchronous visuo-motor stimulation. The combination of the first person perspective and synchronous visuo-motor stimulation resulted in full body ownership and agency illusions over the virtual body, which we refer to as virtual embodiment. Under these circumstances we then explored the implications of such bodily perceptual manipulations in the brain with EEG.

A first study was intended to validate whether a virtual body can be effectively recognized as a feasible substitute to the self-body at the unconscious level. A motor cortex activation equivalent to what would be expected in a real scenario was found after exposing participants’ virtual body to harmful stimuli. This particular result provides a measure of response-as-if-real indicating that participants tended to accept their given virtual bodies as their own.

In a second study, the consequences of the agency mechanisms that provide the sensation of control over our own body actions were explored through virtual embodiment. In this study participants underwent sporadic agency disruptions while performing rapid arm movements. In certain conditions, the virtual hand of participants moved autonomously in the opposite direction to the participants’ real hand. Results provide evidence of specific neural processes responsible for detecting externally induced agency disruptions. Moreover, these neural processes were correlated with the strength of the subjective embodiment illusion. This study was also aimed at widening current perspectives on agency schemas, proposing and demonstrating the existing theory of re-afferent and feedback error mechanisms that are concurrently functioning in the brain to detect agency disruptions.

In a third study the implications of the external appearance of the substitute virtual body for self-recognition were explored. We designed an experiment in which healthy participants were exposed to self, familiar and unknown faces of look-alike avatars. Results showed shared underlying mechanisms for self-identification in real and virtual faces in the visual cortex. In particular, neurophysiological traces showed that virtual faces are classified as real faces – in contrast to what happens with the classification of other objects (cars, flowers, etc.). Furthermore, the visual cortex differentiated familiarity levels among virtual faces. These are novel insights contributing to the better understanding of why different looking avatars can have an impact on participants’ performance or behaviour, thus being useful both for the fields of virtual embodiment and of self-recognition.

Overall the research in this thesis explores brain activity through EEG of the immediate experience of having and controlling a body. Empirical evidence is presented to validate the use of virtual reality for the research of the body representation in the brain. Additionally, novel neural signatures of the bodily perceptual manipulations are presented through a set of studies. Results are put into context with an in-depth review of literature on self-awareness, body perception, body ownership and agency theories at the beginning of this thesis.

Múltiples estudios han demostrado que es posible sustituir el cuerpo de una persona por uno virtual produciendo ilusiones de posesión y agencia sobre este nuevo cuerpo. Los efectos y trazas de esta sustitución de cuerpos se pueden medir de manera subjetiva, a través del comportamiento del participante o a través de medidas fisiológicas objetivas. Sin embargo, restan por descubrir muchos de los mecanismos neurológicos subyacentes que provocan dichos efectos. Esta tesis pretende medir correlaciones neurofisiológicas de las ilusiones de posesión y agencia, y de esta manera contribuir al mayor conocimiento del funcionamiento de la representación corporal en el cerebro. Para ello realizamos una serie de estudios donde la representación del cuerpo humano y su actividad son externamente manipuladas de diversas maneras mediante estimulación multisensorial mientras se registra la correspondiente actividad cerebral mediante electroencefalografía (EEG). La estimulación multisensorial permite que humanos sanos puedan tener ilusiones de posesión y agencia sobre avatares (como si sus cuerpos hubieran sido perceptualmente sustituidos por cuerpos virtuales).

Más en concreto, mediante el uso de Realidad Virtual (RV) los participantes tienen una perspectiva egocéntrica de un cuerpo yuxtapuesto al suyo (a través de cascos de realidad virtual estereoscópicos). A la vez que pueden mover este cuerpo mediante sistemas de rastreo del movimiento en tiempo real produciendo una estimulación visuo-motora síncrona. La combinación de la perspectiva en primera persona con la estimulación visuo-motora da como resultado una ilusión de posesión y control total del cuerpo virtual, a la que nos referimos como encarnación virtual. En este escenario exploramos las implicaciones de estas manipulaciones perceptuales en el cerebro mediante EEG. Planteamos un primer experimento con intención de validar si el cuerpo virtual se puede efectivamente reconocer como un sustituto viable del propio cuerpo a nivel del subconsciente. Tras exponer el cuerpo virtual a estímulos nocivos se halla una activación en la corteza motora de los participantes equivalente a la que sería de esperar en un escenario real. Este resultado-como-real hace indicar que los participantes ciertamente aceptan sus cuerpos virtuales dados como su propio cuerpo.

En un segundo experimento se estudian las consecuencias de los mecanismos de agencia que nos proporcionan la consciencia de nuestras acciones corporales y motoras, a través de tecnologías de substitución virtual del cuerpo. Los participantes se someten a disrupciones esporádicas de sus acciones mientras realizan movimientos rápidos con su brazo. En algunas ocasiones, la mano virtual del participante se mueve autónomamente y en dirección contraria a la mano real del participante. Los resultados proporcionan evidencias de procesos neuronales específicos responsables de detectar disrupciones de agencia inducidas externamente. Asimismo, estos procesos neuronales se correlacionan con la ilusión de posesión del cuerpo medida a través de cuestionarios. Este estudio profundiza en las perspectivas actuales de los esquemas de agencia, proponiendo y demostrando la teoría existente de mecanismos de errores re-aferentes y de retro-alimentación que funcionan concurrentemente en el cerebro para detectar disrupciones de agencia.

Se propone un tercer experimento para explorar las implicaciones de la apariencia externa del cuerpo virtual a la hora de auto-reconocerse. Diseñamos un experimento en el que los participantes se exponen a caras de avatares que se parecen a ellos, a un familiar o a una persona que no conocen. Los resultados muestran mecanismos subyacentes compartidos de auto-identificación de caras reales y virtuales en la corteza visual. En particular, las trazas neurofisiológicas muestran que las caras virtuales se clasifican igual que las reales (en contraste con lo que ocurre durante la clasificación de otros objetos como coches o flores). Además, la corteza visual diferencia niveles de familiaridad entre las caras virtuales. Contribuyendo así de manera novedosa a entender porque avatares con diferente apariencia tienen un impacto en el comportamiento de los participantes, y por ello siendo útil tanto para el campo de la realidad virtual como para el de la auto-identificación. Globalmente, la investigación de esta tesis explora las trazas cerebrales mediante EEG de la experiencia inmediata de poseer y controlar un cuerpo. Se presentan evidencias empíricas para validar el uso de realidad virtual en la investigación de la representación del cuerpo en el cerebro. Asimismo, a través de varios estudios mostramos novedosas trazas neurofisiológicas relacionadas con las manipulaciones corporales y perceptuales. Los resultados y experimentos se contextualizan mediante una revisión en profundidad de la literatura existente en consciencia, percepción corporal y teorías de posesión y agencia del propio cuerpo.