Stories within Immersive Virtual Environments

Abstract

How can we use immersive and interactive technologies to portray stories? How can we take advantage of the fact that within immersive virtual environments people tend to respond realistically to virtual situations and events to develop narrative content? Stories in such a media would allow the participant to contribute to the story and interact with the virtual characters while the narrative plot would not change, or change only up to how it was decided a priori. Participants in such a narrative would be able to freely interact within the virtual environments and yet still be aware of the main trust of the stories presented. How can we preserve the ‘respond as if it is real’ phenomenon induced by these technologies, but also develop an unfolding plot in this environment? In other words, can we develop a story, conserving the structure, its psychological and cultural richness and the emotional and cognitive involvement it supposes, in an interactive and immersive audiovisual space? In recent years Virtual Reality therapy has shown that an Immersive Virtual Environment (IVE) with a predetermined plot can be experienced as an interactive narrative. For example, in the context of Post Traumatic Stress Disorder treatment, the reactions of the participants and the therapeutic impact suggest that an IVE is a qualitatively different experience than classical audiovisual content. However, the methods to develop such kind of content are not systematic, and the consistency of the experience is only granted by a therapist or operator controlling in real time the unfolding narrative. Can a story with a strong classical plot be rendered in an automated and interactive immersive virtual environment? The thesis developed through this document is that it is possible. Specifically the thesis is that this can be achieved through two principles of interaction that we call ‘ATP’ and ‘Substitution’. ATP stands for ‘Advance The Plot’, and it is an underlying goal of the system to always find the best action possible in any given context that will advance the state of the story being expressed. The second principle, Substitution, states that the human participant in an immersive interactive story can assume the role of any character or, what is equivalent, that if he does not do what the system expects him to do, a virtual character will do it instead. To implement such principles, a story cognitive model named Trama is proposed. The purpose of such a story model is to give artificial agents a guide to decide what to do in an interactive situation in such a way that the human participant has the impression of interacting within one or more narrative plots. To validate such method, three experiments address the main assumptions of the approach.The first one is concerned with whether people interact with virtual characters in a similar way they do with real people, analysing this in a particular aspect of interpersonal communication, namely interpersonal distances. The second assesses whether people identify with their virtual bodies, which is one of the basic assumptions underlying the principles of interaction proposed. The third experiment shows that the story model allows to implement stories in such a way that people can interact within an immersive virtual environment while conserving the impression there is a narrative plot, and that they have assumed a particular role in it. In addition to the experiments, we explore whether the formalism developed within the Trama model captures some aspects of the important role that stories have in cognitive development.

Podem emprar la realitat virtual immersiva per contar històries? Com podem aprofitar el fet que dins dels entorns virtuals immersius les persones tendeixen a respondre de manera realista a les situacions i esdeveniments virtuals per desenvolupar històries? Els participants en aquest tipus de narrativa podrien interactuar lliurement amb els entorns virtuals i no obstant això experimentarien les històries presentades com a plausibles i consistents. Una història en aquest medi audiovisual permetria als participants interactuar amb els personatges virtuals i contribuir activament als esdeveniments escenificats en l’entorn virtual. Malgrat això, la trama establerta a priori no canviaria, o canviaria només dins els marges establerts per l’autor. Com podem preservar el fet que hom tendeix a "respondre com si fos real" induït per aquestes tecnologies mentre desenvolupem una trama en aquests entorns? En altres paraules, podem desenvolupar una història conservant-ne l’estructura, la riquesa cultural i psicològica i la implicació emocional i cognitiva que suposa, en una realitat virtual immersiva i interactiva? Recentment la teràpia de realitat virtual ha mostrat que un entorn virtual amb un guió preestablert pot ser percebut com una narració interactiva. Per exemple, en el context del tractament de Trastorns per Estrès Postraumàtic, les reaccions i impactes terapèutics suggereixen que provoca una sensació de realitat que en fa una experiència qualitativament diferent als continguts audiovisuals clàssics. No obstant això, la consistència de l’experiència tan sols pot ser garantida si un terapeuta o operador controla en temps real el flux dels esdeveniments constituint el guió narratiu. Podem representar un guió clàssic en un entorn virtual automatitzat? La tesi principal d’aquest treball és que és possible. En concret, la tesi és que això es pot aconseguir a través de dos principis d’interacció que anomenem ‘ATP’ i ‘Substitució’. ATP significa ‘avançar en la trama’ (Advance The Plot ), i és un objectiu inherent en el sistema per trobar, en qualsevol context, la millor acció possible que farà avançar la història contada. El segon principi, Substitució, formalitza el fet que el participant humà en una trama interactiva pot assumir el paper de qualsevol personatge o, el que és equivalent, que si no fa el que el sistema espera que faci, un personatge virtual ho farà en el seu lloc. Per posar en pràctica aquests principis, he introduït un model cognitiu d’història anomenat Trama. La funció d’aquest model és donar als agents artificials una guia per decidir què fer en una situació interactiva, de manera que el participant humà té la impressió d’interactuar dins d’un o més guions narratius. Introdueixo 3 experiments per abordar els principals supòsits d’aquest mètode. El primer avalua si les persones interactuen amb personatges virtuals de manera similar que fan amb persones reals en un aspecte particular de la comunicació interpersonal: les distàncies interpersonals. El segon estudia fins a quin punt hom s’identifica amb el seu cos virtual, un dels supòsits bàsics subjacents als principis d’interacció proposats. El tercer experiment mostra que el model Trama permet implementar les històries de tal manera que les persones poden interactuar en un entorn virtual immersiu tot conservant la impressió que participen en un guió narratiu subjacent on hi assumeixen un rol concret. També exploro si el formalisme desenvolupat reflecteix o prediu algunes de les moltes funcions que les històries tenen en el desenvolupament cognitiu.