Accessible VR 360º subtitles. The impact of subtitles on the reception of immersive content using eye tracking and questionnaire data

Abstract

Els entorns immersius, com ara la realitat virtual (RV), han transcendit la ciència-ficció per a convertir-se en una realitat. Diversos sectors, que abasten des de videojocs i entreteniment fins a salut, turisme o arquitectura, estan adoptant aquestes tecnologies avantguardistes. Aquest avanç en RV ha coincidit amb un interès creixent pels serveis d'accessibilitat en l'àmbit audiovisual, un fet que reflecteix una conscienciació social sobre la diversitat i la inclusió. La RV ofereix noves possibilitats d'interacció multisensorial, la qual cosa pot servir per a millorar les experiències de les persones amb discapacitat. No obstant això, les experiències immersives encara no poden considerar-se plenament accessibles. Aquesta tesi aborda aquesta qüestió, centrant-se en la subtitulació en entorns immersius. Està vinculada al projecte europeu TRACTION, finançat per la iniciativa de la Unió Europea Horizon 2020, i té dos objectius. El primer és dissenyar i validar un marc metodològic mixt per a avaluar subtítols en continguts immersius utilitzant la tecnologia de seguiment ocular en temps real. El segon objectiu és avaluar dues solucions de subtitulació en continguts immersius, específicament en relació amb la posició i el color dels subtítols. Per a complir aquests objectius es van dur a terme dos estudis descriptius i dos d'experimentals. Des del punt de vista teòric, aquesta recerca avalua l'estat actual de l'accessibilitat en entorns immersius, centrant-se en el concepte de l'accessibilitat multicapa. Aquesta anàlisi es complementa amb una discussió sobre el disseny d'un nou enfocament metodològic que permet avaluar subtítols en entorns immersius. A més, com a part integral d'aquesta recerca, es va desenvolupar un editor i reproductor de subtítols de codi obert que facilita la creació i prova de subtítols en vídeos 360º. En l'aspecte experimental, l'estudi de recepció va involucrar a usuaris de quatre països, entre els quals hi havia tant persones oïdores com amb problemes d'audició. Els estímuls utilitzats en aquest estudi complien amb una sèrie de requisits predefinits per a garantir la validesa de les troballes. Els resultats d'aquesta recerca enriqueixen el cos de coneixements existents sobre serveis d'accessibilitat en mitjans immersius i tenen el potencial de millorar les experiències en RV de persones amb discapacitats, promovent així la inclusió en l'era digital.

Los entornos inmersivos, como la realidad virtual (RV), han trascendido la ciencia ficción para convertirse en una realidad. Diversos sectores, que abarcan desde videojuegos y entretenimiento hasta salud, turismo o arquitectura, están adoptando estas tecnologías vanguardistas. Este avance en RV ha coincidido con un interés creciente por los servicios de accesibilidad en el ámbito audiovisual, un hecho que refleja una concienciación social sobre la diversidad y la inclusión. La RV ofrece nuevas posibilidades de interacción multisensorial, lo cual puede servir para mejorar las experiencias de las personas con discapacidad. Sin embargo, las experiencias inmersivas todavía no pueden considerarse plenamente accesibles. Esta tesis se enfoca en abordar esta cuestión, centrándose en la subtitulación en entornos inmersivos. Está vinculada al proyecto europeo TRACTION, financiado por la iniciativa de la Unión Europea Horizon 2020, y tiene dos objetivos. El primero es diseñar y validar un enfoque metodológico mixto para evaluar subtítulos en contenidos inmersivos utilizando la tecnología de seguimiento ocular en tiempo real. El segundo objetivo es evaluar dos soluciones de subtitulación en contenidos inmersivos, específicamente en relación con la posición y el color de los subtítulos. Para cumplir estos objetivos se llevaron a cabo dos estudios descriptivos y dos experimentales. Desde el punto de vista teórico, esta investigación evalúa el estado actual de la accesibilidad en entornos inmersivos, centrándose en el concepto de la accesibilidad multicapa. Este análisis se complementa con una discusión sobre el diseño de un nuevo enfoque metodológico que permite evaluar subtítulos en entornos inmersivos. Además, como parte integral de esta investigación, se desarrolló un editor y reproductor de subtítulos de código abierto que facilita la creación y prueba de subtítulos en vídeos 360º. En el aspecto experimental, el estudio de recepción involucró a usuarios de cuatro países, entre los que había tanto personas oyentes como con problemas de audición. Los estímulos utilizados en este estudio cumplían con una serie de requisitos predefinidos para garantizar la validez de los hallazgos. Los resultados de esta investigación enriquecen el cuerpo de conocimientos existentes sobre servicios de accesibilidad en medios inmersivos y tienen el potencial de mejorar las experiencias en RV de personas con discapacidades, promoviendo así la inclusión en la era digital.

Immersive media, exemplified by Virtual Reality (VR), has moved beyond the realm of science fiction and is now a reality. Its adoption is rapidly expanding across various sectors, including gaming and entertainment, healthcare, tourism, architecture, and construction, and more. These developments in VR have coincided with growing calls for accessibility to audiovisual content for people with disabilities, reflecting broader societal awareness of the importance of diversity and inclusion. VR, with its potential to engage multiple senses, offers a unique opportunity to enhance the experiences of people with disabilities by offering alternative forms of interaction. However, the current immersive media landscape still falls short in providing fully accessible experiences. Seeking to address this critical oversight, this dissertation focuses on subtitling in immersive environments. It is linked to the European project TRACTION, funded by the EU H2020 initiative, and has two main objectives. The first objective is to design and validate a mixed methodological framework to test subtitles in VR 360º media content using eye-tracking technology in real time. The second objective is to evaluate two different subtitling solutions in VR 360º media content, specifically related to their position and colour. To fulfil these two objectives, two descriptive studies and two experimental studies were conducted. The theoretical aspects of this research include an assessment of the current state-of-the-art in accessibility within immersive environments, with a focus on the concept of multi-layered accessibility. This is followed by a discussion of the design and testing of a novel mixed method approach for assessing subtitles in 360º environments. As part of this research, an open-source subtitle editor and player was developed and used to test different subtitle solutions within 360º content. This evaluation involved users from four countries and included both hearing and hard-of-hearing participants. The stimuli used in this study adhered to a pre-established set of requirements to ensure the validity of the findings. Results of this research adds to the existing body of knowledge in immersive media accessibility and has the potential to enhance the VR experiences of individuals with disabilities, thereby advancing greater inclusivity in the digital age.