Immersion in audio description. The impact of style and vocal delivery on users’ experience

Abstract

L’audiodescripció (AD) ja no és considerada un servei exclusiu d’accessibilitat, dedicat a una petita fracció d’individus, sinó que s’entén com un servei inclusiu, dirigit no només a les persones amb discapacitats sensorials, sinó també a altres audiències, com els ancians o els nens. És probable que la demanda d’aquest servei creixi en un futur pròxim. Encara que en el mercat s’observa un interès en augmentar cada cop més la oferta de productes audiovisuals accessibles, no s’hauria de deixar de banda la qualitat de l’experiència de l’usuari. Emmarcada dins el model inclusiu d’accessibilitat, aquesta tesi doctoral té com a objectiu explorar l’impacte de l’AD en la resposta emocional del seu públic objectiu – usuaris cecs i amb baixa visió (CiBV). Per a això, es van realitzar dos estudis de recerca, un centrat en l’estil de AD i l’altre en el el tipus de veu d’AD. La justificació darrere de la selecció d’aquests paràmetres es va relacionar amb els resultats de la investigació anterior. Es van establir dos objectius principals d’investigació. El primer, en relació amb l’estil d’AD, es va centrar en l’estudi de la recepció de dos estils d’AD – estàndard i creatiu – per als usuaris CiBV. El segon, vinculat al tipus de veu d’AD, va implicar l’estudi de la recepció de dos tipus de veu d’AD – humana i sintètica – per a usuaris CiBV per a dos gèneres: ficció i documental. L’aspecte innovador d’aquesta tesi doctoral és l’enfocament metodològic adoptat. La tesi segueix una metodologia centrada en l’usuari, però no es limita a informar sobre les opinions dels usuaris, sinó que pretén mesurar la seva resposta emocional als estímuls presentats. L’eina d’investigació que s’utilitza per mesurar l’experiència de l’usuari és el qüestionari “Independent Television Commission Sense of Presence Inventory”, un dels cinc qüestionaris canònics utilitzats per mesurar la presència. Dos elements addicionals – interès i confusió – s’afegeixen perquè els usuaris expressin la seva resposta emocional als estímuls mostrats. Els resultats indiquen que no només els guions d’AD, creatius o estàndard, sinó també els tipus de veu d’AD tenen un efecte directe en la recepció de la pel·lícula i, per tant, en l’experiència dels usuaris. Quan es tracta de l’estil d’AD, els resultats mostren que l’AD creativa, en comparació amb l’AD estàndard, va produir nivells més alts de presència en tots els participants. En general, l’estil creatiu semblava ser més natural, especialment per als participants amb pèrdua de visió recent. No obstant això, va resultar ser més confús que l’estil estàndard, possiblement perquè els participants no estaven acostumats a la terminologia cinematogràfica inclosa en el guió o no esperaven escoltar vocabulari col·loquial. Tot i això, quan es va preguntar explícitament quin estil d’AD – creatiu o estàndard – prefereien, la majoria dels participants va optar per l’AD creativa. Quan es tracta del tipus de veu d’AD, l’AD amb veu humana, en comparació amb l’AD amb veu sintètica (TTS AD1), va provocar nivells significativament més alts de presència per la ficció. Els nivells de presència per al documental van ser similars, sense diferències estadísticament significatives, en relació amb el tipus de veu d’AD. La ficció amb AD narrada per una veu humana va ser avaluada pels participants com a més interessant i menys confusa en comparació amb la ficció narrada per una veu sintètica. En el cas del documental, els nivells d’interès i confusió eren comparables per a les dues veus. Quan se’ls va preguntar quina veu preferien per a un gènere donat, els usuaris van mostrar preferència per l’AD narrada per una persona per a la ficció i cap preferència entre l’AD amb veu humana i AD amb veu sintètica per al documental. En general, les troballes suggereixen que quan es narra adequadament, tant en termes d’estil com de veu, l’AD pot facilitar que les audiències CyBV tinguin una experiència audiovisual més atractiva. S’espera que aquesta tesi doctoral sigui un primer un pas útil per entendre els vincles entre el producte d’AD i el context de l’usuari, i per a poder dur a terme investigacions més profundes en el futur.

La audiodescripción (AD) ya no está considerada como un servicio exclusivo de accesibilidad, dedicado a una pequeña fracción de individuos, sino como un servicio inclusivo, dirigido no sólo a personas con discapacidades sensoriales, sino también a otras audiencias, como los ancianos o los niños. Es probable que la demanda de este servicio crezca en un futuro cercano. Aunque en el mercado se observa un interés en aumentar cada vez más la oferta de productos audiovisuales accesibles, no se debería dejar de lado la calidad de la experiencia del usuario. Enmarcada dentro del modelo inclusivo de accesibilidad, esta tesis doctoral tiene como objetivo explorar el impacto de la AD en la respuesta emocional de su público objetivo – usuarios ciegos y con baja visión (CyBV). Para ello, se realizaron dos estudios de investigación, uno centrado en el estilo de AD y el otro en la entrega vocal de AD. La justificación detrás de la selección de estos parámetros se relacionó con los resultados de investigación anterior. Se establecieron dos objetivos principales de investigación. La primera, en relación con el estilo de AD, se centró en estudiar la recepción de dos estilos de AD – estándar y creativo – por los usuarios CyBV. La segunda, vinculada a la entrega vocal de AD, implicó el estudio de recepción de dos tipos de voces de AD – humana y sintética – por usuarios CyBV para dos géneros: ficción y documental. El aspecto novedoso de esta tesis doctoral es el enfoque metodológico adoptado. La tesis sigue una metodología centrada en el usuario, pero no se limita a informar sobre las opiniones de los usuarios, sino que pretende medir su respuesta emocional a los estímulos presentados. La herramienta de investigación que se utiliza para medir la experiencia del usuario es el cuestionario de la Independent Television Commission Sense of Presence Inventory, que es uno de los cinco cuestionarios canónicos utilizados para medir la presencia. Dos elementos adicionales – interés y confusión – se añaden para que los usuarios expresen su respuesta emocional a los estímulos presentados. Los resultados indican que no solo los guiones de AD, creativos o estándar, sino también las voces de entrega de AD tienen un efecto directo en la recepción de la película y, por lo tanto, en la experiencia de los usuarios. Cuando se trata del estilo de la AD, los resultados muestran que la AD creativa, en comparación con la AD estándar, produjo mayores niveles de presencia para todos los participantes. En general, el estilo creativo parecía más natural, especialmente a los participantes con pérdida de visión reciente. Sin embargo, resultó ser más confuso que el estilo estándar, posiblemente porque los participantes no estaban acostumbrados a la terminología cinematográfica incluida en el guión o no esperaban escuchar vocabulario coloquial. A pesar de eso, cuando se preguntó explícitamente qué estilo de AD – creativo o estándar – preferían, la mayoría de los participantes optó por la AD creativa. En cuanto al tipo de voz de AD, la AD narrada por una persona, en comparación con la AD narrada por una voz sintética (TTS AD1), provocó niveles significativamente más altos de presencia para la ficción. Los niveles de presencia para el documental fueron similares, sin diferencias estadísticamente significativas en relación con el tipo de voz de la AD. La ficción con AD narrada por una voz humana fue evaluada por los participantes como más interesante y menos confusa en comparación con la AD para ficción narrada mediante síntesis de voz. En el caso del documental, los niveles de interés y confusión eran similares para ambas voces. Cuando se les preguntó qué voz prefierían para un género dado, los usuarios mostraron una preferencia por la AD narrada por una persona para la ficción y ninguna preferencia entre la AD con voz humana y AD con voz sintética para el documental. En general, los resultados sugieren que cuando se narra adecuadamente, tanto en términos de estilo como de voz, la AD puede aumentar las posibilidades de que las audiencias CyBV tengan una experiencia audiovisual más atractiva. Se espera que esta tesis doctoral sea un primer paso para entender los vínculos entre el producto de la AD y el contexto del usuario, y abrir el camino a investigaciones más profundas en el futuro.

Audio description (AD) is no longer seen as an exclusive accessibility service dedicated to a small fraction of individuals, but as an inclusive service, addressing not only the needs of people with sensory impairments, but also those of other audiences, including the elderly or children. The demand for this service is likely to grow in the near future. Although a drive for quantity of accessible audiovisual products can be observed on the market, the issue of the quality of user experience should not be overlooked. Framed within the inclusive model of accessibility, this PhD thesis aims to explore the impact of AD on the emotional response of its target audiences – blind and visually impaired (B/VIP) users. To this end, two research studies were carried out: one focusing on AD style and the other on AD vocal delivery. The rationale behind selecting these parameters was related to the findings of previous research conducted in the field. Two main research objectives were set. The first one, concerning AD style, centred around studying the reception of two AD styles – standard and creative – by B/VIP users. The second one, linked to AD vocal delivery, involved studying the reception of two AD voice types – human and synthetic – by B/VIP users for two genres: fiction and documentary. The novel aspect of this PhD thesis is the methodological approach adopted. It follows a user-centric methodology, not limiting itself to reporting on users’ opinions, but also aiming to measure their emotional response to a stimuli presented. The research tool that is used to gauge user experience is the Independent Television Commission Sense of Presence Inventory questionnaire, one of five canonical questionnaires used for measuring presence. Two additional items – interest and confusion – are added for users to report their emotional response to the stimuli shown. The results indicate that not only AD scripts – creative or standard – but also AD delivery voices have a direct effect on the reception of a film, and therefore on users’ experience. When it comes to AD style, the results show that creative AD, compared to standard AD, yielded higher levels of presence for all participants. Overall, the creative AD style seemed more natural, especially to participants with recent sight loss. However, it turned out to be more confusing than standard AD, possibly because the participants were not used to cinematic terminology included in the script or did not expect to hear unsavoury vocabulary. Nevertheless, when explicitly asked which AD style – creative or standard – they prefer, the majority of participants opted for creative AD. When it comes to AD vocal delivery, AD narrated by a human, compared to text-to-speech (TTS) AD, prompted significantly higher levels of presence for fiction. Presence rates for documentary were similar, with no statistically significant differences in relation to AD voice type. Fiction with a human voice AD was assessed by participants as being more interesting and less confusing than fiction with TTS AD. In the case of documentary, the levels of interest and confusion were comparable for both voice types. When asked which voice type they prefer for a given genre, participants showed a preference for AD read by a human for fiction, but no preference between a human voice AD and TTS AD for documentary. Overall, the findings suggest that when properly delivered, both in terms of style and voice, AD may increase the chances of B/VIP audiences having a more engaging viewing experience. It is hoped that this PhD thesis will act as a useful stepping stone towards understanding the links between the AD product and user context, and towards conducting further research in this field.