Sound effect labelling in subtitling for the deaf and hard-ofhearing: an experimental study on audience reception

Abstract

El objetivo de la presente tesis es conseguir un mejor entendimiento de los efectos sonoros en el SPS y de las estrategias que se usan para su representación en la pantalla con una aproximación hacia el espectador. Los efectos sonoros han sido incluidos en diversas clasificaciones en TAV, pero sus funciones y características dentro de una narrativa audiovisual no han sido analizadas en profundidad. Por este motivo, este estudio propone un modelo de análisis basado en los Estudios Fílmicos que podrían emplear los profesionales del SPS. Aún así, para determinar el grado de adecuación de las estrategias usadas en el SPS es necesario obtener información sobre y desde los usuarios del SPS, por lo cual este estudio también adopta una aproximación empírica. En este caso, el enfoque a los usuarios se basa en el uso del lenguaje en el sentido que las personas sordas y con diversidad funcional auditiva pueden usar una lengua de signos, una lengua oral o ambas. El grado de familiarización con estos sistemas de representación conlleva una serie de implicaciones para la presentación de estrategias verbales o no verbales en la pantalla. Por eso, las dicotomías verbal/no verbal y signante/oralista han sido la base del diseño experimental del presente estudio. Al mismo tiempo, en los estudios empíricos en el ámbito del SPS las medidas de satisfacción y preferencias mediante cuestionarios son a menudo complementados por otras medidas relacionadas con la percepción, como los estudios de medición de los movimientos oculares (véase Arnáiz-Uzquiza 2012, Miquel-Iriarte 2014). Hasta la fecha, en estas aproximaciones de diseño metodológico mixto, no se han incluido medidas de la experiencia narrativa. Por lo tanto, en este estudio se investigan tanto las preferencias de los espectadores sobre las estrategias verbales o no verbales, como también el fenómeno de compromiso narrativo (enganche) y el disfrute de la narrativa cuando se aplican las mismas estrategias. El experimento se llevó a cabo en Cataluña con espectadores tanto de perfil oralista como de perfil signante, provenientes de la misma región. En cuanto a las preferencias expresadas, los principales resultados de este estudio indican que ambos tipos de espectadores (N = 40) aceptan las estrategias verbales que coinciden con las que se emplean generalmente en la televisión española. Sin embargo, cuando se estudian los diferentes parámetros que podrían incluirse en las etiquetas de los efectos sonoros en el SPS, los participantes están más abiertos a estrategias menos establecidas, especialmente cuando se trata de incluir información sobre el origen y el volumen del sonido. En el segundo nivel de recepción, es decir el grado de compromiso narrativo y disfrute de los contenidos audiovisuales, no se hallaron diferencias significativas entre los perfiles oralistas (N = 21) y signates (N = 25) cuando se presentaron con estrategias verbales o no verbales. Por otro lado, se observa una estrecha relación entre el efecto de compromiso narrativo y el disfrute. Este resultado apunta a las posibilidades que ofrece esta metodología para evaluar la experiencia audiovisual por parte de personas sordas y con diversidad auditiva. Los anteriores resultados indican que a nivel de compromiso narrativo y disfrute de la experiencia audiovisual es parecida para ambos perfiles lingüísticos independientemente de la estrategia presentada. Aún así, existe una tendencia positiva hacia las estrategias verbales y la inclusión de diferentes etiquetas para el mismo tipo de sonido. Dichos resultados podrían abrir el camino hacia la investigación en el SPS creativo. Por último, y a pesar de las limitaciones de este estudio, se presenta una primera aproximación a la experiencia narrativa combinada con el SPS, mientras también se ofrece una amplia perspectiva de los efectos sonoros y sus funciones en una narrativa audiovisual.

The present thesis is an attempt towards achieving a better understanding of sound effects in SDH and their appropriate rendering on screen with an addressee-oriented scope. Sound effects have been included in various categorizations in AVT, however, their characteristics and functions in an audiovisual narrative have not been analysed in depth. For this reason, this study proposes a model of analysis for sound effects through a merge with Film Studies that could be useful to SDH practitioners. Still, determining the adequacy of the strategies applied cannot be complete without information from and about SDH users, which is where audience reception studies acquire specific importance. In the present case, audience is approached from the scope of language use, in the sense that deaf and hard-of-hearing audiences can be users of an oral language, a sign language, or both. The degree of familiarity with these representation systems has a series of implications when viewers are presented with verbal or non verbal strategies on screen. The verbal/non-verbal and the sing/oral language dichotomies have been the basis of the experimental design of this study. Meanwhile, the empirical studies carried out in the field of SDH have combined surveys measuring satisfaction and stated preferences mostly with eye-tracking for assessing viewer's perception (see Arnáiz-Uzquiza 2012, Miquel-Iriarte 2014), while viewer experience has not been previously included in a similar mixed-method design. Therefore, the methodology of the experimental part of the study assesses both preferences regarding verbal and non verbal strategies but also viewers' narrative engagement and enjoyment when the above-mentioned strategies are applied. The experiment was carried out in Spain and, specifically, with deaf and hard of hearing viewers coming from the region of Catalonia. Regarding stated preferences, the main findings suggest that both types of users (N = 40) accept verbal strategies, which coincides with the practice commonly applied in Spanish television. However, concerning different parameters that could be included in sound-effect labels, participants seem to be open to diversity, especially when it comes to factors like the source and the volume of the sound. With regard to the second level of reception, namely, the grades of narrative engagement and enjoyment of the audiovisual material, no significant differences were found between oral-language users (N = 21) and sign-language users (N = 25), when presented with verbal and non-verbal representation strategies. Meanwhile, the relationship between the component of engagement and enjoyment has been confirmed, demonstrating the prospects offered by the methodology selected for measuring viewer experience for deaf and hard of hearing audiences. These results suggest that the narrative experience at the level of engagement with and enjoyment of the narrative is similar, regardless of the language profile of viewers and strategy presented. However, there is a positive tendency with respect to preferences towards verbal strategies and the inclusion of different labels for the same sound effect, which could pave the way towards further research in creative SDH. Finally, despite the limitations of the study, it constitutes a first attempt in merging viewer experience and SDH, while providing a wide overview of sound effects and their functions in an audiovisual narrative.