The reception of subtitling for the deaf and hard of hearing: viewers’ hearing and communication profile & Subtitling speed of exposure

Abstract

Per accedir al contingut audiovisual els espectadors amb sordesa han d'assimilar i integrar la informació que transmeten els subtítols i la imatge. Aquest procés implica una sèrie de complexos mecanismes cognitius i els factors que poden influir en ell són molts i variats. En aquest estudi s'analitza la recepció de subtítols per a persones amb sordesa i dèficit auditiu entre tres tipus d'espectadors amb un perfil auditiu i comunicatiu diferent: oïdors, sords usuaris de la llengua oral i sords usuaris de la llengua de signes. L'objectiu principal és investigar com el perfil dels espectadors i la velocitat d'exposició dels subtítols afecten al procés de recepció. Es van analitzar tres tipus de subtítols amb diferents velocitats d'exposició: alta (amb una durada d'entre un i dos segons), mitjana (entre dos i quatre segons) i baixa (entre quatre i sis segons); exposats a un ritme de 15 caràcters per segon però amb una segmentació diferent. 72 persones van participar en l'estudi, veient dos clips de vídeo i contestant a una sèrie de preguntes. L'anàlisi es va dividir en tres fases. Mitjançant eye tracking, es van registrar els moviments oculars dels participants i es va analitzar la distribució d'atenció entre els subtítols i la imatge amb l'objectiu d'identificar els patrons de lectura i inspecció de la imatge (resposta). Mitjançant l'ús de qüestionaris, es va analitzar la seva habilitat per comprendre i deduir la narrativa i per recordar i processar la informació verbal i visual (reacció), així com la seva autoevaluació en referència a la facilitat i el temps de lectura i d'inspecció de la imatge (repercussió). També es va obtenir informació addicional sobre la mostra de participants: un qüestionari previ va recollir informació sobre aspectes auditius, educatius, lingüístics i comunicatius així com sobre hàbits de lectura i consum audiovisual -incloent un test de comprensió lectora- que va permetre assignar-los un perfil; i un qüestionari posterior, sobre la seva opinió i les seves preferències en relació amb les pràctiques actuals en subtitulació, incloent la velocitat. Els clips de vídeo eren fragments de pel·lícules de ficció amb diferents graus d'interacció entre el codi verbal i el visual. Amb l'objectiu d'explorar com els espectadors processen i prioritzen la informació en diferents tipus de contingut audiovisual, els dos clips presentaven una càrrega relativament alta de contingut verbal (diàleg continu) i una càrrega d'acció diferent en la imatge (nombre i tipus de plànols).

Els resultats confirmen que el perfil dels espectadors afecta a totes les fases de recepció. Sorprenentment, les diferències observades entre els dos grups amb dèficit auditiu són majors que les diferències entre aquests dos grups i el grup oïdor. L'ús de models lineals generalitzats en l'anàlisi estadística va permetre incloure la variable d'ajust «nivell de comprensió lectora», que va exercir un paper crucial en el procés de recepció. Els resultats indiquen que les diferències entre perfils, més que a factors auditius, lingüístics i comunicatius, podrien deure's al seu nivell de comprensió lectora. La velocitat d'exposició dels subtítols va influir en la distribució d'atenció entre els subtítols i la imatge (fase de resposta) però no en les fases de reacció i repercussió. Les diferències observades en la recepció dels dos clips -per part dels tres perfils i en totes les fases de l'anàlisi- suggereixen que la recepció depèn en gran mesura del tipus de contingut audiovisual que s'analitzi.

Para acceder al contenido audiovisual los espectadores con sordera deben asimilar e integrar la información que transmiten los subtítulos y la imagen. Este proceso implica una serie de complejos mecanismos cognitivos y los factores que pueden influir en él son muchos y variados. En este estudio se analiza la recepción de subtítulos para personas sordas y con déficit auditivo entre tres tipos de espectadores con un perfil auditivo y comunicativo diferente: oyentes, sordos usuarios de la lengua oral y sordos usuarios de la lengua de signos. El objetivo principal es investigar cómo el perfil de los espectadores y la velocidad de exposición de los subtítulos afectan al proceso de recepción. Se analizaron tres tipos de subtítulos con diferentes velocidades de exposición: alta (con una duración de entre uno y dos segundos), media (entre dos y cuatro segundos) y baja (entre cuatro y seis segundos); expuestos a un ritmo de 15 caracteres por segundo pero con diferente segmentación. 72 personas participaron en el estudio, viendo dos clips de video y contestando a una serie de preguntas. El análisis se dividió en tres fases. Mediante eye tracking, se registraron los movimientos oculares de los participantes y se analizó la distribución de atención entre los subtítulos y la imagen con el objetivo de identificar los patrones de lectura e inspección de la imagen (respuesta). Mediante el uso de cuestionarios, se analizó su habilidad para comprender y deducir la narrativa y para recordar y procesar la información verbal y visual (reacción), así como su autoevaluación en torno a la facilidad y el tiempo de lectura y de inspección de la imagen (repercusión). También se obtuvo información adicional sobre la muestra de participantes: un cuestionario previo recogió información sobre aspectos auditivos, educativos, lingüísticos y comunicativos así como sobre hábitos de lectura y consumo audiovisual –incluyendo un test de comprensión lectora- que permitió asignarles un perfil; y un cuestionario posterior, sobre su opinión y sus preferencias en relación con las prácticas actuales en subtitulación, incluyendo la velocidad. Los clips de video eran fragmentos de películas de ficción con diferentes grados de interacción entre el código verbal y el visual. Con el objetivo de explorar cómo los espectadores procesan y priorizan la información en diferentes tipos de contenido audiovisual, ambos clips presentaban una carga relativamente alta de contenido verbal (diálogo continuo) y una carga de acción diferente en la imagen (número y tipo de planos).

Los resultados confirman que el perfil de los espectadores afecta a todas las fases de recepción. Sorprendentemente, las diferencias observadas entre los dos grupos con déficit auditivo son mayores que las diferencias entre ambos y el grupo oyente. El uso de modelos lineales generalizados en el análisis estadístico permitió incluir la variable de ajuste «nivel de comprensión lectora», que desempeñó un papel crucial en el proceso de recepción. Los resultados indican que las diferencias entre perfiles, más que a factores auditivos, lingüísticos y comunicativos, podrían deberse a su nivel de comprensión lectora. La velocidad de exposición de los subtítulos influyó en la distribución de atención entre los subtítulos y la imagen (fase de respuesta) pero no en las fases de reacción y repercusión. Las diferencias observadas en la recepción de los dos clips -por parte de los tres perfiles y en todas las fases del análisis- sugieren que la recepción depende en gran medida del tipo de contenido audiovisual que se analice.

Viewers with a hearing loss need to assimilate, process and integrate the information conveyed by the subtitles and the images in order to gain full access to audiovisual content. This process involves a set of complex cognitive mechanisms and the extent of factors that may affect it is large and varied. This study investigates the reception of subtitles for the deaf and hard of hearing among three types of viewers with a different hearing and communication profile: hearing, deaf-sign language users and deaf-spoken language users. The main objective was to investigate whether and how participants’ profile and subtitling speed of exposure affect reception. Three versions of subtitles were analyzed according to its speed of exposure: high (with an average duration of between one and two seconds), medium (between two to four seconds) and low (between four to six seconds); with a different number of subtitles and segmentation and displayed at a rate of 15 characters per second. The analysis was divided into three stages and 72 participants took part in it by watching two videos and answering a set of questions. Participants’ eye movements were tracked and analyzed in terms of attention distribution between the subtitles and the image in order to identify patterns in their reading and viewing behavior (response). Their ability to understand and infer the narrative and to recall and process the verbal and the visual information was analyzed through questionnaires (reaction), as well as their self-assessment on the time and ease of reading the subtitles and viewing the image (repercussion). Background information was obtained through a set of prior and post questionnaires: the former collected data about participants’ hearing, education, language and communication aspects and reading and viewing habits –this part included a test to evaluate their reading skills— that allowed them to be allocated to a profile; the latter collected the opinion and preferences on current practices in subtitling, including speed. The two videos were selected from fiction films and showed different degrees of interaction between the verbal and the visual codes: they had a relatively high load of verbal content (continuous dialogue) but a different load of visual action (number and type of shots). The aim here was to explore how the different combination of verbal and visual information was processed and prioritized.

The results obtained in this study confirm that the viewers’ profile affected all the stages of reception. Surprisingly, more differences were observed between the two groups with hearing loss than between them and the hearing group. The use of generalized linear models in the statistical analysis allowed the inclusion of the variable of adjustment “reading skills”, which turned out to play a crucial role on the overall process of reception. Results indicate that differences between profiles might be more due to reading-related factors than to hearing, language and communication aspects. The subtitling speed of exposure influenced the distribution of attention between the subtitles and the image but did not affect significantly reaction and repercussion. Differences in the reception of the two videos were observed in the three profiles and in the three stages of reception, suggesting that reception is highly dependent on the type of audiovisual content used.