Audio-synchronized textual enhancement in L2 pronunciation teaching and learning with TV series

Abstract

[eng] In the schools of many countries, English is taught as a foreign language with the goal of preparing students for the demands of higher education and for a globalized workforce where English is the lingua franca. However, due to the limited exposure to native or near-native speech in the classroom, language learners at relatively advanced proficiency levels may still mispronounce words that are relatively common in everyday speech (Cook et al., 2016; Van Zeeland, 2017). Although sounding like a native speaker is an elusive goal, pronunciation instruction can prevent the fossilization of inaccurate phonological representations, increasing the learner’s comprehensibility or ease of understanding (Levis, 2018; Thomson & Derwing, 2014). Watching L2 captioned videos can provide additional exposure to targetlike L2 speech, with positive effects on vocabulary acquisition, speech segmentation and adaptation to diverse L2 accents (Charles and Trenkic, 2015; Montero-Perez et al., 2014; Mitterer & McQueen, 2009). However, the potential of exposure to captioned video for pronunciation learning is still largely unexplored (Montero Perez, 2022). The two main research gaps regard the effects of audiovisual synchrony (the time lag between learners’ processing of captions and spoken dialogue) and of an intervention focused on pronunciation form. The existing research has shown that proficient learners read captions fast, fixating on target words in captions earlier than their auditory onset (Wisniewska & Mora, 2018). In addition, the pioneering study by Wisniewska and Mora (2020), which specifically targeted pronunciation learning through extended exposure to TV series, yielded mixed findings regarding the effectiveness of a focus on form and the availability of captions. This dissertation fills these gaps by proposing an intervention aimed at increasing audiovisual synchrony during exposure to captioned video, facilitating the mapping of phonological forms onto orthographic forms and the updating of non-targetlike phonological representations. In study 1, we investigated whether highlighting in yellow words in captions right before their auditory onset (audio-synchronized textual enhancement) promoted closer audiovisual synchrony during exposure to multimodal input from TV series, resulting in phonological updatings. In study 2, we interviewed a small group of learners to assess their linguistic focus and depth of processing while viewing unenhanced video and when captions contained audio-synchronized textual enhancement. Study 3 consisted in a classroom intervention that combined exposure to videos containing audio-synchronized textual enhancement with opportunities for pronunciation practice and feedback. The results of study 1 showed that audio-synchronized textual enhancement promoted closer audiovisual synchrony than unsynchronized enhancement, and all enhancement conditions including unsynchronized enhancement promoted the updating of lexical phonological representations. In addition, the enhancement mitigated the effects of proficiency and reading speed by slowing down faster and more proficient readers and speeding up slower and less proficient ones. However, study 2 showed that learners’ internal focus may not necessarily be directed to pronunciation if the target words or features are not perceived as problematic for listening comprehension. Against our predictions, study 3 found that audio-synchronized textual enhancement may not offer substantial advantages within a pronunciation-focused classroom intervention. However, the group of learners who carried out the video-based activities without textual enhancement obtained significant pronunciation gains, regardless of their level of L2 proficiency and learning aptitude. Taken together, these results partially support the use of audio-synchronized enhancement in pronunciation teaching and learning but also highlight the challenges of determining the effects of this semi-incidental learning condition (Leow & Martin, 2017). While audio-synchronized enhancement may facilitate noticing of the enhanced target features, factors such as depth of linguistic processing and learners’ previous experience with the target features may be crucial in triggering interlanguage restructuring (Han et al., 2008; Leow, 2015). Although semi-incidental pronunciation learning was difficult to quantify due to learners’ individualized response to input enhancement, the intervention may nevertheless have contributed to gradual improvements in pronunciation accuracy during subsequent exposure and practice. Future studies on pronunciation learning from captioned video may delve further into learners’ processing of auditory input and explore how different audiovisual manipulations can enhance the audiovisual integration of spoken dialogues and captions.

[cat] L’expressió oral i la pronunciació s’han deixat de banda en molts contextos d’ensenyament, inclòs el sistema educatiu espanyol. L’èmfasi en l’ensenyament de vocabulari i gramàtica, així com l’exposició limitada a la llengua estrangera dins de l’aula, fa que hi hagi estudiants que encara pronunciïn malament paraules relativament comunes en el llenguatge quotidià després de molts anys d’ensenyament reglat. Això és problemàtic, perquè emmagatzemar representacions fonològiques correctes i accedir-hi ràpidament és vital per a produir un discurs comprensible. L’aprenentatge de la pronunciació i l’exposició a un llenguatge autèntic pot prevenir la fossilització de representacions fonètiques incorrectes. Les sèries de televisió, amb diàlegs que reflecteixen converses espontànies i presenten una varietat d’accents i parlants, tenen un gran potencial en aquest àmbit. Tanmateix, l’ús de vídeos subtitulats per a l’aprenentatge de la pronunciació ha estat poc investigat. Aquesta tesi proposa una intervenció per incrementar la sincronia audiovisual durant l’exposició a vídeos subtitulats, per a facilitar el mapatge de formes fonològiques en formes ortogràfiques i actualitzar les representacions fonològiques incorrectes. La intervenció implicà exposició a input multimodal (sèries de televisió), on una selecció de paraules es van ressaltar visualment just abans que fossin pronunciades (realçament textual amb sincronització d’àudio). Els resultats mostraren que aquesta tècnica promogué una sincronia audiovisual més propera, tot alentint els lectors més competents i agilitzant els més lents. També promogué l’actualització de representacions lèxiques fonològiques, si bé en un grau similar al realçament textual sense sincronització. Tanmateix, el realçament textual amb sincronització d’àudio no va oferir avantatges substancials dins d'una intervenció a l'aula centrada en la pronunciació que també va implicar activitats de producció oral. En conjunt, els resultats donen suport parcial a l’ús de realçament textual amb sincronització en l’ensenyament i aprenentatge de la pronunciació, però alhora posen en relleu el repte de determinar els efectes d’aquesta situació d’aprenentatge semi-incidental. El realçament textual amb sincronització pot ajudar a dirigir l’atenció als aspectes lingüístics realçats, però altres factors com ara el nivell de processament lingüístic, la durada del tractament i les experiències prèvies amb aquests aspectes lingüístics en particular poden ser crucials per activar la reestructuració de la interllengua. Les propostes metodològiques d’aquesta tesi, des de l’ús de seguiment ocular (eye-tracking) i recol·lecció verbal fins a la inclusió de diversos tests de pronunciació, proporciona fonaments valuosos per a futures investigacions.