Learning grammatical constructions from audio-visual input

Author

Plotnikova, Anastasiia

Director

Muñoz Lahoz, Carme

Tutor

Muñoz Lahoz, Carme

Date of defense

2022-05-19

Pages

282 p.



Department/Institute

Universitat de Barcelona. Facultat de Filologia

Abstract

This doctoral dissertation explores the effects of prolonged exposure to audio-visual input on learning a variety of English L2 grammatical constructions. The thesis is organised around three interconnected studies. The first study compares the effects of captioned and uncaptioned audio-visual input on learning grammar, and investigates whether this learning depends on such learner-related factors as L2 proficiency level, working memory capacity, and foreign language learning aptitude. The second study implements an additional captioning condition and compares grammar gains between the three captioning modes: Unenhanced captions, textually enhanced captions, and no captions. It also assesses the effects of three grammatical construction learnability factors: Construction type, frequency, and recency of occurrence. The third study turns to the viewers’ perspective of learning from audio-visual input and addresses the participants’ feeling of learning from the intervention, and whether their extramural L2 television viewing preferences and viewing strategies changed over the period of the intervention. A total of 141 participants with various proficiency levels (from A1 to C2) watched ten full-length TV series episodes with captions, with textually enhanced captions (Study 2), or without captions over a period of five weeks. The study targeted 27 frequently occurring grammatical constructions categorized as fully-schematic, partially-filled, or fully-filled. The design included a pre-test, an immediate post-test, and a delayed post-test, along with pre-course and post-viewing questionnaires on participants’ L2 viewing habits. Participants’ individual differences such as English proficiency level, working memory capacity, and foreign language learning aptitude were also measured. The results of the first study indicated that all participants significantly improved their knowledge of the target grammatical constructions, with the captions group having significantly higher gains than the no captions group. In terms of the individual differences, English proficiency had a mediating role with the intermediate level group outperforming the elementary group. The working memory capacity and language learning aptitude scores (LLAMA F) had a significant effect on the learning gains of the no captions group. Higher levels of these cognitive individual factors facilitated learning without captions, suggesting that captions can level the playing field while viewing L2 audio-visual materials. The results of the second study indicated mixed effects of captioning. Textually enhanced captions – a more salient condition – led to immediate learning outcomes, while unenhanced captions resulted in higher long-term effects. This finding suggests that in order to obtain effective learning conditions from textually enhanced captions, a limit to the amount of different textually enhanced constructions presented in the input should be set. In general, unenhanced captions - already available on the most streaming platforms – appear sufficient for successful grammatical constructions learning. As regards the type of constructions and frequency, fully-filled constructions were learnt the least by all the groups. It seems that constructions without any variation in the input were more difficult to uptake. Frequency of the target constructions occurrence did not have a significant effect on grammatical constructions learning of intermediate and advanced level participants. It is possible that lower language proficiency viewers are more sensitive to the frequencies in the audio-visual input. The third study, exploring the learners’ perspectives, found that the participants perceived vocabulary and expressions as the most learnt language features. Concerning the preferred viewing mode outside of the classroom (with L1 subtitles, with L2 captions, without captions or subtitles), a significant shift was observed. All participants, regardless of their proficiency and intervention viewing group, opted for watching less with L2 captions. The elementary level participants found that viewing without any native language support was too challenging for leisure viewing, while the intermediate and advanced level students became familiar with the audio-visual input and turned into confident viewers. Finally, the participants also demonstrated a significant drop in applying viewing strategies, which could be attributed to them turning off L2 captions and becoming viewers rather than learners. This doctoral dissertation extends the known benefits of sustained exposure to audio-visual input for L2 vocabulary learning and comprehension, and goes beyond by providing evidence for the potential of captioned L2 television for grammar learning.


Aquesta tesi doctoral explora els efectes de l'exposició prolongada a sèries de televisió en l'aprenentatge d'una varietat de construccions gramaticals de l'anglès com a llengua estrangera. La tesi s'organitza al voltant de tres estudis interconnectats. El primer estudi compara els efectes de les sèries amb subtítols en anglès (L2) i sense subtítols en l'aprenentatge de la gramàtica i investiga si aquest aprenentatge depèn de factors relacionats amb l’estudiant, com son el nivell de competència en la L2, la capacitat de memòria de treball i l'aptitud per a l'aprenentatge de llengües estrangeres. El segon estudi afegeix un tercer tipus de subtítols i compara els guanys gramaticals entre les tres condicions: subtítols no modificats, subtítols amb paraules ressaltades i sense subtítols. L’estudi també avalua els efectes de tres factors d'aprenentatge de la construcció gramatical: el tipus de construcció, la freqüència d'ocurrència i la proximitat d'ocurrència. El tercer estudi es centra la percepció dels espectadors sobre l’input audiovisuals i la sensació d'aprenentatge dels participants de la intervenció, i si les seves preferències i estratègies de visualització de televisió en la L2 fora de l’àmbit educatiu han canviat durant el període de la intervenció. Un total de 141 participants amb diferents nivells de competència (de l'A1 al C2) van veure deu capítols complets de sèries de televisió amb subtítols, amb subtítols amb construccions ressaltades (segon estudi) o sense subtítols, durant un període de cinc setmanes. L'estudi es va centrar en 27 construccions gramaticals freqüents categoritzades com a totalment esquemàtiques, parcialment plenes o completament plenes. El disseny incloïa una prova inicial, i dues proves posteriors (una immediata i una posposada), juntament amb qüestionaris previs i posteriors a la intervenció, centrats en els hàbits de consum de televisió en la L2 dels participants. També es van mesurar les diferències individuals dels participants, com el nivell de domini de l'anglès, la capacitat de memòria de treball i l'aptitud per a l'aprenentatge de llengües estrangeres. Els resultats del primer estudi indiquen que tots els participants han incrementat significativament el seu coneixement de les construccions gramaticals, i que el grup de subtítols ha tingut guanys significativament més alts que el grup sense subtítols. Pel que fa a les diferències individuals, el nivell de competència en anglès té un paper mediador dins el grup de nivell intermedi, que supera el grup elemental. La capacitat de memòria de treball i l’aptitud per a l'aprenentatge de llengües (LLAMA F) tenen un efecte significatiu en els guanys d'aprenentatge del grup sense subtítols. Els nivells més alts d'aquests factors cognitius individuals faciliten l'aprenentatge sense subtítols, suggerint que els subtítols poden igualar les condicions per a tots els estudiants mentre es visualitzen materials audiovisuals en la L2. Els resultats del segon estudi indiquen efectes mixtos dels diferents tipus de subtítols. Els subtítols amb construccions ressaltades (una condició més prominent) comporta resultats d'aprenentatge immediats, mentre que els subtítols no ressaltats tenen efectes més alts a llarg termini. Aquesta troballa suggereix que, per a obtenir condicions d'aprenentatge efectives a partir de subtítols ressaltats, s'hauria d'establir un límit a la quantitat de construccions ressaltades diferents que es presenten a l’input audiovisual. En general, els subtítols no ressaltats, ja disponibles a la majoria de plataformes de streaming, semblen suficients per a l'aprenentatge adequat de construccions gramaticals. Pel que fa al tipus de construccions i la freqüència, les construccions completament omplertes han estat les menys apreses en tots els grups. Sembla que les construccions sense cap variació en l'input son més difícils d'aprendre. La freqüència d'ocurrència de les construccions no té un efecte significatiu en l'aprenentatge de les construccions gramaticals entre els participants de nivell intermedi i avançat. És possible que els espectadors amb una competència lingüística més baixa siguin més sensibles a les freqüències de l'input audiovisual. El tercer estudi, que ha explorat les perspectives dels aprenents, ha trobat que el vocabulari i les expressions són percebuts com els elements més apresos pels participants de l'estudi. Pel que fa al mode de visualització preferit fora de l'aula (amb subtítols en català o castellà (L1), amb subtítols en L2 o sense subtítols), s’ha observat un canvi significatiu. Tots els participants, independentment de la seva competència i grup de visualització d'intervenció, han optat per veure menys televisió amb subtítols en la L2. Els participants del nivell elemental han trobat que veure sèries de televisió per plaer sense suport de la llengua materna era massa difícil, mentre que els estudiants de nivell intermedi i avançat s’han familiaritzar amb l'input audiovisual i s’han convertit en espectadors que se senten segurs. Finalment, els participants també mostren una davallada en l'aplicació d'estratègies de visualització, que es podria atribuir al fet que desactivaven els subtítols en la L2 i es convertiren en espectadors en lloc d'aprenents. Aquesta tesi doctoral amplia els beneficis coneguts de l'exposició prolongada a l'input audiovisual per a l'aprenentatge del vocabulari i la comprensió global, i va més enllà proporcionant proves del potencial de la televisió en la L2 amb subtítols per a l'aprenentatge de la gramàtica.

Keywords

Gramàtica; Gramática; Grammar; Adquisició del llenguatge; Adquisición del lenguaje; Language acquisition; Narrativa audiovisual; Narrativa visual; Visual narrative

Subjects

81 - Linguistics and languages

Knowledge Area

Ciències Humanes i Socials

Note

Programa de Doctorat en Ciència Cognitiva i Llenguatge

Documents

AP_PhD_THESIS.pdf

2.313Mb

 

Rights

ADVERTIMENT. Tots els drets reservats. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs.

This item appears in the following Collection(s)