Using the hands to embody prosody boosts phonological learning in a foreign language

Abstract

Prosodic features of language such as prominence, melody, and rhythm, are frequently embodied by hand movements in face-to-face communication. However, little is known on the role of embodied techniques encoding the melodic and rhythmic features of speech on the phonological learning of a foreign language. The main goal of this thesis is to unveil the benefits of using a prosody-based, multisensory approach (visual, auditory, and kinesthetic) to support not only the learning of such prosodic features but also the overall pronunciation of a foreign language. Three training studies with a pre- and posttest design have been included in the thesis, which assess the role of multisensory training through the perception and production of visuospatial hand gestures and percussive hand movements in the acquisition of prosodic features and general pronunciation of a foreign language and with a variety of populations and proficiency levels. The first study shows that training Mandarin Chinese tones with pitch gestures (that is, visuospatial hand gestures representing pitch movement) favors the recognition and the recall of novel words with these tones by Catalan naïve learners more than training without pitch gestures. The second study shows that training Catalan intermediate learners of French with phrase-level prosodic gestures (that is, a type of visuospatial hand gesture embodying intonation, rhythm, and phrasing at the sentence level) helps them improve their accentedness and production of suprasegmental features in a discourse reading task more than training without phrase-level prosodic gestures. Finally, the third study shows that visually and acoustically highlighting the syllabic structure and rhythmic properties of French words with hand-clapping during training helps Catalan naïve learners of French improve their accentedness and final lengthening measures more than training without hand-clapping. Together, these findings expand our knowledge on how embodied multisensory techniques highlighting prosodic features can support phonological learning and underline the need to use reliable practical and embodied techniques for pronunciation instruction.

En la parla espontània, és freqüent que els trets prosòdics del llenguatge, com ara la prominència, la melodia i el ritme, s’expressin a través dels moviments de les mans. Tot i això, tenim poc coneixement sobre el valor d’emprar aquests moviments de les mans que representen els trets melòdics i rítmics de la parla per a millorar l'aprenentatge fonològic d’una llengua estrangera. L’objectiu principal d’aquesta tesi doctoral és analitzar els avantatges d’utilitzar un enfocament multisensorial (visual, auditiu i cinestèsic) basat en la prosòdia per millorar no només a l’aprenentatge d’aquestes característiques prosòdiques en una llengua estrangera, sinó també la seva pronunciació global. Aquesta tesi doctoral inclou tres estudis experimentals amb un disseny pre- i post-test que avaluen l’efectivitat d’un entrenament multisensorial en l'adquisició dels trets prosòdics i de la pronunciació d'una llengua estrangera. Concretament, s’estudia l’efecte de la percepció i la producció de gestos i de moviments manuals percussius en una varietat de poblacions i de nivells de competència. El primer estudi demostra que un entrenament amb gestos manuals visuoespacials que representen els moviments melòdics dels tons del xinès mandarí afavoreix el reconeixement i la memorització de paraules noves que contenen aquests tons per part d’aprenents catalans, comparat amb un entrenament sense gestos melòdics. El segon estudi mostra com la participació en un entrenament amb gestos prosòdics a nivell de frase (és a dir, un tipus de gest manual que visibilitza l'entonació, el ritme i el fraseig a nivell de frase) ajuda estudiants catalans amb un nivell intermedi de francès a millorar el seu accent en francès i la seva pronunciació dels trets suprasegmentals en una tasca de lectura. Finalment, el tercer estudi demostra que ressaltar visualment i acústicament l’estructura sil·làbica i les propietats rítmiques de paraules en francès picant de mans ajuda els nens catalans a millorar el seu accent estranger i a pronunciar l’allargament final del francès més adequadament que un entrenament sense picar de mans. En conjunt, aquests resultats amplien el nostre coneixement sobre les tècniques multisensorials i corporeïtzades, destaquen la importància de la visibilització de les característiques prosodiques d’una llengua per a estimular l’aprenentatge fonològic d’una llengua estrangera i subratllen la necessitat d’utilitzar tècniques corporeïtzades en l’ensenyament de la pronúncia d’una llengua estrangera.

En el habla espontánea, es frecuente que los rasgos prosódicos del lenguaje, como la prominencia, la melodía y el ritmo, se expresan a través de los movimientos de las manos. Sin embargo, tenemos poco conocimiento sobre el valor de utilizar estos movimientos de las manos que representan los rasgos melódicos y rítmicos del habla con el fin de mejorar el aprendizaje fonológico de una lengua extranjera. El objetivo principal de esta tesis doctoral es analizar las ventajas de utilizar un enfoque multisensorial (visual, auditivo y kinestésico) basado en la prosodia para mejorar no solo el aprendizaje de estas características prosódicas, sino también su pronunciación global. Esta tesis doctoral incluye tres estudios experimentales con un diseño pre- y post-test que evalúan el valor de un entrenamiento en la adquisición de los rasgos prosódicos y de pronunciación de una lengua extranjera. Concretamente, se estudia el efecto de la percepción y producción de gestos y de movimientos percusivos de las manos con una variedad de poblaciones y niveles de competencia. El primer estudio demuestra que un entrenamiento con gestos manuales visuoespaciales que representan los movimientos melódicos de los tonos del chino mandarín favorece el reconocimiento y la memorización de palabras nuevas con estos tonos por parte de participantes catalanohablantes, en comparación con un entrenamiento sin gestos de tonalidad. El segundo estudio muestra cómo la participación en un entrenamiento con gestos prosódicos a nivel de frase (es decir, un tipo de gesto manual visuoespacial que visualiza la entonación, el ritmo y el fraseo) ayuda a estudiantes catalanohablantes con un nivel intermedio de francés a mejorar su acento francés y su pronunciación de los rasgos suprasegmentales en una tarea de lectura. Finalmente, el tercer estudio demuestra que resaltar visualmente y acústicamente la estructura silábica y las propiedades rítmicas de palabras en francés haciendo palmadas ayuda a los niños catalanohablantes a mejorar su acento extranjero y a pronunciar el alargamiento final del francés más adecuadamente que un entrenamiento sin hacer palmadas. En conjunto, los resultados anteriores amplían nuestro conocimiento sobre las técnicas multisensoriales y corporeizadas, además destacan la importancia de dar visibilidad a las características prosódicas de una lengua para estimular el aprendizaje fonológico de una lengua extranjera y finalmente subrayan la necesidad de incorporar técnicas corporeizadas en la enseñanza de la pronunciación de una lengua extranjera.