Multimodal phonetic training: the benefits of hand gestures on learning L2 sounds

Abstract

In the realm of second language acquisition of pronunciation, perception-based phonetic training has been shown to be effective in improving L2 perception and production. By incorporating the visual modality of the speaker’s face, traditional perception-based training which involves audio input alone can be further enhanced (e.g., Hazan et al., 2005). However, incorporating an additional visual layer, such as hand gestures encoding phonetic information, has not consistently shown benefits for learning L2 sounds (e.g., Hoetjes & van Maastricht, 2020). This doctoral dissertation aims to assess the potential benefits of incorporating hand gestures in a multimodal phonetic training approach. Specifically, we assess the role of congruency between different modalities by selecting hand gestures that represent target phonetic information in both the acoustic (Study 1) and articulatory (Studies 2 and 3) domains. Three between-subject studies were conducted involving a total of 149 native Catalan–Spanish bilinguals. Study 1 focused on Mandarin aspirated consonants (plosives and affricates). While a fist-to-open-hand gesture appropriately represented the aspiration acoustic feature of the aspirated plosives, it failed to capture the longer frication duration of the aspirated affricates. The results indicated that hand gestures could facilitate the production of L2 consonants when they appropriately match the target acoustic feature. Studies 2 and 3 focused on English vowel pairs /æ/-/ʌ/ and /i/-/ɪ/, respectively. Hand gestures were designed to encode articulatory features with varying visual accessibility, creating a contrastive condition for between-modality congruency. That is, the lip hand gesture for /æ/-/ʌ/ appropriately matched the visible lip aperture, while the lip hand gesture for /i/-/ɪ/ showed less appropriateness as the feature was visually non-salient. The tongue hand gestures for both vowel pairs did not align with the visible articulation. Study 2 revealed that hand gestures encoding articulatory features enhanced the production of L2 English vowels /æ/-/ʌ/ only when the gesture aligned with the visible articulation. Study 3 indicated that hand gestures encoding non-visible or visually non-salient articulatory features had limited effects on learning. In addition, all three training studies consistently demonstrated that hand gestures could not facilitate the perception of L2 speech sounds. All in all, this dissertation highlights the benefits of incorporating hand gestures into multimodal phonetic training for improving L2 pronunciation, given the hand gestures appropriately represent the target sounds. The findings contribute to the understanding of embodied learning in the context of L2 segment learning. Furthermore, they enhance the multimodal enrichment framework (Mathias & von Kriegstein, 2023) by emphasizing the importance of the between-modality congruence for successful multimodal integration, and expand the understanding of how humans can optimally learn from multiple modalities that are available to them. From a pedagogical perspective, this dissertation underscores the significance of carefully selecting appropriate hand gestures and integrating them into L2 pronunciation instruction to optimize learning outcomes.

En l'àmbit de l'adquisició de la pronunciació d'una segona llengua, s'ha demostrat que l'entrenament fonètic basat en la percepció de sons és eficaç per millorar la percepció i la producció dels sons per part dels estudiants. S’ha vist que es poden millorar encara més els efectes de l'entrenament fonètic tradicional basat en la percepció de sons auditius si hom incorpora la modalitat visual a l’entrenament (e.g., Hazan et al., 2005). Tot i això, no s'ha mostrat de forma sistemàtica que la incorporació d'una capa visual addicional, com els gestos manuals que codifiquen informació fonètica a través d'entrenaments multimodals, ajudi a aprendre els sons de la L2 (e.g., Hoetjes & van Maastricht, 2020). Aquesta tesi doctoral té com a objectiu avaluar els beneficis potencials d’incorporar gestos manuals en un entrenament fonètic multimodal. La tesi se centra a avaluar el paper de la coherència entre modalitats (e.g., la modalitat gestual i la fonètica), concretament avaluant l’efectivitat de diferents gestos manuals que representen informació fonètica, tant en el domini acústic (Estudi 1) com en l’articulatori (Estudis 2 i 3). La tesi inclou tres estudis experimentals d’entrenament fonètic multimodal on van participar a un total de 149 bilingües de català–castellà. L'estudi 1 estudia l’aprenentatge de les consonants aspirades del xinès mandarí (oclusives i africades). Si bé un gest amb la mà oberta representa de forma apropiada el tret acústic de l’aspiració de les oclusives, aquest gest no va aconseguir millorar l’allargament de la fricció de les africades aspirades. Els resultats de l’estudi ens indiquen que els gestos manuals poden facilitar l’aprenentatge de la pronunciació quan aquests gestos són totalment coherents amb les característiques acústiques dels sons que cal aprendre. Els estudis 2 i 3 se centren en l’aprenentatge de les parelles de vocals angleses /æ/-/ʌ/ i /i/-/ɪ/, respectivament. Es van dissenyar dos tipus de gestos manuals per codificar característiques articulatòries d’aquestes vocals, de manera que tinguessin diferents tipus d’accessibilitat visual i per tant diferents condicions de coherència intermodal. Per una banda, el gest manual que representava la posició d’obertura dels llavis per a /æ/-/ʌ/ era coherent amb trets articulatoris visibles, mentre que el gest manual representant l’obertura dels llavis per a /i/-/ɪ/ representava una característica de posició dels llavis que no era visualment destacada. Per altra banda, els gestos manuals que representaven la llengua per a tots dos parells de vocals no es referien a cap articulació visible. L'estudi 2 va revelar que només els gestos manuals que codificaven característiques articulatòries visibles milloraraven la producció de les vocals /æ/-/ʌ/. L'estudi 3 va demostrar que els gestos manuals que codifiquen característiques articulatòries no visibles o visualment no destacades tenien efectes limitats en l'aprenentatge fonològic. A més, els tres estudis d'entrenament van demostrar consistentment que els gestos manuals no facilitaven la percepció dels sons de la parla a L2. En resum, aquesta tesi destaca els beneficis d'incorporar gestos manuals en entrenaments fonètics de tipus multimodal per millorar la pronunciació de la L2, sempre que aquests gestos manuals representin de forma apropiada els sons. Els resultats d’aquesta tesi contribueixen a valorar la importància de l’aprenentatge corporeïtzat en el context de l’aprenentatge de la pronúncia d’una segona llengua. A més, de forma crucial, els resultats de la tesi ens han permès validar en l’àmbit de l’adquisició fonològica un principi de la teoria d'enriquiment multimodal (Mathias & von Kriegstein, 2023), que és la coherència entre modalitats. En altres paraules, per a l'èxit d'un entrenament multimodal cal que hi hagi una integració multimodal òptima. Els resultats d’aquesta tesi amplien la nostra comprensió de com els humans poden aprendre de manera òptima a través de múltiples modalitats. Des d'una perspectiva pedagògica, aquesta tesi subratlla la importància de seleccionar amb cura uns gestos manuals que siguin òptims des del punt de vista de la coherència entre modalitats i integrar-los a l’ensenyament de la pronunciació d’una segona llengua, per tal d’optimitzar-ne els resultats.

En el ámbito de la adquisición de la pronunciación de una segunda lengua, se ha demostrado que el entrenamiento fonético basado en la percepción de sonidos es eficaz para mejorar la percepción y producción de los sonidos por parte de los estudiantes. Se ha visto que, si se incorpora la modalidad visual en el entrenamiento, se pueden mejorar aún más los efectos del entrenamiento fonético tradicional basado en la percepción de sonidos auditivos (e.g., Hazan et al., 2005). Sin embargo, no se ha mostrado de forma sistemática que la incorporación de una capa visual adicional, como los gestos manuales que codifican información fonética a través de entrenamientos multimodales, ayude a aprender los sonidos de la L2 (e.g., Hoetjes & van Maastricht, 2020). Esta tesis doctoral tiene como objetivo evaluar los potenciales beneficios de incorporar gestos manuales en un entrenamiento fonético multimodal. La tesis se centra en evaluar el papel de la coherencia entre modalidades (e.g., la modalidad gestual y la fonética), concretamente evaluando la efectividad de diferentes gestos manuales que representan información fonética, tanto en el dominio acústico (Estudio 1) como en el articulatorio (Estudios 2 y 3). La tesis incluye tres estudios experimentales de entrenamiento fonético multimodal donde participaron un total de 149 hablantes bilingües catalán–castellano. El estudio 1 estudia el aprendizaje de las consonantes aspiradas del mandarín (oclusivas y africadas). Si bien un gesto con la mano abierta representa de forma apropiada el rasgo acústico de la aspiración de las oclusivas, este gesto no logró mejorar el rasgo de mayor duración de la fricción de las africadas aspiradas. Los resultados del estudio nos indican que los gestos manuales pueden facilitar el aprendizaje de la pronunciación de nuevas consonantes de una L2 cuando son totalmente coherentes con las características acústicas de los sonidos a aprender. Los estudios 2 y 3 se centran en el aprendizaje de las parejas de vocales inglesas /æ/-/ʌ/ y /i/-/ɪ/, respectivamente. Se diseñaron dos tipos de gestos manuales para codificar las características articulatorias de estas vocales, de forma que tuvieran diferentes tipos de accesibilidad visual y por tanto diferentes condiciones de coherencia intermodal. Por un lado, el gesto manual que representaba la posición de apertura de los labios para /æ/-/ʌ/ era coherente con los rasgos articulatorios visibles, mientras que, el gesto manual que representaba la apertura de los labios para /i/-/ɪ/, representaba una característica de posición de los labios que no era visualmente destacada. Por otra parte, los gestos manuales que representaban la posición de la lengua para ambos pares de vocales no se referían a ninguna articulación visible. El estudio 2 revela que sólo los gestos manuales que codifican características articulatorias visibles mejoran la producción de vocales en L2 inglés /æ/-/ʌ/. Por su parte, el estudio 3 demuestra que los gestos manuales que codifican características articulatorias no visibles o visualmente no destacadas tienen efectos limitados en el aprendizaje fonológico. Además, en conjunto, los tres estudios de entrenamiento de esta tesis demuestran consistentemente que los gestos manuales no facilitan la percepción de los sonidos del habla en L2. En resumen, esta tesis destaca los beneficios de incorporar gestos manuales a los entrenamientos fonéticos de tipo multimodal para mejorar la pronunciación de L2, siempre que estos gestos manuales representen los sonidos de forma apropiada. Los resultados de esta tesis contribuyen a valorar la importancia del aprendizaje corporeizado en el contexto del aprendizaje de la pronunciación de una segunda lengua. Además, de forma crucial, los resultados de la tesis nos permiten validar en el ámbito de la adquisición fonológica uno de los principios de la teoría del enriquecimiento multimodal (Mathias & von Kriegstein, 2023), que es la coherencia entre modalidades. En otras palabras, para que un entrenamiento multimodal tenga éxito, es necesario que exista una integración multimodal óptima. Los resultados de esta tesis amplían nuestro conocimiento sobre cómo los humanos pueden aprender de forma óptima a través de múltiples modalidades. Desde una perspectiva pedagógica, esta tesis subraya la importancia de seleccionar cuidadosamente gestos manuales que sean óptimos desde el punto de vista de la coherencia entre modalidades y de integrarlos en la enseñanza de la pronunciación de una segunda lengua para optimizar el aprendizaje de la pronunciación.