Audiovisual prosody and verbal irony

Abstract

This dissertation takes an integrated approach to the study of audiovisual cues to verbal irony. While pragmatic studies have mainly focused on the role of the discourse context in irony detection, little is known about the role of prosodic and gestural cues in this process.

The thesis includes four experimental studies—each one described in a separate chapter—addressing a set of questions using a variety of experimental designs. The first one is a case study of a professional comedian and reveals (a) that ironic utterances display a higher density of prosodic and gestural markers than non-ironic utterances; and (b) that gestural markers can appear both temporally aligned with prosodic prominence but can also appear independently, as gestural codas. The second study includes two experiments: (a) a production experiment eliciting spontaneous ironic speech which reveals that in non-professional spontaneous speech, too, speakers employ a higher density of prosodic and gestural markers in ironic compared to non-ironic utterances; and (b) a perception experiment on the contribution of gestural codas to the detection of verbal irony, which shows that speakers detect ironic intent significantly better when post-utterance gestural codas are present than when they are not. Following up on this idea, the third study presents three perception experiments on the relative contribution of contextual vs. prosodic vs. gestural cues to verbal irony understanding. Overall, results of the three experiments emphasize the role of contrast effects in irony perception. The first experiment shows that (a) listeners detect irony more accurately when they have access to both prosodic and gestural cues than when they just rely on prosodic information, (b) that listeners rely more strongly on gestural information than on prosodic information, and (c) that listeners rely more heavily on gestural cues than on prosodic or contextual ones for detecting irony. Finally, the fourth study addresses the contribution of prosodic and gestural cues to children’s early understanding of verbal irony, showing that mismatched multimodal cues of emotion facilitate the detection of irony by 5-year-old children.

Altogether, this dissertation shows that both prosodic and gestural markers of irony aid in guiding the hearer in the interpretation of an utterance by providing overt clues about the assumptions, emotions and attitudes held by the speaker. Together with recent studies on the general pragmatic effects of prosody and gesture, the claim is that audiovisual markers of irony are strong triggers of implicature strength which help decode speech intentions in interaction. In addition, the dissertation presents novel empirical evidence of the stronger effects of multimodal—and especially gestural—cues in comparison with contextual cues, both in adult and child populations. This crucial finding leads us to claim that the study of prosodic and gestural cues to verbal irony should be at the core of any pragmatic or psycholinguistic account of verbal irony production and comprehension.

Esta tesis aborda el estudio de las marcas audiovisuales de la ironía verbal desde una perspectiva integral. Los estudios pragmáticos se han centrado principalmente en investigar el papel del contexto discursivo en la detección de la ironía, pero poco se sabe sobre el rol que desempeñan las marcas prosódicas y gestuales en este proceso. La presente tesis incluye cuatro estudios experimentales —cada uno de ellos incluido en un capítulo separado— que abordan diferentes preguntas de investigación utilizando varios diseños experimentales. El primero es un estudio de caso sobre un cómico profesional y muestra, en primer lugar, que los enunciados irónicos presentan una mayor densidad de marcadores prosódicos y gestuales que los enunciados no irónicos y, segundo, que los marcadores gestuales pueden aparecer alineados temporalmente con la prominencia prosódica, pero también de forma independiente, como codas gestuales. El segundo estudio incluye dos experimentos. Uno de producción —diseñado para obtener discurso irónico espontáneo—, cuyos resultados confirman que también en habla espontánea los hablantes no profesionales emplean una mayor densidad de marcadores prosódicos y gestuales cuando son irónicos en comparación con cuando no lo son; y, en segundo lugar, un experimento de percepción que investiga la contribución de las codas gestuales a la detección de la ironía verbal y cuyos resultados muestran claramente cómo la intención irónica se detecta significativamente mejor cuando los hablantes tienen acceso a codas gestuales que cuando no la tienen. El tercer estudio de esta tesis contiene tres experimentos de percepción que examinan cómo el contexto, las marcas prosódicas y las marcas gestuales contribuyen a la comprensión de la ironía verbal. En general, los resultados de los tres experimentos subrayan la importancia que los “efectos de contraste” tienen en el proceso de detección de la ironía. El primero muestra que los oyentes detectan la ironía con más precisión cuando tienen acceso a las marcas prosódicas y gestuales de manera conjunta que cuando solo tienen acceso a la información prosódica; el segundo, que la información visual resulta más convincente que la información prosódica a la hora de detectar la ironía; y, por último, el tercer experimento muestra que los oyentes emplean preferentemente las marcas gestuales por encima de las prosódicas e incluso de las contextuales a la hora de detectar la ironía. Finalmente, el cuarto estudio investiga cómo los niños desarrollan la capacidad de detectar la ironía verbal a través de las marcas prosódicas y gestuales, y los resultados muestran que las marcas multimodales facilitan la detección de la ironía en niños desde los 5 años de edad. En conjunto, esta tesis muestra que tanto los marcadores prosódicos como los gestuales contribuyen de manera significativa a la comprensión de la ironía verbal, guiando al oyente en la interpretación del enunciado mediante el suministro de pistas sobre las suposiciones, las emociones y las actitudes del ironizador. Siguiendo la línea de algunos estudios recientes sobre los efectos pragmáticos de la prosodia y el gesto, los resultados de los experimentos de esta tesis muestran que los marcadores audiovisuales de la ironía son potentes desencadenadores del proceso inferencial necesario para decodificar las intenciones del hablante en las interacciones comunicativas. Además, esta tesis presenta evidencia empírica de la gran incidencia que tienen las marcas multimodales —y especialmente de las gestuales— en la detección de la ironía verbal en comparación con las marcas contextuales, tanto en la población adulta como en la infantil. Este hallazgo fundamental nos lleva a afirmar que el estudio de las señales prosódicas y gestuales de la ironía debería considerarse una parte integral fundamental de cualquier explicación pragmática o psicolingüística sobre la producción y comprensión de la ironía verbal.

Aquesta tesi adopta una perspectiva integral a l'estudi de les marques audiovisuals en la ironia verbal. Els estudis pragmàtics s'han centrat principalment a investigar el paper del context discursiu en la detecció de la ironia, però se sap poc sobre el rol que juguen les marques prosòdiques i gestuals en aquest procés. La tesi inclou quatre estudis experimentals —cadascun d’ells descrit en un capítol separat— que aborden diferents preguntes de recerca i fan servir diversos dissenys experimentals. El primer és un estudi de cas sobre que analitza el discurs d’un còmic professional i mostra, en primer lloc, que els enunciats irònics presenten una major densitat de marcadors prosòdics i gestuals que els enunciats no irònics; i, en segon lloc, que els marcadors gestuals poden aparèixer temporalment alineats amb la prominència prosòdica, però també de forma independent, en el que anomenem “codes gestuals”. El segon estudi inclou dos experiments. Un de producció, dissenyat per obtenir discurs irònic espontani i els resultats del qual confirmen que en parla espontània els parlants no professionals també empren una major densitat de marcadors prosòdics i gestuals quan són irònics en comparació a quan no ho són; i, en segon lloc, un experiment de percepció sobre la contribució de les codes gestuals a la detecció de la ironia verbal, els resultats del qual demostren que la ironia es detecta millor quan els parlants tenen accés a codes gestuals que quan no en tenen. El tercer estudi presenta tres experiments de percepció que examinen com el context, les marques prosòdiques i les marques gestuals contribueixen a la comprensió de la ironia verbal. En general, els resultats dels tres experiments subratllen la importància dels efectes de contrast en el procés de detecció de la ironia. El primer experiment mostra que els oients detecten la ironia amb més precisió quan tenen accés a les marques prosòdiques i gestuals alhora, comparat amb quan només tenen accés a la informació prosòdica; el segon, que la informació visual és més poderosa que la informació prosòdica a l’hora de detectar la ironia, i, finalment, el tercer experiment mostra que els oients empren preferentment les marques gestuals per sobre de les prosòdiques o les contextuals a l’hora de detectar la ironia. Finalment, el quart estudi investiga com els infants aprenen a comprendre la ironia verbal a través de les marques prosòdiques i gestuals, i els resultats mostren que les marques multimodals faciliten la detecció de la ironia des dels 5 anys d'edat. En conjunt, aquesta tesi mostra que tant els marcadors prosòdics com els gestuals contribueixen a la comprensió de la ironia verbal, tot guiant l'oient en la interpretació de l’enunciat mitjançant el subministrament de pistes sobre els supòsits, les emocions i les actituds del parlant irònic. Seguint la línia d’estudis recents sobre els efectes pragmàtics de la prosòdia i el gest, els resultats dels experiments d’aquesta tesi mostren que els marcadors audiovisuals de la ironia són potents factors que desencadenen el procés inferencial necessari per a descodificar les intencions del parlant en les interaccions comunicatives. A més, aquesta tesi presenta evidència empírica de la gran incidència que tenen les marques multimodals —i especialment de les gestuals— en la detecció de la ironia verbal, en comparació amb les marques contextuals, tant en població adulta com en població infantil. Aquesta troballa fonamental reforça la idea que l'estudi dels aspectes prosòdics i gestuals hauria de ser una part integral fonamental de qualsevol explicació pragmàtica o psicolingüística sobre la producció i comprensió de la ironia verbal.