The Role of intonation and facial gestures in conveying interrogativity

Abstract

This thesis investigates the role that different aspects of audiovisual prosody play in the production and perception of interrogativity. To this end, two types of statements and two types of questions are analyzed: information and contrastive focus statements (IFS, CFS), and information-seeking and counterexpectational questions (ISQ, CEQ). A multimodal approach is thus followed for the study of interrogativity, by means of a variety of production and perception experiments, from games specifically designed to elicit spontaneous productions of specific discourse categories to the analysis of event-related potentials. The first study reveals that pitch range differences are the main intonational cue used by Central Catalan speakers in order to distinguish between IFS and CEQ. The second study shows that such intonational contrasts are encoded automatically in the auditory cortex. Both studies strengthen the argument that pitch range features need to be represented descriptively at the phonological level. The third study shows that facial gestures are the most influential elements that Catalan listeners rely on to decide between CFS and CEQ interpretations, though bimodal integration with acoustic cues is necessary in order for perceptual processing to be accurate and fast. The fourth study reveals that Catalan and Dutch speakers mainly rely on language-specific auditory differences in order to detect IFS and ISQ, but also that the presence of gaze increases the identification of an utterance as a question. Finally, this study demonstrates that a concentration of several response-mobilizing cues in a sentence is positively correlated with the perceivers’ ratings of these utterances as interrogatives.

Aquesta tesi investiga el rol que exercixen diversos aspectes de la prosòdia audiovisual en la producció i la percepció de la interrogativitat. A tal efecte, s’analitzen dos tipus d’oracions declaratives (de focus informatiu i de focus contrastiu; IFS i CFS) i dos tipus d’oracions interrogatives (de cerca d’informació i d’antiexpectació; ISQ i CEQ). Així, la tesi estudia la interrogativitat des d’una perspectiva multimodal, amb diferents experiments de producció i de percepció que van des de jocs especialment dissenyats per elicitar produccions espontànies de determinades categories discursives fins a l’anàlisi de potencials evocats cerebrals. El primer estudi revela que els parlants de català central empren principalment el camp tonal per distingir entre IFS i CEQ. El segon, que el còrtex auditiu codifica automàticament tal contrast entonatiu. Ambdós estudis conclouen que cal explicitar les propietats del camp tonal quan es descriu fonològicament l’entonació de la llengua. El tercer estudi mostra la major influència dels gestos facials a l’hora de distingir CFS i CEQ en català, així com la necessitat d’integrar perceptivament les variables visuals i les acústiques perquè la idenficació siga acurada i ràpida. El quart estudi revela com els parlants de català i de neerlandès es basen principalment en les diferències auditives de les seues respectives llengües a l’hora de distingir IFS i ISQ, però també com el fet que el parlant mire el seu interlocutor incrementa la interpretació interrogativa d’una oració. Finalment, l’estudi demostra que la presència de diversos indicis mobilitzadors de resposta en una oració està positivament correlacionada amb les interpretacions interrogatives que els oients en fan.