Multimodalitat i dixi d’espai en joves catalans multilingües

Abstract

Aquesta tesi se centra en l’estudi del fenomen de la dixi, concretament de la dixi d’espai en català, castellà i anglès, des d’una perspectiva multimodal que té en compte tant la part verbal com la part no verbal d’aquest fenomen.

La dixi és concebuda, des d’un punt de vista lingüístic, com un fenomen que permet d’observar la connexió entre trets estructurals del llenguatge i dominis contextuals específics, particularment, en el cas que ens ocupa, en l’eix espacial. Aquesta connexió ve donada pel fet que certs mecanismes no verbals actuen també com a recursos díctics en molts registres i situacions corrents en la llengua oral, i és per aquesta raó que són necessaris estudis sobre la relació entre aquells per tal d’incrementar el nostre coneixement sobre la sincronització i la coordinació dels senyals multimodals, els quals són una font de comunicació constant en el nostre dia a dia.

Aquesta tesi ha estat possible gràcies al fet de disposar del corpus Corpus CAP (Corpus Audiovisual Plurilingüe). Es tracta d’un corpus multimodal –es disposa del so i la imatge gravada–, multilingüe –en català, castellà i anglès– i multitextual –textos narratius, descriptius, expositius, instructius i argumentatius– que inclou l’enregistrament de 12 informants, cadascuna de les quals va produir 30 textos (10 en cada llengua) fins a conformar un total de 360 textos. Els textos instructius d’aquest corpus –en total, 36 textos– van permetre la integració de l’anàlisi dels elements verbals de la dixi d’espai amb la dels seus corresponents elements no verbals, tenint en compte també les diferències entre les tres llengües del corpus.

Aquesta tesi acompleix quatre objectius específics:

En primer lloc, s’analitzen quins són els elements que en català, en castellà i en anglès gramaticalitzen la dixi d’espai en el nostre corpus.

En segon lloc, es posen en relació aquests elements díctics verbals amb el seu context, és a dir, amb els trets no verbals de la situació comunicativa, de tal manera que s’observen uns patrons gestuals generals per a uns díctics d’espai determinats amb uns valors semàntics determinats.

En tercer lloc, a partir de la divisió en diferents fases dels diversos gestos, s’analitza la relació entre la parla i la gestualitat dels díctics d’espai en termes de coordinació temporal. D’altra banda i estretament relacionat amb aquest objectiu, es posen a prova dues teories sobre la relació entre el gest i la parla: la teoria interactiva de la parla i el gest (Furuyama 2002) i la teoria balística (Levelt 1985; De Ruiter 1998).

Per últim, s’estableixen les semblances i les diferències, tant pel que fa als patrons gestuals com pel que fa a la coordinació temporal, entre els tres grups d’informants del corpus i les diferents llengües que s’usen, tenint en compte que són la L1, L2 i L3 de les informants. De la mateixa manera, es té en compte també les diferències que hi ha causades per l’estil personal de les informants.

Pel que fa a la metodologia, cada un dels textos del corpus va ser recollit amb dues càmeres de vídeo digitals i va ser emmagatzemat per, posteriorment, ser analitzat mitjançant el programa ELAN (EUDICO Language Annotator), una eina d’anotació creada pel Max Planck Institute for Psycholinguistics que permet crear, editar, visualitzar i cercar anotacions per a dades audiovisuals. Amb aquesta eina es marcaren tant els díctics com els seus corresponents trets no verbals, i a partir dels díctics d’espai trobats prèviament en els documents de text, es cercaren les imatges que hi corresponien i s’hi afegiren totes aquelles informacions rellevants per a la descripció i anàlisi dels patrons gestuals. També es segmentaren els gestos en diferents fases (Kendon 2004).

The aim of this thesis is to analyze the relationship between certain verbal and nonverbal deictic resources in the production of oral text by multilingual speakers, specifically of instructive texts.

Deixis is usually conceived from the linguistic point of view as a phenomenon that allows the connection between structural language features and specific contextual domains, particularly in personal, temporal, and spatial axes. Non-verbal mechanisms also act as deictic resources in many registers and situations in oral language. However, studies of the combination of these different kinds of mechanisms are needed to improve our knowledge of the synchronization of these multimodal signals.

The data used in this research come from a multilingual, multimodal corpus (CAP, Corpus Audiovisual Plurilingüe, University of Barcelona). This corpus contains 360 oral texts by twelve informants (all of them Catalan-Spanish bilinguals with an intermediate level of proficiency in English) who were interviewed in three individual sessions, in a different language each session (Catalan, Spanish and English).

These are the main objectives of the thesis:

1) To analyze which are the elements that act as space deictic markers in our corpus, in Catalan, Spanish and English.

2) To look at the relationship between these deictic elements and their context, namely, the non-verbal features in communication, in order to reveal if there are any patterns.

3) Through the division of the gestures in different parts, to study the relantionship between verbal and non-verbal deictic elements in terms of time coordination.

4) To stablish the similarities and differences within the three groups of speakers (Catalan speakers, Spanish speakers and no predominant language speakers) and the three languages they use.

Regarding the methodology, each text was recorded by two digital cameras and saved; afterwards, they were analyzed using ELAN (EUDICO Language Annotator), a professional tool for the creation of complex annotations on video and audio resources. With this tool the verbal and non-verbal deictics were annotated and any relevant information was noted down in order to describe and analyze the non-verbal patterns. Gestures were also divided in different phases (Kendon 2004) so that the time relationship between gesture and verbal deictics could be studied.