Attention and Dual Coding Theory: an Interaction Model Using Subtitles as a Paradigm

dc.contributor
Universitat Autònoma de Barcelona. Departament de Psicologia Bàsica, Evolutiva i de l'Educació
dc.contributor.author
Oliver Moreno, Andreu
dc.date.accessioned
2017-08-31T09:21:37Z
dc.date.available
2017-08-31T09:21:37Z
dc.date.issued
2017-04-05
dc.identifier.isbn
9788449071546
en_US
dc.identifier.uri
http://hdl.handle.net/10803/405246
dc.description.abstract
Dins l’entorn del projecte europeu HBB4ALL presentem dos experiments relacionats amb el subtitulat. Actualment, estem immersos en un context on el consum dels continguts multimèdia disponibles està migrant cap a una reproducció “a demanda” que es du a terme mitjançant un seguit de dispositius diferents. Amb aquest context en ment, explorem les diferències que la llengua original del contingut genera i les diferències que el consum en diferents dispositius influeixen en la forma que tenim de processar aquest contingut. Al primer experiment, explorem la relació entre l’atenció, els subtítols i el processament de la informació. Es presenten als participants dos conjunts de clips, un amb l’àudio en anglès (una llengua coneguda pels participants) i l’altre en noruec (una llengua totalment desconeguda) per tal d’explorar l’efecte que es produeix a l’hora de llegir subtítols (en polonès, llengua materna). Tal i com es prediu a la Teoria de la Codificació del Doble Canal (Dual Coding Theory) (Paivio, 1986), s’ha trobat que la possibilitat d’accedir a la mateixa informació per per múltiples canals (en el cas que la llengua de l’àudio és coneguda pels participants) facilita en gran mesura la comprensió del contingut. A més, la distribució de l’atenció es veu alterada també en les dues condicions experimentals. La hipòtesi proposada és que el mecanisme de distribució de recursos i el mecanisme d’avaluació de la demanda (Kahneman, 1973), són els principals causants de les diferències trobades en el processament de la informació dels continguts. El segon experiment és de caire més aplicat. Es duu a terme una comparació entre diferents dispositius per tal d’explorar com la lectura i el processament de la informació es modifica segons la plataforma. Per tal d’avaluar aquestes diferències, es presenten un conjunt de clips en un idioma desconegut pels participants mentre es registra la comprensió mitjançant qüestionaris i el moviment ocular mitjançant eye tracking. No es trobarem diferències significatives entre els dispositius pel que fa a comprensió, pel que es conclou que no sembla ser necessari adaptar els subtítols a les diferents mides de pantalla, posat que el nostre sistema de processament de la informació es capaç de compensar aquesta diferència. La conseqüent discussió considera que ambdós resultats són rellevants per a la comprensió del nostres sistemes atencionals i d’aprenentatge. En ambdues situacions experimentals el nostre sistema cognitiu es capaç d’activar els mecanismes necessàris per compensar les diferències provocades en les dues condicions experimentals.
en_US
dc.description.abstract
We have conducted two experiments on subtitling and its presentation as part of the HBB4ALL European project. Nowadays, the tendency for content consumption is shifting towards an “on demand” dynamic performed on an array of different devices. With that in mind, not only did we explore the effect the audio language has on the way we process content but also the ways in which it is affected when using different devices to consume content. In the first experiment we explored the relation between attention, subtitles and information processing. We presented the participants with two sets of clips, one with audio in English and the other with audio in Norwegian in order to explore the effect on the reading of subtitles (in Polish). As predicted by the Dual Coding Theory (Paivio, 1986) multiple channel information processing is found to be a strong facilitator towards better performance in content comprehension. Moreover, attention resource distribution is also found to be altered by the experimental conditions. Resource allocation and demand evaluation mechanisms (Kahneman, 1973) are considered to be the main causes of those differences. In the second experiment the focus is more applied. A comparison was made between information processing on different devices in order to explore how reading and processing behaviour changes from platform to platform. To assess whether or not there are differences between the different platforms, we presented a set of clips in an unknown language and compared the results of comprehension and visual questionnaires as well as eye tracking readings. No significant differences were found across devices in content comprehension. It is not necessary to adapt subtitles to fit these devices as we are capable of compensating for any differences in their characteristics. The following general discussion considers the findings of the two experiments to be relevant to the understanding of our attentional and learning system. In both experimental situations, our cognitive processes are able to retrieve the necessary mechanisms to compensate for the differences made in the experimental manipulation.
en_US
dc.format.extent
111 p.
en_US
dc.format.mimetype
application/pdf
dc.language.iso
eng
en_US
dc.publisher
Universitat Autònoma de Barcelona
dc.rights.license
L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-nd/4.0/
dc.rights.uri
http://creativecommons.org/licenses/by-nc-nd/4.0/
*
dc.source
TDX (Tesis Doctorals en Xarxa)
dc.subject
Atenció
en_US
dc.subject
Atención
en_US
dc.subject
Attention
en_US
dc.subject
Teoría de la codificació dual
en_US
dc.subject
Teoria de la codificación dual
en_US
dc.subject
Dual coding theory
en_US
dc.subject
Subtitols
en_US
dc.subject
Subtítulos
en_US
dc.subject
Subtitles
en_US
dc.subject.other
Ciències de la Salut
en_US
dc.title
Attention and Dual Coding Theory: an Interaction Model Using Subtitles as a Paradigm
en_US
dc.type
info:eu-repo/semantics/doctoralThesis
dc.type
info:eu-repo/semantics/publishedVersion
dc.subject.udc
159.9
en_US
dc.contributor.authoremail
andreu.oliver@uab.cat
en_US
dc.contributor.director
Soler Vilageliu, Olga,
dc.embargo.terms
cap
en_US
dc.rights.accessLevel
info:eu-repo/semantics/openAccess


Documents

aom1ded1.pdf

1.893Mb PDF

Aquest element apareix en la col·lecció o col·leccions següent(s)