Attention and Dual Coding Theory: an Interaction Model Using Subtitles as a Paradigm

Abstract

Dins l’entorn del projecte europeu HBB4ALL presentem dos experiments relacionats amb el subtitulat. Actualment, estem immersos en un context on el consum dels continguts multimèdia disponibles està migrant cap a una reproducció “a demanda” que es du a terme mitjançant un seguit de dispositius diferents. Amb aquest context en ment, explorem les diferències que la llengua original del contingut genera i les diferències que el consum en diferents dispositius influeixen en la forma que tenim de processar aquest contingut. Al primer experiment, explorem la relació entre l’atenció, els subtítols i el processament de la informació. Es presenten als participants dos conjunts de clips, un amb l’àudio en anglès (una llengua coneguda pels participants) i l’altre en noruec (una llengua totalment desconeguda) per tal d’explorar l’efecte que es produeix a l’hora de llegir subtítols (en polonès, llengua materna). Tal i com es prediu a la Teoria de la Codificació del Doble Canal (Dual Coding Theory) (Paivio, 1986), s’ha trobat que la possibilitat d’accedir a la mateixa informació per per múltiples canals (en el cas que la llengua de l’àudio és coneguda pels participants) facilita en gran mesura la comprensió del contingut. A més, la distribució de l’atenció es veu alterada també en les dues condicions experimentals. La hipòtesi proposada és que el mecanisme de distribució de recursos i el mecanisme d’avaluació de la demanda (Kahneman, 1973), són els principals causants de les diferències trobades en el processament de la informació dels continguts. El segon experiment és de caire més aplicat. Es duu a terme una comparació entre diferents dispositius per tal d’explorar com la lectura i el processament de la informació es modifica segons la plataforma. Per tal d’avaluar aquestes diferències, es presenten un conjunt de clips en un idioma desconegut pels participants mentre es registra la comprensió mitjançant qüestionaris i el moviment ocular mitjançant eye tracking. No es trobarem diferències significatives entre els dispositius pel que fa a comprensió, pel que es conclou que no sembla ser necessari adaptar els subtítols a les diferents mides de pantalla, posat que el nostre sistema de processament de la informació es capaç de compensar aquesta diferència. La conseqüent discussió considera que ambdós resultats són rellevants per a la comprensió del nostres sistemes atencionals i d’aprenentatge. En ambdues situacions experimentals el nostre sistema cognitiu es capaç d’activar els mecanismes necessàris per compensar les diferències provocades en les dues condicions experimentals.

We have conducted two experiments on subtitling and its presentation as part of the HBB4ALL European project. Nowadays, the tendency for content consumption is shifting towards an “on demand” dynamic performed on an array of different devices. With that in mind, not only did we explore the effect the audio language has on the way we process content but also the ways in which it is affected when using different devices to consume content. In the first experiment we explored the relation between attention, subtitles and information processing. We presented the participants with two sets of clips, one with audio in English and the other with audio in Norwegian in order to explore the effect on the reading of subtitles (in Polish). As predicted by the Dual Coding Theory (Paivio, 1986) multiple channel information processing is found to be a strong facilitator towards better performance in content comprehension. Moreover, attention resource distribution is also found to be altered by the experimental conditions. Resource allocation and demand evaluation mechanisms (Kahneman, 1973) are considered to be the main causes of those differences. In the second experiment the focus is more applied. A comparison was made between information processing on different devices in order to explore how reading and processing behaviour changes from platform to platform. To assess whether or not there are differences between the different platforms, we presented a set of clips in an unknown language and compared the results of comprehension and visual questionnaires as well as eye tracking readings. No significant differences were found across devices in content comprehension. It is not necessary to adapt subtitles to fit these devices as we are capable of compensating for any differences in their characteristics. The following general discussion considers the findings of the two experiments to be relevant to the understanding of our attentional and learning system. In both experimental situations, our cognitive processes are able to retrieve the necessary mechanisms to compensate for the differences made in the experimental manipulation.