The Role of cross-modal semantic interactions in real-world visuo-spatial attention

Abstract

In our everyday life we must effectively orient attention to relevant objects and events in multisensory environments. The impact of cross-modal links for attention orienting to spatial and temporal cues has been widely described. However, real-life scenarios provide a rich web of semantic information through the different sensory modalities. Despite some previous studies have revealed an impact of crossmodal sematic correspondences, the results are mixed with regard to the conditions in which audiovisual semantic congruence can influence attention orienting. Furthermore, the vast majority of the research on crossmodal semantics used simple, stereotyped displays that are far from achieving ecological validity. The present thesis attempts to close this gap by addressing the role of identity-based crossmodal relationships on attention orienting in scenarios closer to real-world conditions. To this end, the experiments presented here attempt to extrapolate and generalize previous findings in more realistic environments by using naturalistic and dynamic stimuli, and address the theoretical questions of task relevance and perceptual load. The outcome of the three empirical studies in this thesis lead to several conclusions. First, that the effect of audio-visual semantic congruence on attention is not strictly automatic. Instead, they suggest that some top-down processing is necessary for audio-visual semantic congruence to trigger spatial orienting. The second conclusion to emerge is that crossmodal semantic congruence can guide attention under goal-directed conditions in visual search, and also under free observation in complex and dynamic scenes. Third, that perceptual load is a limiting factor for these interactions. These findings extend previous knowledge on object-based crossmodal interactions with simple stimuli and clarify how audio-visual semantically congruent relationships play out in realistic scenarios.

En nuestra vida cotidiana debemos orientar efectivamente la atención a objetos y eventos relevantes en entornos multisensoriales. El impacto que tienen los enlaces intermodales en la orientación de la atención a señales espaciales y temporales ha sido ampliamente descrito. Sin embargo, los escenarios de la vida real proporcionan una rica red de información semántica a través de las diferentes modalidades sensoriales. A pesar de que algunos estudios previos han revelado un impacto de las correspondencias semánticas entre modalidades, los resultados se mezclan con respecto a las condiciones en que la congruencia semántica audiovisual puede influir en la orientación de la atención. Además, la gran mayoría de la investigación sobre semántica intermodal utilizó representaciones simples y estereotipadas que están lejos de alcanzar la validez ecológica. La presente tesis intenta llenar esta brecha al abordar el papel que las relaciones intermodales basadas en la identidad tienen en la orientación de la atención en escenarios más cercanos a las condiciones del mundo real. Con este fin, los experimentos presentados aquí intentan extrapolar y generalizar hallazgos previos en entornos más realistas mediante el uso de estímulos naturales y dinámicos, y abordar cuestiones teóricas como la relevancia de la tarea y la carga perceptiva. El resultado de los tres estudios empíricos de esta tesis condujo a varias conclusiones. Primero, que el efecto de la congruencia semántica audiovisual en la atención no es estrictamente automático. En cambio, sugieren que es necesario un procesamiento de arriba hacia abajo para que la congruencia semántica audiovisual desencadene en la orientación espacial. La segunda conclusión que surge es que la congruencia semántica intermodal puede guiar la atención en condiciones de búsqueda visual dirigida a un objetivo, y también bajo observación libre en escenas complejas y dinámicas. Tercero, la carga perceptiva es un factor limitante para estas interacciones. Estos hallazgos amplían el conocimiento previo sobre las interacciones intermodales basadas en objetos usando estímulos simples y aclaran cómo las relaciones audiovisuales semánticamente congruentes se desarrollan en escenarios realista