Space, memory, action: insights from behaviour and neurophysiology

Abstract

Human memory is fundamentally linked to experience. Traditionally, however, it has been studied in restricted tasks, under constrained experimental conditions. Understanding memory from a situated, embodied, spatial perspective constitutes not only a major scientific challenge but a primary issue in the design of future educational technologies. Indeed, recent developments in virtual and augmented reality (VR/AR) systems provide novel means to organize the interaction with digital content in fully spatial setups. A deeper insight into the behavioral determinants of memory is thus critical to build better Human-Computer Interaction (HCI) systems to visualize, explore and learn from data. In an interdisciplinary effort that integrates techniques from experimental psychology, HCI and neuroscience, this thesis presents a series of studies focused on the modulation of human long-term declarative memory by incidental and action-related factors. Our findings demonstrate the role of environmental information associated with items at encoding and retrieval on memory performance. In the brain, such spatial-context effect is observed in the early reinstatement of a combined spatial and stimulus-derived neural representation in the hippocampus during memory retrieval. Moreover, our data highlight the role of spatial context in shaping the underlying structure of long-term memory, which is observed in the strong statistical dependency of free recall recollection dynamics on the distance between items at encoding. Our results further underline the benefits of self-directed learning in mnemonic processing. We report enhanced item recognition when timings and materials of study are volitionally determined by the learner as compared to passive memorization. Physiologically, active learning is characterized by increased theta oscillations in the hippocampus, in line with several studies which have linked this frequency band to active information sampling in the rodent. A key question arising from these findings is how to apply this knowledge in the design of new learning paradigms. Based on the principles of experience, embodiment, agency during the exploration of large corpus of data, we introduce an ecology of technologies aimed at the optimization of human-data interaction in the field of Digital Heritage. Altogether, our results advance our understanding of the behavioral determinants of human long-term declarative memory and their underlying physiological substrate, suggesting scientifically-grounded guidelines for the design of novel educational paradigms.

La memoria humana está fundamentalmente ligada a la experiencia. Tradicionalmente, sin embargo, se ha estudiado en tareas restringidas, en condiciones experimentales limitadas. La comprensión de la memoria desde una perspectiva corporal, situada, espacial, constituye no sólo un desafío científico importante, sino una cuestión primordial en el diseño de las futuras tecnologías educativas. De hecho, mejoras recientes en sistemas de realidad virtual y aumentada (VR/AR) proporcionan nuevos medios para organizar la interacción con contenido digital en configuraciones completamente espaciales. Una visión más profunda de los determinantes conductuales de la memoria es, por lo tanto, crítica para construir mejores sistemas de interacción humano-ordenador (HCI) para la exploración y visualización de datos. En un esfuerzo interdisciplinario que integra técnicas de psicología experimental, HCI y neurociencia, esta tesis presenta una serie de estudios enfocados en la modulación de la memoria humana declarativa de largo plazo por factores incidentales y relacionados con la acción. Nuestros hallazgos demuestran el papel de la información ambiental asociada a elementos durante la codificación y la recuperación en el rendimiento de la memoria. En el cerebro, este efecto de contexto espacial se observa en la repetición temprana, durante el recuerdo, de una representación neuronal conjunta de contexto y estímulos en el hipocampo. Además, nuestros datos ponen de relieve el papel del contexto espacial en la configuración de la estructura de la memoria de largo plazo, lo que se observa en la fuerte dependencia estadística entre las dinámicas del recuerdo libre y la distancia entre los elementos durante la codificación. Nuestros resultados también subrayan los beneficios del aprendizaje autodirigido en el procesamiento mnemónico. Demostramos una mejor memoria de reconocimiento cuando los tiempos y materiales de estudio son determinados voluntariamente por el estudiante en comparación con la memorización pasiva. Fisiológicamente, el aprendizaje activo se caracteriza por un aumento de las oscilaciones theta en el hipocampo, en línea con varios estudios que han vinculado la banda al muestreo activo de información en el roedor. Una cuestión clave que surge de estos hallazgos es cómo aplicar este conocimiento en el diseño de nuevos paradigmas de aprendizaje. Basado en los principios de la experiencia, la corporalidad y la acción durante la exploración de datos, introducimos una ecología de tecnologías dirigidas a la optimización de la interacción hombre-datos en el campo del patrimonio digital. En conjunto, nuestros resultados avanzan nuestra comprensión de la memoria humana declarativa de largo plazo, sus determinantes conductuales y substrato fisiológico, sugiriendo guías fundamentadas científicamente para el diseño de nuevos paradigmas educativos.

La memòria humana està fonamentalment relacionada amb l’experiència. Tradicionalment, però, s’ha estudiat en tasques restringides, sota condicions experimentals limitades. La comprensió de la memòria des d’una perspectiva espacial, corpòria i de presencia constitueix no només un repte científic important, sinó una qüestió primordial en el disseny de futures tecnologies educatives. De fet, els desenvolupaments recents en sistemes de realitat virtual i augmentada (VR/AR) proporcionen nous mitjans per organitzar la interacció amb contingut digital en configuracions totalment espacials. Una visió més profunda dels determinants conductuals de la memòria és, per tant, fonamental per construir millors sistemes d’interacció humans-computadores (HCI) per visualitzar, explorar i aprendre de dades. En un esforç interdisciplinari que integra tècniques de psicologia experimental, HCI i neurociència, aquesta tesi presenta una sèrie d’estudis centrats en la modulació de la memòria humana declarativa a llarg termini, a través de factors incidentals i relacionats amb l’acció. Les nostres troballes demostren la influència del context ambiental associada a ítems en la codificació i recuperació en el rendiment de la memòria. Al cervell, aquest efecte de context espacial s’observa en la restauració primerenca, durant el record, d’una representació neuronal conjunta de context i estímuls en l’hipocamp. A més, les nostres dades ressalten la importància del paper que té el context espacial en la configuració de l’estructura de la memòria a llarg termini, que s’observa en la forta dependència estadística entre la dinàmica de recuperació lliure i la distància entre ítems durant la codificació. Els nostres resultats també subratllen els beneficis de l’aprenentatge autodirigit en el processament mnemònic. Presentem un reconeixement millorat d’elements quan els temps i materials d’estudi són determinats voluntàriament per al estudiant en comparació amb una memorització passiva. Fisiològicament, l’aprenentatge actiu es caracteritza per l’augment de les oscil·lacions de theta en l’hipocamp, en línia amb diversos estudis que han vinculat aquesta banda de freqüències amb el mostreig d’informació activa en rosegadors. Una pregunta clau que sorgeix d’aquests resultats és com aplicar aquest coneixement en el disseny de nous paradigmes d’aprenentatge. Basant-nos en els principis d’experiència, realització i agència durant l’exploració de grans corpus de dades, introduïm una ecologia de tecnologies orientada a l’optimització de la interacció entre humans i dades en el camp del patrimoni digital. En conjunt, els nostres resultats avancen la nostra comprensió dels determinants conductuals de la memòria declarativa humana a llarg termini i el seu substrat fisiològic, suggerint pautes per al disseny de nous paradigmes educatius.