Auditory processing around actions: Evidence from psychophysics, electroencephalography, and pupillometry

Abstract

[eng] The ability to distinguish self-generated stimuli from those caused by external sources is critical for all biological organisms. Although substantial work has been done in this domain, mainly showing attenuated perception and sensory processing for self-generated information, several issues remain unknown, mainly related to the direction of the action effects on behavioural and sensory responses, the nature of the effects, but also the influence of other factors that are often confounded with self-generation.

The present thesis attempts to elucidate the mechanisms underlying the effects of actions on auditory processing. In three original studies, we examined the self-generation effects from the angles of behavioural responses, namely perceptual processing and memory encoding, and basic physiology, namely electrophysiological responses and neuromodulatory processes (i.e., measured with pupillometry). Study I tested for possible interactions between actions and stimulus intensity on sound detection and loudness discrimination, while examining which aspect of perception is modulated (sensitivity or bias). Study II addressed the effects of cued actions on sensory processing and memory encoding of concurrent, but unpredictable, sounds, while exploring for the first time the involvement of neuromodulatory systems in the action-induced modulations of auditory responses. Study III disentangled self-generation and predictability – two factors that have been conflated in previous work – and assessed how they interact in shaping auditory responses, subcortical neuromodulation, and memory encoding of sounds. Finally, Study II and Study III also tested for possible links between memory encoding, sensory attenuation, and subcortical neuromodulation.

Related to the behavioural findings, the present thesis tapped onto two main research lines, namely low-level perceptual processing and memory encoding. Study I showed that actions interact with stimulus intensity on perceptual bias, but not sensitivity measures. Study II and Study III showed that actions modulate memory performance, but the direction of the effects depends on predictability confounds and the type of action. Specifically, when actions are cued and afford temporal predictability, memory performance drops and relates to the magnitude of the attenuation effects for self-generated sounds (Study II). In contrast, in the absence of predictability confounds and when action alternatives are provided, the mere presence of an action enhances memory performance of sounds, but this enhancement does not relate to the suppression effects (Study III).

Related to the effects of actions on sensory processing, the present thesis assessed the specificity of the action-induced attenuation effects and clarified the role of neuromodulatory processes in sensory suppression. Study II showed that cued actions attenuated sensory responses and increased pupil diameter despite the absence of a predictive action-sound relationship, but sensory suppression and subcortical neuromodulation were not related. Study III employed a predictable and an unpredictable session where both self- and externally- generated sounds were equally predictable in identity, timing, and probability of occurrence and were presented shortly after or farther away from the action or cue, respectively. With short delays, predictability mattered since attenuation was only obtained in the predictable session. With longer delays, self-generation and predictability no longer interacted: N1- attenuation was driven by self-generation only, while Tb- and P2-attenuation were driven by predictability only. Crucially, pupil diameter increased during actions, interacted with

predictability, and was linked to the Tb-attenuation when the effects were strongest (i.e., with fully contingent action-sound relationship and short action-sound delays).

Taken together, the present thesis disentangled the contribution of factors other than self- generation in modulating perception, memory, and neurophysiological responses for self- generated inputs (i.e., sound intensity, predictability, and action-sound delay), and showed that actions trigger a cascade of stimulus-specific and unspecific processes – presumably driven by subcortical neuromodulatory processes – that collaboratively orchestrate auditory processing and memory encoding.

[cat] El que percebem no és una simple reproducció dels senyals que arriben als nostres òrgans sensorials, sinó que interpretem el món a través de la nostra interacció amb l’entorn. Un exemple d'aquesta interacció és el com percebem, processem i memoritzem les conseqüències sensorials de les nostres accions. Tot i que treballs previs han mostrat que el processament sensorial esta atenuat per a la informació autogenerada en comparació a la informació generada externament, hi ha diverses qüestions respecte al processament diferencial d'estímuls autogenerats que continuen sent debatudes. En el nucli d'aquest debat es troben les qüestions relacionades amb la direcció dels efectes de l’acció en el comportament (empobriment o millora de la percepció i la memòria), el processament sensorial (cancel·lació o augment de les respostes sensorials), la naturalesa dels efectes (prediccions motores específiques d'estímul o mecanismes no específics) i la influència d'altres factors que sovint es confonen amb l'autogeneració (p. ex., la intensitat de l'estímul i la predictibilitat).

Aquesta tesi tracta d'elucidar els mecanismes subjacents als efectes de les accions en el processament auditiu. En tres estudis, hem examinat els efectes d'autogeneració des dels angles de les respostes conductuals, en concret, el processament perceptiu i la codificació de la memòria, i la fisiologia bàsica, en concret, les respostes electrofisiològiques i els processos neuromodulatoris. L’estudi I va explorar possibles interaccions entre les accions i la intensitat d'estímul en la detecció del so i la discriminació de la sonoritat, mentre examinava quin aspecte de la percepció està sent modulat (sensibilitat o biaix). L’estudi II va abordar els efectes de les accions en el processament sensorial i la memòria dels sons concurrents, però impredictibles, mentre explorava per primera vegada la implicació dels sistemes neuromoduladors en les modulacions induïdes per l’acció. L’estudi III aïlla l'autogeneració i la predictibilitat – dos factors que han estat barrejats prèviament– i avalua com modulen interactivament les respostes auditives, la neuromodulació subcortical i la memòria. Finalment, els estudis II i III també van provar possibles relacions entre la memòria, l'atenuació sensorial i la neuromodulació subcortical.

Les troballes conductuals han contribuït al coneixement respecte al processament perceptiu de baix nivell i la memòria. L’estudi I va demostrar que les accions interaccionen amb la intensitat de l'estímul en el biaix perceptiu, però no en les mesures de sensibilitat. Els estudis II i III van demostrar que les accions modulen la memòria, però la direcció dels efectes depèn de les contribucions de la predictibilitat i del tipus d'acció. Quan les accions van guiades i proporcionen predictibilitat temporal, el rendiment de la memòria cau i correlaciona amb la magnitud dels efectes d'atenuació per als sons autogenerats. En canvi, quan la contribució de la predictibilitat es controla i es proporcionen alternatives d'acció, l’acció millora la memòria, però aquesta millora no correlaciona amb la supressió.

Respecte als efectes de les accions en el processament sensorial, aquesta tesi ha avaluat l'especificitat dels efectes d'atenuació i ha aclarit el paper dels processos neuromoduladors en la supressió sensorial. L’estudi II va demostrar que les accions guiades atenuaven les respostes sensorials i augmentaven el diàmetre de la pupil·la malgrat l'absència d'una relació predictiva entre so i acció, però la supressió sensorial i la neuromodulació subcortical no estaven relacionades. L’estudi III va emprar sons autogenerats i externament generats que eren igualment predictibles o impredictibles en identitat, temps i probabilitat d'ocurrència i que es presentaven a prop o lluny de l’acció. Amb retards curts, l'atenuació només es va obtenir per a sons predictibles. Amb retards llargs, l'autogeneració i la predictibilitat no interaccionaven: l'autogeneració atenuava la N1, mentre que la predictibilitat atenuava Tb i P2. Crucialment, el diàmetre de la pupil·la va

augmentar durant les accions, va interaccionar amb la predictibilitat, i va corelacionar amb la atenuació de Tb quan els efectes eren més forts (amb predictibilitat i retards curts).

En conjunt, aquesta tesi desembrolla la contribució de factors més enllà de l'autogeneració (com ara intensitat de so, predictibilitat i retard entre so i acció) en la modulació de la percepció, la memòria i les respostes neurofisiològiques per a estímuls autogenerats, i demostra que les accions desencadenen una cascada de processos estímul-específics i no específics -presumiblement impulsats per processos neuromoduladors subcorticals- que col·laboren per a orquestrar el processament auditiu i la codificació de memòria.