Learning mechanisms of uncertainty and neuromodulation

Abstract

Learning systems are, by default, adaptive. Experience shapes the parame- ters of artificial systems, as well as it changes the connectivity of biological brains. Nonetheless, our attempts to create artificial learning systems have shown that continuous learning leads to overfitting recent data at the ex- pense of the older. While the field compensated this loss by segregating training from exploitation phases, this comes at the cost of sacrificing the adaptation to uncertain or new situations. How do animals robustly forage for food, find their lairs or flee from predators in ever-changing conditions and, sometimes unfamiliar situations? This dissertation proposes that our brains flexibly change between learning modes, favoring exploitation of previous knowledge or the incorporation/adaptation of new one. From the perspective of fine-tuning perception, this thesis presents a framework to unveil some of the mechanisms that biology can use to learn from uncertain situations rapidly. First, we identify two components of rapid learning by exploring how learning speed can be modulated not just explicitly (i.e., changing a learning rate parameter) but also implicitly (i.e., changing network dynamics) by the modulation of recurrent inhibitory networks. Studying the interactions of cholinergic neuromodulation with local and global inhibition allows us to differentiate between two operation modes that switch between robust exploitation of existing representations and flexibly exploring potential alternatives. To disambiguate the learning mechanisms behind this learning mode switching by a neuromodulator like acetylcholine, we take a step back and propose a neural model to estimate the input uncertainty. The resulting dynamical system minimizes the squared error relative to the input variance, as a proxy of how much an input was unexpected. We show how this kind of system uses two forms of inhibitory populations to estimate the input, and modulate the learning speed, in synthetic datasets and machine learning benchmarks. Altogether, this model illustrates a neural microcircuit, capable of flexibly incorporating new evidence when inputs are unexpected, facilitating learn- ing speed and providing a mechanism to externally regulating learning speed implicitly.

Els sistemes d’aprenentatge son, per defecte, adaptatius. L’experiència dona forma als paràmetres dels sistemes artificials de la mateixa manera que canvia la connectivitat dels cervells biològics. Tot i aixı́, els intents per crear sistemes artificials d’aprenentatge ens ha ensenyat que l’aprenentatge continuat porta a el sobre-ajust de les dades més recents, al cost del més antic. Com poden els animals buscar menjar de forma robusta, trobar els seus caus o fugir dels depredadors? Aquesta tesi proposa que els cervells canvien de forma flexible entre modes d’aprenentatge, afavorint l’explotació del coneixement ja adquirit o la incorporació o adaptació amb nou coneixement. Des de la perspectiva del refinament de la percepció, aquesta tesi pre- senta un marc per desvelar alguns dels mecanismes que utilitza la biologia per a aprendre de situacions amb incertesa, de forma ràpida. Primer, iden- tifiquem dues components que permeten aprendre més ràpid, explorant com la velocitat d’aprenentatge pot ser modulada no només de forma explı́cita (i.e., modulant un paràmetre de velocitat d’aprenentatge) sinó també implı́cita (i.e., canviant les dinàmiques de la xarxa) a través de la modulació de les xarxes inhibitories amb recurrència. Mitjançant l’estu- di de les interaccions entre la neuromodulació colinèrgica i la inhibició local i global del cervell podem diferenciar entre dos modes d’operació que canvien entre l’explotació robusta de les representacions existents i l’exploració flexible de les potencials alternatives. Per a desambiguar els mecanismes d’aprenentatge que fan això possible, fem un pas enrere i proposem un model neuronal per estimar l’incertesa de la informació d’entrada a la xarxa. Aixı́ mostrem com un sistema com aquest requereix de l’us de dos poblacions inhibitòries diferents que prediuen les dades d’entrada i modulen la velocitat d’aprenentatge, tant en tasques sintètiques com benchmarks del camp d’aprenentatge automàtic (Machine Learning). En resum, aquest model esbossa un microcircuit neuronal capaç d’incor- porar nova evidència de forma flexible, quan les dades son inesperades, facilitant la velocitat d’aprenentatge i oferint un mecanisme per regular de forma externa però implicita, aquesta velocitat.