Implementation of unsupervised learning mechanisms on OxRAM devices for neuromorphic computing applications

Abstract

La present tesi recull els resultats de la recerca orientada a aportar una metodologia de caracterització elèctrica, modelat i simulació per a dispositius de commutació resistiva, quan es consideren aplicacions de computació neuromòrfica basades en aprenentatge no-supervisat, àmpliament demandades en l’actualitat com a solució de baix consum a les següents problemàtiques: per una banda, la limitació de la velocitat en la transferència de dades entre les unitats de memoria i processament que té lloc en les arquitectures de computador convencional (von Neumann). Per altra banda, la necessitat creixent de sistemes computacionals que realitzin tasques de classificació, anàlisi i inferència de quantitats massives de dades (per exemple, per a aplicacions de Big Data), junt amb tasques de detecció de patrons, predicció de comportaments i presa de decisions (aplicacions enfocades a Internet-of-Things, entre d’altres). En concret, s’investiguen els dispositius Oxide-based Resistive Random Access Memory (OxRAM) com a candidats per a la implementació electrònica de sinapsis en xarxes neuronals artificials físiques, altrament anomenades arquitectures neuromòrfiques. En primer lloc, es presenta una introducció teòrica a les diferents tecnologies electròniques amb propietats de commutació resistiva i memòria no volàtil, junt amb les figures de mèrit de cadascuna d’aquestes, tan demostrades com projectades segons l’International Roadmap for Devices and Systems de 2018. Amb aquest primer capítol, es pretén proveïr al lector de les bases necessàries per a poder comprendre els resultats exposats en els següents capítols. A continuació i mitjançant un enfocament bottom-up dividit en tres capítols, es tracten els procediments i resultats de la caracterització elèctrica i modelat dels dispositius estudiats per a la implementació de sinapsis electròniques analògiques. Com a punt de partida, es verifica experimentalment que els dispositius compleixen els requisits necessaris per a l’aplicació indicada. Al següent capítol, es demostren de forma experimental dues regles d’aprenentatge fonamentals per a poder executar algorismes d’aprenentatge autònoms (no supervisats) sobre una arquitectura neuromòrfica basada en els dispositius analitzats. Les regles d’aprenentatge demostrades permeten que els dispositius emulin procesos i mecanismes d’aprenentatge reportats en el camp de les neurociències, tals com la dependència temporal de la plasticitat, o el fenòmen de condicionament clàssic, per al qual es replica l’experiment dels gossos de Pavlov, permetent establir els fonaments de l’aprenentatge associatiu en dos o més dispositius. Per a concloure aquesta part relativa a les sinapsis electròniques analògiques, es proposa l’adaptació hardware d’un algorisme d’aprenentatge no supervisat. L’algorisme dissenyat permet que el sistema organitzi les seves connexions de forma autònoma i no supervisada, de tal manera que, un cop entrenada, la xarxa neuronal física mostri una organització topogràfica a la seva capa de sortida, que és característica de les regions del cervell biològic dedicades al processament de la informació sensorial. A més, el disseny del sistema permet concatenar diverses xarxes neuronals per a poder executar tasques cognitives de naturalesa més complexa, tals com l’associació de diferents atributs a un mateix concepte, permetent la computació jeràrquica. L’últim capítol està dedicat a l’estudi de dispositius OxRAM quan es considera un mode d’operació de baix consum, per a la implementació de sinapsis binàries. De nou, amb una perspectiva bottom-up, es parteix de la caracterització elèctrica i modelat dels dispositius, que en aquest cas constitueixen un xip neuromòrfic. Es verifica una regla d’aprenentatge probabilística, que després s’empra en un algorisme d’aprenentatge no supervisat dissenyat per a la inferència i predicció de seqüències periòdiques. Per acabar, es discuteixen les diferències i similituds entre els dos algorismes descrits a la tesi, i es proposa com es poden fer servir cadascun d’aquests de forma conjunta i complementària.

The present thesis compiles the results of the research oriented to provide a methodology for the electrical characterization, modeling and simulation of resistive switching devices, taking into consideration neuromorphic applications based on unsupervised learning This is widely demanded today as a low-consumption solution to the following issues: on the one hand, the speed limitations that take place in data transfer between the memory and processing units that takes place in conventional computer architectures. On the other hand, the growing need for low-power computational systems that perform tasks of classification, analysis and inference of massive amounts of data (for example, for Big Data applications), together with pattern recognition, prediction of behaviors and decision-making tasks (for applications focused on Internet-of-Things, among others).

Specifically, Oxide-based Resistive Random Access Memory (OxRAM) devices are investigated as candidates for the electronic implementation of synapses in physical artificial neural networks, also referred to as neuromorphic architectures. First of all, a theoretical introduction to the different electronic technologies with resistive switching and non-volatile memory properties is provided. The figures of merit demonstrated and projected of each one of them are indicated according to the International Roadmap for Devices and Systems of 2018. With this first chapter, the intention is to provide the reader with the necessary background required to understand the results outlined in the following chapters.

Next, and by using a bottom-up approach divided into the three following chapters, the procedures and results of the electrical characterization and modeling of the OxRAM devices studied for the implementation of analog electronic synapses are discussed. As a starting point, it is experimentally verified that the devices meet the requirements for the indicated application. In the following chapter, two fundamental learning rules are demonstrated experimentally in order to permit the execution of an autonomous (unsupervised) learning algorithm on a neuromorphic architecture based on the tested devices. The proven learning rules allow the devices to emulate certain processes and learning mechanisms reported in the neuroscience field, such as spike-timing dependent plasticity, or the classical conditioning phenomenon, for which Pavlov’s dog experiment is replicated as to establish the foundations of associative learning, to be implemented between two or more synaptic devices. To conclude this part related to analog electronic synapses, the hardware adaptation of an unsupervised learning algorithm is proposed. The designed algorithm provides the system with the property of self-organization, in such a way that, once trained, the physical neuronal network shows a topographical organization in its output layer, which is characteristic of the sensory processing areas of the biological brain. Furthermore, the proposed design and algorithm allow the concatenation of several neuronal networks, in order to execute cognitive tasks of a more complex nature, such as the association of different attributes to the same concept, related to hierarchical computation.

The last chapter is dedicated to the study of OxRAM devices when a low-power mode is considered, for the implementation of binary synapses. Again using a bottom-up perspective, the chapter begins with the electrical characterization and modeling of the devices, which in this case constitute a neuromorphic chip. A probabilistic learning rule is demonstrated, which is then used in an unsupervised on-line learning algorithm designed for the inference and prediction of periodic temporal sequences. Finally, the differences and similarities between the two algorithms described in the thesis are discussed, and a proposal is made as to how each of these can be used in a joint and complementary way.