Highly scalable hardware architecture for real-time execution of spiking neural networks applied to neural cognitive applications

Abstract

(English) This thesis contributes to the field of neuromorphic hardware. In particular, to the significant improvement of a scalable hardware architecture, named Hardware Emulator of Evolvable Neural Spiking Systems (HEENS), for the real-time execution of spiking neural networks (SNNs) in cognitive applications. SNNs are neural networks inspired by the biological activity of the brain, designed to process discrete temporal events, offering improved capabilities for handling temporal data as well as local plasticity, thus exhibiting greater energy efficiency compared to traditional neural networks.The HEENS architecture is implemented on several AMD (Xilinx) Zynq hardware platforms, which combine ARM processing cores with programmable logic (FPGAs), known for their high flexibility and parallelism in the execution of different neural models. One of the key achievements of this thesis is the optimization of the architecture to reduce latency, minimize resource usage, increase processing capacity, overcome previous architectural issues, and improve adaptability to various cognitive applications, such as sensory processing and pattern recognition.The results obtained can be divided into architectural contributions and experimental results in real applications. In the first part, this work improves the synaptic mapping capability, develops new system configuration mechanisms, and introduces interaction with external sensors.The enhanced system integrates an HDMI interface, demonstrating real-time visualization of neural activity and the neural and synaptic parameters of the SNN allows continuous monitoring without affecting system performance. This real-time monitoring capability has been tested in multiple experiments, where a precise representation of neural activity was observed on a 1 ms time scale, considered to be real-time, with support to other time scales, both faster or slower. The use of HEENS in physical sensor processing is highlighted, where it was proven that the architecture can adapt in real-time to changes in input signals, making it an ideal platform for applications in robotics and autonomous systems.Regarding testbenches and applications, significant results are presented in the implementation of cognitive applications using HEENS. In handwritten digit recognition, the architecture showed high accuracy using SNN models with synaptic plasticity, achieving good performance in terms of processing time and energy consumption compared to other existing solutions. Another key result is the hardware emulation of neuronal cultures, comparing the behavior of simulated neural networks in vitro, in silico, and in duris silico (physical hardware). The experiments showed that HEENS is capable of faithfully replicating the behavior and statistical properties observed in real neuronal cultures, opening new possibilities for research in neuroscience and biomedicine.Finally, the thesis concludes that the HEENS architecture not only offers a flexible and efficient environment for the research and development of SNN but also enables its implementation in real-world applications demanding real-time processing with good energy performance. The advances achieved in this work represent an important step toward the creation of next-generation scalable neuromorphic systems capable of efficiently emulating complex cognitive functions.

(Català) Aquesta tesi contribueix al camp del maquinari neuromòrfic. En particular, a la millora significativa d'una arquitectura de maquinari escalable, anomenada Hardware Emulator of Evolvable Neural Spiking Systems (HEENS), per a l'execució en temps real de xarxes neuronals de polsos (SNNs) en aplicacions cognitives. Les SNNs són xarxes neuronals inspirades en l'activitat biològica del cervell, dissenyades per processar esdeveniments temporals discrets, oferint capacitats millorades per manejar dades temporals així com emprar plasticitat local, mostrant així una major eficiència energètica en comparació amb les xarxes neuronals tradicionals.L'arquitectura HEENS s'implementa en diverses plataformes de maquinari AMD (Xilinx) Zynq, que combinen nuclis de processament ARM amb lògica programable (FPGA), conegudes per la seva alta flexibilitat i paral·lelisme en l'execució de diferents models neuronals. Un dels assoliments clau d'aquesta tesi és l'optimització de l'arquitectura per reduir la latència, minimitzar l'ús de recursos, augmentar la capacitat de processament, superar problemes d’arquitectura anteriors i millorar l'adaptabilitat a diverses aplicacions cognitives, com el processament sensorial i el reconeixement de patrons.Els resultats obtinguts es poden dividir en aportacions a l’arquitectura i resultats experimentals en aplicacions reals. En la primera part, aquest treball millora la capacitat de mapeig sinàptic, desenvolupa nous mecanismes de configuració del sistema i introdueix la interacció amb sensors externs.El sistema millorat integra una interfície HDMI, que demostra la visualització en temps real de l'activitat neuronal i els paràmetres neuronals i sinàptics de la SNN, permetent un seguiment continu del sistema sense afectar el seu rendiment. Aquesta capacitat de monitorització en temps real s'ha provat en múltiples experiments, on s’ha observat una representació precisa de l'activitat neuronal en una escala de temps d'1 ms, considerada temps real, amb suport a d’altres escales de temps, tant més ràpides com més lentes. Es destaca l'ús de HEENS en el processament de sensors físics, on s’ha demostrat que l'arquitectura pot adaptar-se en temps real als canvis en els senyals d'entrada, la qual cosa la converteix en una plataforma ideal per a aplicacions en robòtica i sistemes autònoms.Pel que fa als bancs de proves i aplicacions, es presenten resultats significatius en la implementació d'aplicacions cognitives mitjançant HEENS. En el reconeixement de dígits manuscrits, l'arquitectura va mostrar una gran precisió utilitzant models SNN amb plasticitat sinàptica, aconseguint un bon rendiment en termes de temps de processament i consum energètic en comparació amb d’altres solucions existents.Un altre resultat clau és l'emulació de maquinari de cultius neuronals, comparant el comportament de xarxes neuronals simulades in vitro, in silico i in duris silico (maquinari físic). Els experiments van demostrar que HEENS és capaç de replicar fidelment el comportament i les propietats estadístiques observades en cultius neuronals reals, obrint noves possibilitats per a la investigació en neurociència i biomedicina.Finalment, la tesi conclou que l'arquitectura HEENS no només ofereix un entorn flexible i eficient per a la investigació i desenvolupament de SNNs, sinó que també permet la seva implementació en aplicacions que exigeixen processament en temps real amb un bon rendiment energètic. Els avenços aconseguits en aquest treball representen un pas important cap a la creació de sistemes neuromòrfics escalables de nova generació capaços d'emular de manera eficient funcions cognitives complexes.

(Español) Esta tesis contribuye al campo del hardware neuromórfico. En particular, a la mejora significativa de una arquitectura de hardware escalable, denominada Hardware Emulator of Evolving Neural Systems (HEENS), para la ejecución en tiempo real de redes neuronales de impulsos (SNN) en aplicaciones cognitivas. Las SNN son redes neuronales inspiradas en la actividad biológica del cerebro, diseñadas para procesar eventos temporales discretos, ofreciendo capacidades mejoradas para manejar datos temporales y plasticidad local, lo que resulta en una mayor eficiencia energética en comparación con las redes neuronales tradicionales.La arquitectura HEENS está implementada en varias plataformas de hardware AMD (Xilinx) Zynq, que combinan nucleos de procesamiento ARM con lógica programable (FPGAs), conocidas por su alta flexibilidad y paralelismo en la ejecución de diferentes modelos neuronales. Uno de los logros clave de esta tesis es la optimización de la arquitectura para reducir la latencia, minimizar el uso de recursos, aumentar la capacidad de procesamiento, superar problemas arquitectónicos previos y mejorar la adaptabilidad a diversas aplicaciones cognitivas, como el procesamiento sensorial y el reconocimiento de patrones.Los resultados obtenidos se dividen en contribuciones en la arquitectura y resultados experimentales en aplicaciones reales. En la primera parte, este trabajo mejora la capacidad de mapeo sináptico, desarrolla nuevos mecanismos de configuración del sistema e introduce la interacción con sensores externos. El sistema mejorado integra una interfaz HDMI, que permite la visualización en tiempo real de la actividad neuronal, así como de los parámetros neuronales y sinápticos de la SNN, permitiendo un monitoreo continuo sin afectar el rendimiento del sistema. Esta capacidad de monitoreo en tiempo real se ha probado en múltiples experimentos, donde se observó una representación precisa de la actividad neuronal en una escala temporal de 1 ms, considerado tiempo real, con soporte para otras escalas temporales, tanto más rápidas como más lentas. Se destaca el uso de HEENS en el procesamiento de señales de sensores físicos, donde se demostró que la arquitectura puede adaptarse en tiempo real a los cambios en las señales de entrada, lo que la convierte en una plataforma ideal para aplicaciones en robótica y sistemas autónomos.En cuanto a los bancos de pruebas y aplicaciones, se presentan resultados significativos en la implementación de aplicaciones cognitivas utilizando HEENS. En el reconocimiento de dígitos escritos a mano, la arquitectura mostró alta precisión utilizando modelos de SNN con plasticidad sináptica, logrando un buen rendimiento en términos de tiempo de procesamiento y consumo de energía en comparación con otras soluciones existentes. Otro resultado clave es la emulación en hardware de cultivos neuronales, comparando el comportamiento de redes neuronales simuladas in vitro, in silico y in duris silico (hardware físico). Los experimentos mostraron que HEENS es capaz de replicar fielmente el comportamiento y las propiedades estadísticas observadas en cultivos neuronales reales, abriendo nuevas posibilidades para la investigación en neurociencia y biomedicina.Finalmente, la tesis concluye que la arquitectura HEENS no solo ofrece un entorno flexible y eficiente para la investigación y desarrollo de SNN, sino que también permite su implementación en aplicaciones del mundo real que requieren procesamiento en tiempo real con buen rendimiento energético. Los avances logrados en este trabajo representan un paso importante hacia la creación de sistemas neuromórficos de próxima generación capaces de emular de manera eficiente y escalable funciones cognitivas complejas.