Compact Machine Learning Systems with Reconfigurable Computing

Abstract

[spa] De manera similar a nosotros los humanos, las m aquinas pueden aprender a partir de los datos e incluso superarnos en ciertas tareas espec cas, lo cual es conocido como rendimiento sobrehumano. El proceso por el que una m aquina construye conocimiento a partir de los datos se conoce como Aprendizaje Autom atico, que no es nada nuevo, dicho t ermino fue acu~nado por Arthur Samuel en 1959. Este enfoque di ere de la Inteligencia Arti cial tradicional basada en el conocimiento (los llamados sistemas expertos), que fueron la opci on predominante durante la d ecada de 1980, ya que superaron a los enfoques de aprendizaje estad stico de entonces. Sin animo de quitar m eritos a los pioneros del campo del Aprendizaje Autom atico gracias a quienes hoy somos capaces de construir m aquinas inteligentes de ultima generaci on de forma relativamente sencilla, cabe destacar que una de las razones por las que el campo del Aprendizaje Autom atico no se populariz o y se convirti o en la opci on preferida hasta los a~nos 90, superando a los sistemas expertos, fue la falta de potencia computacional disponible para entrenar modelos complejos que trataran con grandes cantidades de datos. De hecho, es razonable pensar que el aumento de la potencia computacional ha sido una parte clave de la transici on a lo que hoy conocemos como Aprendizaje Profundo, un subcampo del Aprendizaje Autom atico que se ocupa de las Redes Neuronales Arti ciales Profundas. Los modelos de Aprendizaje Profundo han demostrado ser capaces de superar a los humanos en ciertas tareas. Quiz a el ejemplo m as notable de los ultimos a~nos sea el acontecimiento en el que la Inteligencia Arti cial AlphaGo, desarrollada por Google DeepMind, derrot o tres veces seguidas al jugador de Go n umero uno del mundo, Ke Jie, en una partida de Go de tres juegos. Aunque el evento marc o un antes y un despu es en la historia de la Inteligencia Arti cial, desde el punto de vista del consumo energ etico de cada participante, no fue una batalla justa. La potencia del cerebro de Jie es de unos 20W mientras que la disipada por AlphaGo es de unos 170kW, es decir, el consumo de energ a de AlphaGo ser a unas 8500 veces mayor si ambos jugadores emplearan el mismo tiempo de juego. >Ser a posible repetir un avance similar con una potencia disipada del orden de 20W? Es probable que no veamos este cambio a corto plazo. En este contexto, el objetivo de la tesis no es tan ambicioso en cuanto a mejorar la e - ciencia energ etica o intentar desarrollar un sistema de Aprendizaje Profundo distribuido tan grande. En este trabajo, los modelos propuestos son mucho m as peque~nos y el objetivo es contribuir a la exploraci on de arquitecturas de hardware simpli cadas altamente/totalmente paralelas hechas a medida y no basadas en una arquitectura de von Neumann, lo cual conlleva potenciales bene cios de e ciencia energ etica. En particular, se han propuesto varios dise~nos de FPGA que implementan el proceso de inferencia de varios modelos de Aprendizaje Autom atico y se han probado en un conjunto de bases de datos de referencia. Las implementaciones FPGA incluyen dos modelos de computaci on de reservorio basados en aritm etica de punto jo de baja precisi on y una Red Neuronal de Funci on de Base Radial basada en Computaci on Estoc astica. Adem as, se ha simulado y evaluado una Red Neuronal Convolucional basada en dos variantes diferentes de computaci on estoc astica para diferentes precisiones de bits, ambas entrenadas utilizando un enfoque de cuantizaci on consciente del entrenamiento.

[cat] De manera similar nosaltres els humans, les m aquines poden aprendre a partir de les dades i ns i tot superar-nos en certes tasques espec ques, el qual es conegut com a rendiment sobrehum a. El proc es pel qual una m aquina construeix coneixement a partir de les dades es coneix com Aprenentatge Autom atic, que no es res de nou, aquest terme ja va ser encunyat per Arthur Samuel en 1959. Aquest enfocament difereix de la Intel·lig encia Arti cial tradicional basada en el coneixement (els anomenats sistemes experts), que van ser l'opci o predominant durant la d ecada de 1980, ja que van superar als enfocaments d'aprenentatge estad stic de llavors. Sense anim de treure m erits als pioners de el camp de l'Aprenentatge Autom atic gr acies als quals avui som capa cos de construir m aquines intel·ligents d' ultima generaci o de forma relativament senzilla, cal destacar que na de les raons per les que el camp de l'Aprenentatge Autom atic no es va popularitzar i es va convertir en l'opci o preferida ns als anys 90, superant als sistemes experts, va ser la falta de pot encia computacional disponible per entrenar models complexos que tractessin amb grans quantitats de dades. De fet, es raonable pensar que l'augment de la pot encia computacional ha estat una part clau de la transici o al que avui coneixem com Aprenentatge Profund, un subcampo de l'Aprenentatge Autom atic que s'ocupa de les Xarxes Neuronals Arti cials Profundes. Els models d'Aprenentatge Profund han demostrat ser capa cos de superar els humans en certes tasques. Potser l'exemple m es notable dels ultims anys sigui l'esdeveniment en el qual la Intel·lig encia Arti cial AlphaGo, desenvolupada per Google DeepMind, va derrotar tres vegades seguides a el jugador de Go n umero u de l'm on, Ke Jie, en una partida de Go de tres jocs. Encara que l'esdeveniment va marcar un abans i un despr es en la hist oria de la Intel·lig encia Arti cial, des del punt de vista de l'consum energ etic de cada participant, no va ser una batalla justa. La pot encia del cervell de Jie es d'uns 20W mentre que la dissipada per AlphaGo es d'uns 170kW, es a dir, el consum d'energia de AlphaGo seria unes 8500 vegades m es gran si els dos jugadors empressin el mateix temps de joc. Seria possible repetir un avan c similar amb una pot encia dissipada de l'ordre de 20W? Es probable que no vegem aquest canvi a curt termini. En aquest context, l'objectiu de la tesi no es tan ambici os pel que fa a millorar l'e ci encia energ etica o intentar desenvolupar un sistema d'Aprenentatge Profund distribu t tan gran. En aquest treball, els models proposats s on molt m es petits i l'objectiu es contribuir a l'exploraci o d'arquitectures de maquinari simpli cades altament/totalment paral·leles fetes a mida i no basades en una arquitectura de von Neumann, la qual cosa comporta potencials bene cis d'e ci encia energ etica. En particular, s'han proposat diversos dissenys de FPGA que implementen el proc es d'infer encia de diversos models d'Aprenentatge Autom atic i s'han provat en un conjunt de bases de dades de refer encia. Les implementacions FPGA inclouen dos models de computaci o de reservori basats en aritm etica de punt x de baixa precisi o i una Xarxa Neuronal de Funci o de Base Radial basada en Computaci o Estoc astica. A m es, s'ha simulat i avaluat una Xarxa Neuronal convolucional basada en dues variants diferents de computaci o estoc astica per diferents precisions de bits, ambdues entrenades utilitzant un enfocament de quantitzaci o conscient de l'entrenament.

[eng] Similar to us humans, machines can learn from data and even outperform us in certain speci c tasks (a.k.a. superhuman performance). The process by which a machine builds knowledge from data is known as Machine Learning, which is nothing new, this term was already coined by Arthur Samuel in 1959. This approach di ers from traditional knowledge-based Arti cial Intelligence (the so called expert systems), which were the predominant choice during the 1980s since they outperformed statistical learning approaches back then. Without trying to take away merits to the pioneers of the Machine Learning eld thanks to whom today we are able to build state-of-the-art intelligent machines in a relatively easy way, one of the reasons why the Machine Learning eld did not become popular and the preferred choice until the 1990s, outperforming expert systems, was the lack of available computational power to train complex models dealing with large amounts of data. In fact, it is reasonable to think that the increase in computational power has been a key part of the transition to what we know today as Deep Learning, a sub eld of Machine Learning dealing with Deep Arti cial Neural Networks. Deep Learning models have been shown to be capable of surpassing humans in certain tasks. Perhaps the most notable example in the recent years is the event in which the AlphaGo arti cial intelligence developed by Google DeepMind defeated the world's number one Go player Ke Jie three times in a row in a three-game Go match. Although the event marked a before and after in the history of Arti cial Intelligence, from the point of view of the energy consumption of each participant, it was not a fair battle. Jie's brain works with 20W and AlphaGo's thermal power dissipation is about 170kW, i.e. AlphaGo's energy consumption would be about 8500 times higher if both players spent the same playing time. Would it be possible to repeat a similar breakthrough with a power consumption in the order of 20W? We are probably not going to see this change anytime soon. In this context, the objective of the thesis is not nearly as ambitious in terms of improving energy e ciency or attempting to develop such a big distributed Deep Learning system. In this work, the proposed models are much smaller and the aim is to contribute to the exploration of simpli ed highly/fully parallel (custom) non von Neumann hardware architectures with potential energy e ciency bene ts. In particular, several FPGA designs implementing the inference process of several Machine Learning models have been proposed and tested on a set of benchmark datasets. The FPGA implementations include two Reservoir Computing models based on low precision xed-point arithmetic and a Radial Basis Function Neural Network based on Stochastic Computing. Additionally, a Convolutional Neural Network based on two di erent Stochastic Computing variants has been simulated and evaluated for di erent bit precision, both trained using a custom Training Aware Quantization approach.