Análisis y modelización de los procesos de aprendizaje profundo

Abstract

El objetivo de esta tesis es el diseño, implementación y validación experimental de soluciones software paralelas para el aprendizaje automático mediante redes neuronales profundas (RNPs). Estos estudios abordan tres vertientes que se han derivado de las conclusiones obtenidas durante la investigación. Primeramente se desarrolla un entorno de simulación para RNPs válido para la implementación de estrategias que mejoren el rendimiento del entrenamiento (como el uso de esquemas de paralelismo) y apto para su uso en plataformas distribuidas. Seguidamente se trabajan métodos para estimar los tiempos de ejecución de los procesos relativos a las RNPs. Se presentan dos modelos que permiten predecir el coste de cada operación involucrada y se realiza, en base a estos modelos, un estudio de rendimiento y escalabilidad del entrenamiento. Finalmente, se analiza en profundidad la primitiva AllReduce, estudiando los algoritmos de implementación, proponiendo modelos alternativos que mejoran su ajuste y analizando su idoneidad para cada escenario.

The aim of this thesis is to design, implement and experimentally validate parallel software solutions for machine learning using deep neural networks (DNN). This study addresses three aspects derived from the results obtained during the research. First, we develop a simulation environment for DNNs that is valid to implement strategies that improve training performance (such as the use of parallelism schemes) and is suitable for use on distributed platforms. Next, we develop methods for estimating the execution times of DNN-related processes. We present two models for predicting the cost of each operation involved and, based on these models, we perform a training scalability study. Finally, we perform an in-depth analysis of the AllReduce primitive, studying the implementation algorithms, proposing alternative models that improve its fit, and analysing its suitability for each scenario.