Análisis y modelización de los procesos de aprendizaje profundo

Autor/a

Catalán Carbó, Mar ORCID

Director/a

Quintana-Orti, Enrique S. ORCID

Dolz, Manuel F. ORCID

Tutor/a

Quintana-Orti, Enrique S. ORCID

Data de defensa

2024-03-22

Pàgines

183 p.



Departament/Institut

Universitat Jaume I. Escola de Doctorat

Programa de doctorat

Programa de Doctorat en Informàtica

Resum

El objetivo de esta tesis es el diseño, implementación y validación experimental de soluciones software paralelas para el aprendizaje automático mediante redes neuronales profundas (RNPs). Estos estudios abordan tres vertientes que se han derivado de las conclusiones obtenidas durante la investigación. Primeramente se desarrolla un entorno de simulación para RNPs válido para la implementación de estrategias que mejoren el rendimiento del entrenamiento (como el uso de esquemas de paralelismo) y apto para su uso en plataformas distribuidas. Seguidamente se trabajan métodos para estimar los tiempos de ejecución de los procesos relativos a las RNPs. Se presentan dos modelos que permiten predecir el coste de cada operación involucrada y se realiza, en base a estos modelos, un estudio de rendimiento y escalabilidad del entrenamiento. Finalmente, se analiza en profundidad la primitiva AllReduce, estudiando los algoritmos de implementación, proponiendo modelos alternativos que mejoran su ajuste y analizando su idoneidad para cada escenario.


The aim of this thesis is to design, implement and experimentally validate parallel software solutions for machine learning using deep neural networks (DNN). This study addresses three aspects derived from the results obtained during the research. First, we develop a simulation environment for DNNs that is valid to implement strategies that improve training performance (such as the use of parallelism schemes) and is suitable for use on distributed platforms. Next, we develop methods for estimating the execution times of DNN-related processes. We present two models for predicting the cost of each operation involved and, based on these models, we perform a training scalability study. Finally, we perform an in-depth analysis of the AllReduce primitive, studying the implementation algorithms, proposing alternative models that improve its fit, and analysing its suitability for each scenario.

Paraules clau

Redes neuronales; Entrenamiento distribuido; Modelos de rendimiento; Comunicación AllReduce; Neural networks; Distributed training; Performance models; Communication AllReduce

Matèries

004 - Informàtica

Àrea de coneixement

Enginyeria

Nota

Doctorat internacional

Documents

2024_Tesis_Catalán Carbó_Mar.pdf

6.231Mb

 

Drets

L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-nd/4.0/
L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-nd/4.0/

Aquest element apareix en la col·lecció o col·leccions següent(s)