Multi-agent graph learning-based optimization and its applications to computer networks

Abstract

(English) In the wake of a digital revolution, contemporary society finds itself entrenched in an era where network applications' demands surpass the capabilities of conventional network management solutions. This dissertation navigates through the intricacies of modern networked environments, where traditional management approaches are falling short due to emerging applications like augmented and virtual reality, holographic telepresence, and vehicular networks, demanding ultra-low latency and robust adaptability. These evolving networks form the backbone of modern society, sustaining numerous vital services but posing elevated complexity and operational hurdles for Internet Service Providers (ISPs) and network operators.

Amidst this complexity, the need for innovative solutions to optimize and manage today's networks is more pronounced than ever. A central proposition of this dissertation is the MAGNNETO framework, a groundbreaking Machine Learning (ML) based initiative that stands for Multi-Agent Graph Neural Network Optimization. This framework is at the heart of the endeavour to facilitate distributed optimization in networked scenarios. By integrating a Graph Neural Network (GNN) architecture into a Multi-Agent Reinforcement Learning (MARL) setting, it instigates a fully distributed optimization process and capitalizes on the inherent distributed nature of networked environments, hence potentially addressing scalability issues and facilitating real-time applications. This initiative is adaptable, offering versatility in addressing various use cases and showcasing robustness to meet the challenging requisites of real-world applications.

A substantial contribution of this work is the successful implementation of MAGNNETO across different relevant networked cases, prominently focusing on two highly impactful scenarios within the computer network field. Initially, it re-examines the pivotal issue of Traffic Engineering (TE) optimization in ISP networks. With the goal of curtailing network congestion, MAGNNETO-TE is introduced, a variant of the framework specifically devised to minimize maximum link utilization in these networks. Remarkably, this adaptation heralds a paradigm shift by equalling the performance of traditional state-of-the-art TE optimizers but at a fraction of the execution cost.

Moreover, the research explores the complex sphere of Congestion Control (CC) in Datacenter Networks (DCN), another critical service in our current digital world that is characterized by dynamic traffic patterns and stringent low-latency prerequisites. Here, MAGNNETO-CC emerges as a potent solution, offering an offline, distributed strategy that harmonizes with widely deployed CC protocols, surpassing other state-of-the-art ML-based CC methodologies and prevailing static CC configurations in performance.

Looking ahead, the dissertation also delineates potential avenues to enhance MAGNNETO, particularly addressing challenges tied to current GNN architectures (e.g. over-smoothing and over-squashing). It envisions integrating Topological Deep Learning (TDL) techniques to foster a novel, promising approach to distributed optimization that has the potential to exploit arbitrary multi-element correlations, going beyond the traditional graph domain. By addressing the urgent need for efficient network traffic storage on networks with multiple vantage points, the proposed topological-inspired methodology reveals itself as a robust ML-based baseline for lossy data compression.

In summation, this dissertation embarks on a pioneering journey to confront the elemental challenges of optimizing networked, graph-based systems. It unfurls the innovative MAGNNETO solution as a beacon of versatility and adaptability, displays its multifaceted applications, and heralds promising directions for future research, aiming to redefine the landscape of distributed network optimization and management in this digitally transformative era.

(Español) En el contexto de una revolución digital, la sociedad contemporánea se encuentra inmersa en una era donde las demandas de las aplicaciones en red superan las capacidades de las soluciones de gestión convencionales. Precisamente, esta tesis navega a través de las complejidades de los entornos de redes modernas, donde los enfoques de gestión tradicionales se están quedando cortos debido a aplicaciones emergentes como la realidad aumentada, la realidad virtual o la telepresencia holográfica, las cuales exigen ultra baja latencia y adaptabilidad dinámica. Estas redes en evolución conforman la columna vertebral de la sociedad moderna, manteniendo numerosos servicios vitales pero planteando una complejidad elevada para los Proveedores de Servicios de Internet (ISP) y los operadores de red.

En medio de esta complejidad, la necesidad de soluciones innovadoras para optimizar y gestionar las redes actuales es más evidente que nunca. Una proposición central de esta tesis es el marco MAGNNETO (Optimización Multiagente con Redes Neuronales Gráficas, en sus siglas en inglés), una iniciativa revolucionaria basada en Aprendizaje Automático (ML). Su objetivo principal es facilitar la optimización distribuida en escenarios de redes. Al integrar una arquitectura de Redes Neuronales Gráficas (GNN) en un entorno de Aprendizaje por Refuerzo Multiagente (MARL), da pie a un proceso de optimización completamente distribuido y aprovecha la naturaleza distribuida inherente de los entornos de red, abordando problemas de escalabilidad y facilitando aplicaciones en tiempo real. Esta iniciativa es adaptable, ofreciendo versatilidad para abordar varios casos de uso y mostrando robustez para cumplir con los desafiantes requisitos de aplicaciones reales.

Una contribución sustancial de este trabajo es la implementación exitosa de MAGNNETO en diferentes casos relevantes de redes, centrándose prominentemente en dos escenarios altamente impactantes en el campo de las redes de computadores. En primer lugar, se aborda el problema crucial de la optimización de la Ingeniería de Tráfico (TE) en redes de ISP. Con el objetivo de reducir la congestión de la red, se introduce MAGNNETO-TE, una variante del marco específicamente diseñada para minimizar la utilización máxima del enlace en estas redes. Notablemente, esta adaptación marca un cambio de paradigma al igualar el rendimiento de optimizadores TE tradicionales líderes en el estado del arte, pero a una fracción de su coste de ejecución.

Además, la investigación explora el complejo ámbito del Control de Congestión (CC) en Redes de Centros de Datos (DCN), otro servicio crítico en nuestro mundo digital actual caracterizado por patrones de tráfico dinámicos y estrictos requisitos de baja latencia. Aquí, MAGNNETO-CC emerge como una solución potente, ofreciendo una estrategia distribuida que armoniza con protocolos de CC ampliamente desplegados, superando a las más avanzadas metodologías basadas en ML y a las configuraciones de CC estáticas más usadas actualmente.

Mirando hacia el futuro, la tesis también delinea posibles vías para mejorar MAGNNETO, abordando especialmente los desafíos asociados a las arquitecturas GNN actuales. Visualiza la integración de técnicas de aprendizaje profundo topológico para fomentar un enfoque novedoso y prometedor para la optimización distribuida que tiene el potencial de explotar correlaciones arbitrarias entre múltiples elementos, yendo más allá del dominio de grafos tradicional. Al abordar la necesidad urgente de almacenamiento eficiente del tráfico de red, la metodología propuesta se revela como una solución robusta basada en ML para la compresión de datos con pérdida.

En resumen, esta tesis enfrenta los desafíos fundamentales de optimizar sistemas de redes basados en grafos, tratando de redefinir el panorama de la optimización y gestión distribuida de redes en esta era de transformación digital.