Predictive and Distributed Routing Balancing for High Speed Interconnection Networks

Abstract

En los clusters de altas prestaciones, los requerimientos actuales de las comunicaciones de las aplicaciones, como el patrón de tráfico, el volúmen de comunicaciones entre otras, pueden cambiar a lo largo del tiempo y son difíciles de predecir. Estas necesidades generalmente exceden o no se corresponden con los recursos disponibles realmente, lo cual conlleva a una situación de desbalanceo de los recursos, congestión en la red, reducción del throughput y un incremento considerable en los valores de latencia de los mensajes. Todo esto conlleva una degradación general del rendimiento de todo el sistema computacional. Los estudios de las aplicaciones paralelas demuestran que estas tienen un comportamiento repetitivo. Además, esta repetitividad puede detectarse y caracterizarse a través de unas fases representativas. Este trabajo propone un Algoritmo de Encaminamiento Predictivo y Distribuido (PR-DRB). Este nuevo método propone controlar la congestión de la red de manera gradual basándose en la expansión controlada de caminos, la distribución del tráfico, la repetitividad en las aplicaciones paralelas y el encaminamiento adaptativo especulativo; de manera a mantener los valores de latencia controlados. PR-DRB monitorea la latencia de los mensajes en los encaminadores y guarda las mejores soluciones adaptativas encontradas a una situación de congestión. Esto se realiza de manera a re aplicar estas mejores soluciones de manera rápida ante situaciones similares futuras. Fueron desarrollados varios experimentos que generen congestión de tráfico a fin de evaluar el rendimiento de la propuesta, y se han logrado mejoras importantes en el rendimiento global del sistema.

In high performance clusters, current parallel application communication needs, such as traffic pattern, communication volume, etc., change along time and are difficult to know in advance. Such needs often exceed or do not match available resources causing resource use imbalance, network congestion, throughput reduction and message latency increase, thus degrading the overall system performance. Studies on parallel applications show repetitive behavior that can be characterized by a set of representative phases. This work presents a Predictive and Distributed Routing Balancing (PR-DRB) technique, a new method developed to gradually control network congestion, based on paths expansion, traffic distribution, applications pattern repetitiveness and speculative adaptive routing, in order to maintain low latency values. PR-DRB monitors messages latencies on routers and saves the found solutions to congestion, to quickly respond in future similar situations. Traffic congestion experiments were conducted in order to evaluate the performance of the method, and improvements were observed.