Clusterización de aplicaciones paralelas para su planificación en entornos de cómputo multi-cluster

Abstract

Un Multi-Cluster és un entorn de còmput distribuït en el que els diferents elements de còmput, agrupats en clústers, estàn repartits en diferents departaments d’una mateixa institució. La tasca de planificar aplicacions paral•leles a un Multi-Cluster és complexa, amb nombroses línies d’investigació obertes a l’actualitat. En primer lloc, la quantitat de recursos que han de ser gestionats pot ser elevada, amés que aquests poden ser heterogenis. En segon lloc, els diferents clústers estan connectats mitjançant un enllaç de xarxa, i si les aplicacions paral•leles no són assignades adequadament, el seu rendiment es degradarà si aquests enllaços es saturen. A la literatura, les estratègies més comuns avaluen les aplicacions de forma aïllada, sense tenir en compte els requisits de la resta d’aplicacions presents a la cua d’espera del sistema. Alguns estudis han conclòs que avaluar grups d’aplicacions permet prendre decisions de planificació que poden millorar el rendiment del conjunt d’aplicacions, i millorar la utilització dels recursos.Al present treball de tesi s’aborda el problema de la planificació on-line de múltiples aplicacions paral•leles a entorns Multi-Cluster heterogenis i amb co-assignació. Es proposen noves tècniques que tracten tant l’agrupació de les aplicacions com la seva assignació, considerant les característiques dels recursos del sistema, així com els requisits del grup d’aplicacions en quant al còmput i la comunicació. S’avaluen la complexitat i el rendiment de les tècniques proposades, comparant-les amb altres tècniques utilitzades a la literatura, usant traces d’entorns reals. Amés s’estudia la seva aplicabilitat a entorns reals i es presenten possibles línies de treball futur a considerar.

Un Multi-Cluster es un entorno de cómputo distribuido en el que los diferentes elementos de cómputo, agrupados en clusters, están repartidos en diferentes departamentos de una misma institución. La tarea de planificar aplicaciones paralelas en un Multi-Cluster es compleja, con numerosas líneas de investigación abiertas en la actualidad. En primer lugar, la cantidad de recursos que han de ser gestionados puede ser elevada, y además estos pueden ser heterogéneos. En segundo lugar, los diferentes clusters están conectados mediante un enlace de red, y si las aplicaciones paralelas no son asignadas adecuadamente, su rendimiento se degradará si estos enlaces se saturan. En la literatura, las estrategias más comunes evalúan las aplicaciones de forma aislada, sin tener en cuenta los requisitos de las otras aplicaciones presentes en la cola de espera del sistema. Algunos estudios han concluido que evaluar grupos de aplicaciones permite tomar decisiones de planificación que pueden mejorar el rendimiento del conjunto de aplicaciones, y mejorar la utilización de los recursos. En el presente trabajo de tesis se aborda el problema de la planificación on-line de múltiples aplicaciones paralelas en entornos Multi-Cluster heterogéneos y con co-asignación. Se proponen nuevas técnicas que tratan tanto la agrupación de las aplicaciones como su asignación, considerando las características de los recursos del sistema, así como los requisitos del grupo de aplicaciones en cuanto al cómputo y la comunicación. Se evalúan la complejidad y el rendimiento de las técnicas propuestas, comparándolas con otras técnicas utilizadas en la literatura, usando trazas de entornos reales. Se estudia además su aplicabilidad en entornos reales y se presentan posibles líneas de trabajo futuro a considerar.

A Multi-Cluster is a distributed computing environment in which the different computing elements, grouped in clusters, are spread across different departments of a same institution. The scheduling of parallel applications on a Multi-Cluster is complex. In first place, the amount of resources to be managed can be high, and also, those resource can be heterogeneous. Secondly, the different clusters are connected through a network link. If the parallel applications are not allocated correctly, its performance will be degraded if those links become saturated. On the literature, the most common strategies evaluate the applications in an isolated way, without taking into account the requirements of the other applications present on the system’s waiting queue. Some studies have concluded that to evaluate groups of applications allows taking scheduling decissions that could improve the performance of the set of applications, and to improve resource usage. On the present thesis work, the problem of on-line scheduling of multile parallel applications on heterogeneous Multi-Cluster environments with co-allocation, is addressed. New strategies are proposed which treat both application grouping and its allocation, as well as the set of applications processing and communication requierements. The complexity and the performance of the proposed strategies are evaluated, comparing them with other strategies from the literature, using real environment races. Furthermore, its applicability on real envionments is studied, and also possible future work to consider is presented.