Planificación y gestión de recursos en la ejecución de workflows científicos en entornos híbridos GPGPU

Abstract

Els workflows han esdevingut un esquema d’organització de les tasques àmpliament utilitzat per al processament de dades científiques. Aquesta tesis presenta varies tècniques de planificació i de gestió de recursos per a l'execució de workflows científics en entorns de computació híbrids. En els darrers anys, els processadors de les targetes gràfiques (GPUs) han esdevingut un recurs programable que s'ha introduït en els sistemes de còmput com a acceleradors per a executar, a un cost econòmic baix, altres tasques que no sigui el processament gràfic. Un àmbit on s'han introduït ha estat el camp del processament d'imatges mèdiques, degut a que l'alta ressolució i tamany de les imatges suposen un alt cost en recursos i temps de computació. Aquest cas es dóna amb FreeSurfer, que és un conjunt d'eines que defineixen workflows de processament de ressonàncies magnètiques. La introducció d'algunes implementacions en GPU en les etapes del workflow de processament de ressonàncies estructurals des de les versions 5 i 5.3, ha suposat una important reducció del temps d'execució per una sola instància (execució serial) del workflow, al voltant d'un 60-70% en funció de la ressonància d'entrada. Quan volem executar múltiples instàncies del workflow en un mateix node de còmput ens trobem que les GPUs resulten ser coll d'ampolla per la saturació de la memòria de la targeta. Per superar aquestes limitacions s'introdueixen al llarg d'aquest treball vàries tècniques de planificació i gestió dels recursos compartits, en especial la GPU. En el primer estudi es presenta la proposta de planificació que denominem inter-workflow, amb una taula de restriccions que defineix un percentatge d’utilització de recursos per cada etapa i que serveix per prendre les decisions de planificació. Aquesta planificació s’aplica en la gestió de les dependències de dades i d’accés als recursos per al cas d’us definit pel workflow complet d’anàlisi estructural de FreeSurfer. En l’execució de múltiples instancies, aplicant aquesta planificació obtenim una millora de 6,79x respecte l'execució serial. Per altra banda, en el segon estudi realitzat, el cas d’us és el subflow de FreeSurfer per a la reconstrucció volumètrica. Amb la planificació que denominem per lots s'introdueixen mecanismes de control de combinacions de les tasques de les diferents instàncies a executar, i obtenim un guany de 10,48x respecte l'execució serial. Aquesta millora suposa un 27% respecte la planificació inter-workflow aplicada en el mateix workflow i les mateixes dades d’entrada.

Scientific workflows have become a framework of working arrangements, widely used for scientific data processing. This thesis presents several scheduling and resource management techniques for the execution of scientific workflows on hybrid computing environments. In recent years, the processors of the graphics cards (GPU) have become a programmable resource that has been introduced into computer systems as accelerators to run, in a low cost way, other tasks than graphics processing. One area where they have been introduced is the medical imaging field, because the high resolution and image size represent a high cost in terms of resources and computation time. This is the case of FreeSurfer, which is a set of tools which define Magnetic Resonance (MRIs) processing workflows. The introduction of some implementations on the GPU in stages the of the processing workflow from structural resonances from versions 5 and 5.3, has resulted in a major reduction of the execution time in one workflow instance (serial execution), representing about 60-70% based on the input resonance. When we run multiple instances of the FreeSurfer workflow in the same computing node we find that GPUs become a bottleneck for the saturation of the GPU memory. To overcome these limitations several techniques are introduced throughout this work for planning and management of shared resources, especially the GPU. We call the first proposal inter-workflow scheduling. It uses a list of restrictions that define the utilization rate of resources for each stage and is used to make planning decisions. This planning is applied in the management of data dependencies and resource access for the use case defined by the full FreeSurfer structural analysis workflow . In the execution of multiple instances, applying this planning achieves 6,79x speedup with respect to the serial execution. Moreover, in the second study, the use case is the FreeSurfer volumetric reconstruction workflow. The batch scheduling that we propose, introduce control mechanisms for combining the execution of tasks from different instances. It obtains a speedup of 10,48x versus the serial exeuction This represents a 27% improvement compared to the inter-worklfow planning applied in the same workflow and to the same input data.