Scheduling for Interactive and Parallel Applications on Grids

Abstract

La computación grid constituye uno de los campos más prometedores de los sistemas informáticos. La próxima generación de aplicaciones científicas se beneficiará de una infraestructura de gran escala y multi organizacional que ofrece más potencia de cómputo de la que puede ofrecer cualquier institicuón de forma individual. Los sistemas grid necesitan planificadores de alto nivel que gestionen de forma adecuada los recursos distribuídos en varias organizaciones. Estos sistemas de gestión de recursos grid deben tomar decisiones de planificación sin realmente poseer los recursos y sin tener control total sobre las aplicaciones que en dichos recursos se ejecutan, introduciendo nuevos desafíos a la hora de realizar la planificación de aplicaciones. Aunque los sistemas grids consisten de muchos recursos y las aplicaciones enviados a estos sistemas pueden aprovechar estos recursos usándolos de forma coordinada, la mayoría de los sistemas de gestión de recursos se han centrado en la ejecución de aplicaciones secuenciales, convirtiendo el grid en un gran sistema multi-sitio donde las aplicaciones se ejecutan de forma batch.<br/>Sin embargo, en esta tesis nos hemos centrado en un tipo de aplicaciones que ha recibido poca atención hasta el momento: paralelas e interactivas. Las aplicaciones interactivas requieren la posibilidad de iniciar en un futuro inmediato su ejecución. Además, durante su ejecución es necesario proveer de mecanismos que establezcan un canal de comunicación entre el usuario y la aplicación. En el caso de las aplicaciones paralelas, es necesaria la co-asignación, es decir garantizar la disponibilidad simultánea de los recursos cuando la aplicación necesite usarlos. En este trabajo proponemos una nueva arquitectura para la ejecución de estos tipos de aplicaciones y una implementación de la misma: el gestor de recursos CrossBroker. Esta arquitectura incluye mecanismos que permiten la co-asignación de aplicaciones paralelos y la interacción de los usuarios con las aplicaciones en ejecución. Adicionalmente, con la introducción de un mecanismo de multiprogramación, proporcionamos un inicio de aplicaciones rápido incluso en escenarios de alta ocupación de los recursos.

Grid computing constitutes one of the most promising fields in computer systems. The next generation of scientific applications can profit from a large-scale, multi-organizational infrastructure that offers more computing power than one institution alone is able to afford. Grids need high-level schedulers that can be used to manage the resources spanning different organizations. These Grid Resource Management Systems (GRMS) have to make scheduling decisions without actually owning the grid resources, or having full control over the jobs that are running there. This introduces new challenges in the scheduling process done by the GRMSs. Although grids consist of many resources, and jobs submitted to grid may benefit from using them in a coordinated way, most of the Grid Resource Management Systems have focused on the execution of sequential jobs, with the grid being a large multi-site environment where jobs run in a batch-like way.<br/>However, in this work we concentrate on a kind of jobs that have received little attention to date: interactive and parallel jobs. Interactive jobs require the possibility of starting in the immediate future and need mechanisms to establish a communication channel with the user. Parallel applications introduce the need for co-allocation, guaranteeing the simultaneous availability of the resources when they are accessed by the applications. We address the challenges of executing such jobs with a new architecture for a GRMS and an implementation of that architecture called the CrossBroker. Our architecture includes mechanisms to allow the co-allocation of parallel jobs and the interaction of users with running applications. Additionally with the introduction of a multi-programming mechanism, a fast startup of jobs even in high occupancy scenarios is provided.