Analyzing the parallel applications’ I/O behavior impact on HPC systems

Abstract

Donat que el volum de dades generat per les aplicacions científiques creix i la pressió sobre el sistema d’E/S dels sistemes HPC també augmenta, es proposa un model de comportament d’E/S per les aplicacions cientifiques paral.leles de pas de missatges MPI (Message Passing Interface) amb l’objectiu d’analitzar l’impacte de les aplicacions en el sistema d’E/S. Analitzar les aplicacions les aplicacions paral.leles MPI a nivell POSIX-IO permet observar com es tracten les dades de l’aplicació en aquest nivell. En aquest treball de recerca es presenta: la definició del model PIOM-PX. la metodologia aplicada per extraure el model i l’eina PIOM-PX-Trace-Tool. Donat que PIOM-PX està basat en el concepte de E/S, es poden identificar les fases més significatives. Fases que tenen més influència que altres en el sistema d’E/S, provocant un coll d’ampolla o un rendiment pobre. L’anàlisis en base a les fases d’E/S permeten identificar, acotar i intentar reduir l’impacte d’aquestes fases sobre el sistema d’E/S. PIOM-PX forma part del model proposat PIOM que integra el model de comportament d’E/S a nivell de POSIX-IO (PIOM-PX) i el model de comportament d’E/S a nivell de MPI-IO (PIOM-MP, antic PAS2P-IO). El model proporciona la informació necessaria, per a que utilitzant programes sintètics programables es pugui replicar el comportament de l’aplicació en diferents sistemes. PIOM-PX-Trace-Tool permet interceptar instruccions de POSIX-IO utilitzades durant l’execució de l’aplicació. Els experiments realitzats s’han executat en varis sistemes HPC estandard i en la plataforma Cloud, on s’ha pogut comprovar la utilitat del model proposat, PIOM.

Dado que el volumen de datos generado por las aplicaciones científicas crece y la presión sobre el sistema de E/S de los sistemas HPC también aumenta, se propone un modelo de comportamiento de E/S para las aplicaciones científicas paralelas de paso de mensajes (MPI -Message Passing Interface-) con el objetivo de analizar el impacto de las aplicaciones en el sistema de E/S. Analizar las aplicaciones paralelas MPI a nivel POSIX-IO permite observar cómo se tratan los datos de la aplicación a ese nivel. En este trabajo de investigación se presenta: la definición del modelo PIOM-PX, la metodología aplicada para extraer dicho modelo y la herramienta PIOM-PX-Trace-Tool. Dado que PIOM-PX está basado en el concepto de fase de E/S, se pueden identificar las fases más significativas. Fases que tienen más influencia que otras en el sistema de E/S, que podrían provocar un cuello de botella o un rendimiento pobre. El análisis en base a las fases de E/S permite identificar, acotar e intentar reducir el impacto de esas fases sobre el sistema de E/S. PIOM-PX forma parte del modelo propuesto PIOM que integra el modelo de comportamiento de E/S a nivel de POSIX-IO (PIOM-PX) y el modelo de comportamiento de E/S a nivel de MPI-IO (PIOM-MP, antiguo PAS2P-IO). El modelo proporciona la información necesaria, para que utilizando programas sintéticos programables se pueda replicar el comportamiento de la aplicación en diferentes sistemas. PIOM-PX-Trace-Tool permite interceptar instrucciones de POSIX-IO utilizadas durante la ejecución de la aplicación. Los experimentos realizados se han ejecutado en varios sistemas HPC estándar y en la plataforma Cloud, donde se ha podido comprobar la utilidad del modelo propuesto, PIOM.

The volume of data generated by scientific applications grows and the pressure on the I/O system of HPC systems also increases. For this reason, an I/O behavior model is proposed for scientific MPI (Message Passing Interface) parallel applications. The goal is to analyze the applications’ impact on the I/O system. Analyzing the MPI parallel applications at POSIX-IO level allows observing how the application’s data are treated at that level. In this research work, the following is presented: the I/O behavior model definition at POSIX-IO level (PIOM-PX model definition), the methodology applied to extract this model and the PIOM-PX-Trace-Tool. As PIOM-PX is based on the I/O phase concept, it can identify the more significant phases. Phases that have more influence than others in the I/O system and they could provoke a bottleneck or a poor performance. Analysis based on I/O phases allows identifying, delimiting, and trying to reduce each phase’s impact on the I/O system. PIOM-PX is part of proposed model PIOM. PIOM integrates the I/O behavior model at POSIX-IO level (PIOMPX) and the I/O behavior model at MPI-IO level (PIOM-MP, formerly known as PAS2P-IO). The model provides the information necessary to replicate an application’s behavior in different systems using synthetic programmables programs. PIOM-PX-Trace-Tool allows interception of POSIX-IO instructions used during the application execution. The experiments carried out are executed in several standar HPC systems and the Cloud platform, where it is able to test the utility of the proposed model PIOM.