Metodología para la evaluación de prestaciones del sistema de Entrada/Salida en computadores de altas prestaciones

Abstract

The increase in processing units, the advance in speed and compute power, and the increasing complexity of scientific applications that use high performance computing require more efficient Input/Output(I/O) Systems. The performance of many scientific applications is inherently limited by the input/output subsystem. Due to the historical “gap“ between the computing and I/O performance, in many cases, the I/O system becomes the bottleneck of parallel systems. Identification of I/O factors that influence on performance can help us to hide this ”gap”. This situation lead us to ask ourselves the next questions: Must adapt Scientific applications to I/O configurations?, How do I/O factors influence on performance? How do you configure the I/O system to adapt to the scientific application? Answering these questions is not trivial. To use the I/O system efficiently it is necessary to know its performance capacity to determine if it fulfills I/O requirements of application. We present a methodology to performance evaluate of the I/O system on computer clusters. We propose the I/O system evaluation by taking into account requirements of the application and the I/O configuration. To do this we have defined a methodology with three stages: characterization, analysis of I/O and evaluation. Furthermore, we define a methodology to obtain the I/O model of parallel application that has been utilized to compare different I/O subsystems. It allows us to determine how much of the system’s capacity is being used taking into account the I/O phases of application. The methodology can be used to select the configuration with less I/O time from different I/O configurations. The I/O model of application is defined by three characteristics: metadata, spatial global pattern and temporal global pattern. We have evaluated the I/O system utilization of different configurations by considering the I/O model of application.

El aumento del número de unidades de procesamiento en los clúster de computadores, los avances tanto en velocidad como en potencia de los procesadores y las crecientes demandas de las aplicaciones científicas que utilizan cómputo de altas prestaciones trae mayores exigencias a los sistemas de Entrada/Salida (E/S) paralelos. El rendimiento de muchas aplicaciones científicas está inherentemente limitado por el sistema de E/S. Debido al histórico “gap” entre las prestaciones del cómputo y la E/S, en muchos casos, el sistema de E/S se convierte en el cuello de botella de los sistemas paralelos. La identificación de los factores de E/S que influyen en el rendimiento puede ayudar a ocultar este “gap”. Esta situación lleva a hacer las siguientes preguntas: ¿Deben las aplicaciones científicas adaptarse a la configuración de E/S, ¿Cómo los factores E/S influyen en el rendimiento? ¿Cómo se configura el sistema de E/S para adaptarlo a la aplicación científica? La respuesta a estas preguntas no es trivial. Para utilizar el sistema de E/S de manera eficiente es necesario conocer su capacidad de rendimiento para determinar si cumple con requisitos de aplicación. En este trabajo se propone una metodología para evaluar las prestaciones de los sistemas de E/S en clusters de computadores. La evaluación considera la configuración del sistema de E/S y las características de E/S de la aplicación. Para ello se ha definido una metodología de tres etapas: caracterización, análisis de E/S y evaluación. En la fase de caracterización, se extrae las características de E/S de la aplicación y las características prestacionales del sistema de E/S. Se ha definido una metodología para obtener el modelo de E/S de la aplicación paralela que se ha utilizado para comparar diferentes sistemas de E/S. El modelo de E/S de aplicación está definido por tres características: metadatos, patrón global espacial y patrón global temporal. Esto permite determinar cuanto de la capacidad del sistema se utiliza teniendo en cuenta las fases de E/S de la aplicación. La metodología se puede utilizar para seleccionar la configuración con menor tiempo de E/S de diferentes configuraciones de E/S.