Direct lookup and hash-based metadata placement : impact on architecture, performance and scalability of local and distributed file systems

Abstract

New challenges to file systems’ metadata performance are imposed by the continuously growing average number of files existing in file systems. The traditional component based lookup approach can become a performance bottleneck for many workloads.

An alternative to component-based lookup is the direct lookup approach. It uses hash-based metadata placement to enable direct computation of the metadata location and to completely skip component traversal.

This thesis evaluates the implications of the direct lookup approach on file system architecture, performance and scalability.

It includes an analysis of file system traces focusing on the frequency and characteristics of hierarchical operations. These properties had not been sufficiently explored in existing literature and are fundamental to the direct lookup design.

Full direct lookup file systems are implemented and evaluated for both local and distributed scenarios.

El rendimiento de los metadatos de los sistemas de ficheros impone nuevos desafíos debido a que el número promedio de ficheros está en constante crecimiento. El enfoque de búsqueda tradicional basado en ir atravesando los diferentes componentes puede convertirse en un cuello de botella de rendimiento para muchas cargas de trabajo. Una alternativa a la búsqueda basada en componentes consiste en la búsqueda directa. Esta búsqueda utiliza la ubicación de metadatos basada en hash para permitir el cálculo directo de la ubicación de los metadatos y omitir así completamente el recorrido de componentes. Esta tesis evalúa las implicaciones del enfoque de búsqueda directa en la arquitectura, el rendimiento y la escalabilidad del sistema de ficheros. Incluye un análisis de las trazas del sistema de ficheros que se centran en la frecuencia y las características de las operaciones jerárquicas. Estas propiedades no han sido suficientemente exploradas en la literatura existente y son fundamentales para el diseño de búsqueda directa. Los sistemas de archivos de búsqueda directa completa se implementan y evalúan para escenarios locales y distribuidos.