Allocation and Placement Algorithms for Scheduling Distributed I/O Resources in HPC Systems
Algorithmes d’allocation et de placement pour l’ordonnancement des ressources d’E/S distribuées dans les systèmes HPC
Résumé
This paper presents a comprehensive investigation on optimizing I/O performance in the access to distributed I/O resources in high-performance computing (HPC) environments. I/O resources, such as the I/O forwarding nodes and object storage targets (OST), are shared by applications. Each application has access to a subset of them, and multiple applications can access the same resources. We propose heuristics to schedule these distributed I/O resources in two steps: for each application, determining how many (allocation) and which (placement) resources to use. We discuss a wide range of information about applications’ characteristics that can be used by the scheduling algorithms. Despite the fact that a higher level of application knowledge is associated with better performance, our comprehensive analysis indicates that strategic decision-making with limited information can still yield significant enhancements in most scenarios. Moreover, we demonstrate the robustness of our solutions in scenarios where information is limited or inaccurate. This research provides insights into the trade-offs between the depth of application characterization
and the practicality of scheduling I/O resources.
Cet article présente une étude approfondie sur l’optimisation des performances d’E/S dans l’accès aux ressources d’E/S distribuées dans les systèmes de calcul à hautes performances. Les ressources d’E/S, telles que les nœuds de transfert d’E/S et les cibles de stockage d’objets (OST), sont partagées par les applications. Chaque application a accès à un sous-ensemble de ces ressources, et plusieurs applications peuvent accéder aux mêmes ressources. Nous proposons des heuristiques pour l’ordonnancement de ces ressources d’E/S distribuées en deux étapes : pour chaque application, déterminer comment (allocation) et quelles (placement) les ressources à utiliser. Nous discutons d’un large éventail d’informations sur les caractéristiques des applications qui peuvent être utilisées par les algorithmes d’ordonnancement. Malgré le fait qu’un niveau plus élevé de connaissance des applications est associé à des meilleures performances, notre analyse indique que la prise de décision stratégique avec des informations limitées eut encore produire des améliorations significatives dans la plupart des scénarios. En outre, nous démontrons la robustesse de nos solutions dans les scénarios où les informations sont limitées ou inexactes. Cette recherche permet de mieux comprendre les compromis entre la profondeur de la caractérisation de l’application et l’aspect pratique de l’ordonnancement des ressources d’E/S.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
