DIMENSIONAMENTO DE RECURSOS PARA EXECUÇÃO DE WORKFLOWS CIENTÍFICOS EM AMBIENTES DE COMPUTAÇÃO DE ALTO DESEMPENHO

Abstract

Scientists increasingly need to run highly computationally demanding experiments. These experiments, often modeled as scientific workflows, are run in high-performance computing (HPC) environments. Typically, these environments provide a wide range of resources to users. The proper sizing of resources for running scientific workflows in these environments is a crucial task. An undersized or oversized environment can directly affect the performance of the experiment, leading to negative impacts on the time and financial cost of execution. Thus, research involving resource estimation for experiment execution in HPC environments has been conducted, such as the GraspCC heuristic, which uses the adaptive randomized greedy search procedure (GRASP). The objective of this work is to investigate the execution of scientific workflows in high-performance environments, such as clusters and computer clouds, in order to efficiently estimate the required resources considering the associated time and financial costs. The problem was defined from the proposed structuring of workflow into parallel stages or levels of tasks that are similar to each other and operate independently, called Layered-Bucket (LB). To solve the problem, we proposed an integer mathematical programming formulation and an adaptation of the GraspCC heuristic to accommodate the LB approach, named GraspCC-LB. The proposed approach was evaluated using real traces of workflows from the fields of bioinformatics and astronomy. The resource estimations produced by GraspCC-LB were compared against the actual resource usage in a real-world HPC environment to assess its effectiveness. The results demonstrate the effectiveness of GraspCC-LB as a robust approach for resource optimization in the context of large-scale scientific workflows that require HPC capabilities, serving as an important decision-support tool.

Cientistas cada vez mais necessitam executar experimentos altamente exigentes em termos computacionais. Estes experimentos são frequentemente modelados como workflows científicos e são executados em ambientes de computação de alto desempenho (HPC). Tipicamente estes ambientes fornecem uma grande variedade de recursos aos usuários. O dimensionamento adequado dos recursos para a execução de workflows científicos nestes ambientes é uma tarefa crucial. Um ambiente sub ou superdimensionado pode afetar diretamente o desempenho do experimento, gerando impactos negativos relacionados ao tempo e ao custo financeiro da execução. Com isso, pesquisas envolvendo estimação de recursos para execução de experimentos em ambientes de HPC vêm sendo realizadas, como a heurística GraspCC, que usa o procedimento de busca adaptativa randomizada gulosa (GRASP). O objetivo deste estudo é investigar a execução de workflows científicos em ambientes de alto desempenho, tais como clusters e nuvens de computadores, com o intuito de estimar eficientemente os recursos necessários considerando o tempo e os custos financeiros associados. O problema foi definido a partir da proposta de estruturação do workflow em estágios ou níveis paralelos de tarefas semelhantes entre si e que operam de maneira independente, chamada Layered-Bucket (LB). Para resolver o problema, foram propostas uma formulação de programação matemática inteira e uma adaptação da heurística GraspCC para considerar a abordagem LB, chamada GraspCC-LB. A abordagem proposta foi avaliada utilizando dados históricos de workflows das áreas de bioinformática e astronomia. As estimativas de recursos produzidas pela GraspCC-LB foram comparadas com o uso real de recursos em um ambiente HPC do mundo real para avaliar sua eficácia. Os resultados mostram a eficácia do GraspCC-LB como uma abordagem robusta para otimização de recursos no contexto de workflows científicos de grande escala que requerem capacidades HPC, apresentando-se como uma importante ferramenta de apoio à tomada de decisões.