ARANDUFLOW: RUMO AO USO DE METADADOS DE DESEMPENHO E DOMÍNIO PARA PREVER TEMPO DE EXECUÇÃO DE WORKFLOWS EM AMBIENTES DE HPC

Abstract

The increasing complexity of scientific experiments has expanded the use of workflows to organize applications executed in High-Performance Computing (HPC) environments. In these environments, predicting execution time in advance is challenging because of variations in input data, application parameters, and computing infrastructure configurations. Furthermore, resource contention in shared environments can cause similar executions to have different durations. To assist users with workflow submission and experiment planning, this dissertation presents AranduFlow, an adaptable science gateway that uses historical data and machine learning models to estimate execution-time ranges. The proposed approach integrates submission, metadata collection, and prediction mechanisms by combining input-data characteristics, domain-specific parameters, and computing infrastructure information. Although the architecture can be adapted to different applications, the predictive models are trained specifically for each workflow. The approach was evaluated using two real-world scientific workflows from the bioinformatics and astronomy domains, with distinct resource-utilization profiles, executed on heterogeneous HPC infrastructures. The experiments showed that tree-based models outperformed the reference method and achieved accuracies above 80% in scenarios using broader execution-time ranges. The results also indicated the relevance of domain metadata and workload characteristics to the predictions. When applied to a new computing infrastructure, calibration using a small set of local executions produced a substantial improvement in predictive performance. These results provide evidence that AranduFlow can support execution-time estimation for heterogeneous workflows and can be adapted to different computing environments.

A crescente complexidade dos experimentos científicos tem ampliado o uso de workflows para organizar aplicações executadas em ambientes de Computação de Alto Desempenho (HPC). Nesses ambientes, estimar antecipadamente o tempo de execução é uma tarefa desafiadora, devido à diversidade dos dados de entrada, dos parâmetros das aplicações e das configurações da infraestrutura computacional. Além disso, a concorrência por recursos em ambientes compartilhados pode fazer com que execuções semelhantes apresentem durações distintas. Para auxiliar usuários na submissão de workflows e no planejamento de seus experimentos, este trabalho apresenta o AranduFlow, um gateway científico adaptável que utiliza dados históricos e modelos de aprendizado de máquina para estimar faixas de tempo de execução. A proposta integra mecanismos de submissão, coleta de metadados e predição, combinando características dos dados de entrada, parâmetros específicos do domínio e informações da infraestrutura computacional. Embora a arquitetura possa ser adaptada a diferentes aplicações, os modelos preditivos são treinados especificamente para cada workflow. A abordagem foi avaliada com dois workflows científicos reais, pertencentes aos domínios de bioinformática e astronomia e com perfis distintos de utilização de recursos, executados em infraestruturas heterogêneas de HPC. Os experimentos mostraram que os modelos baseados em árvores superaram o método de referência e alcançaram acurácia superior a 80% nos cenários com faixas temporais mais abrangentes. Os resultados também indicaram a relevância dos metadados de domínio e das características da carga de trabalho para as predições. Em uma nova infraestrutura computacional, a utilização de um pequeno conjunto de execuções locais para calibração produziu uma melhora expressiva no desempenho preditivo. Esses resultados fornecem evidências de que o AranduFlow pode apoiar a estimativa do tempo de execução de workflows heterogêneos e ser adaptado a diferentes ambientes computacionais.