AN ADAPTIVE HYBRID GENETIC ALGORITHM FOR HYPERPARAMETER OPTIMIZATION

Abstract

The recent spike in the popularity of machine learning (ML) applications has led to an increased demand for efficient ML models. One of the key steps in building such models is selecting a well-suited set of hyperparameters. However, with the increasing complexity of models and training techniques, manually defining these parameters has become a labor-intensive task, requiring a significant amount of time and specific knowledge about the model being tuned. To address this challenge, the community of AutoML is focusing on devising ways to automatically find the best set of hyperparameters for ML algorithms through its research area called hyperparameter optimization (HPO). Recently, Hybrid Biased Random-Key Genetic Algorithm (HBRKGA), a Genetic Algorithm (GA) that uses surrogate optimization functions at the exploitation step, has been used to efficiently find automatic hyperparameters for different datasets. However, its potential has not been fully explored as HBRKGA uses only one fixed surrogate function at the exploitation step. This research presents a novel approach for HPO of ML models based on HBRKGA. A method called Adaptive HBRKGA (A-HBRKGA) is devised to improve the probability of finding the best solution. This method is based on the principle that different evolutionary steps require different optimization functions, which allows HBRKGA to have multiple surrogate functions that are chosen based on past evaluations. The approach has been tested against several publicly available datasets and it is shown that it presents better results when compared to other methods in the literature.

O recente aumento na popularidade das aplicações de aprendizado de máquina (AM) levou a um aumento na demanda por modelos de AM eficientes. Uma das principais etapas na construção de tais modelos é selecionar um conjunto adequado de hiperparâmetros. No entanto, com o aumento da complexidade dos modelos e técnicas de treinamento, definir manualmente esses parâmetros tornaram-se uma tarefa trabalhosa, exigindo uma quantidade significativa de tempo e conhecimento específico sobre o modelo que está sendo ajustado. Para enfrentar esse desafio, a comunidade do Automatic Machine Learning (AutoML) está se concentrando em criar maneiras de encontrar automaticamente o melhor conjunto de hiperparâmetros para algoritmos de AM por meio de sua área de pesquisa chamada de Otimização de Hiperparâmetros (HPO). Recentemente, o Hybrid Biased Random Key Algoritmo Genético (HBRKGA), um algoritmo genético que usa funções de otimização substitutas na etapa de exploração, foi usado para encontrar hiperparâmetros automaticamente de forma eficiente para diferentes conjuntos de dados. No entanto, o seu potencial não foi totalmente explorado, pois o HBRKGA usa apenas uma função substituta fixa na etapa de exploração. Esta pesquisa apresenta uma nova abordagem para HPO de modelos de AM baseados no HBRKGA. Um método chamado Adaptive HBRKGA (A-HBRKGA) é desenvolvido para melhorar a probabilidade de encontrar a melhor solução. Este método é baseado no princípio de diferentes passos evolutivos requerem diferentes funções de otimização, o que permite à HBRKGA ter várias funções substitutas que são escolhidos com base em avaliações anteriores. A abordagem foi testada em vários conjuntos de dados disponíveis publicamente e apresentam os melhores resultados quando comparados a outros métodos da literatura.