Analyzing Flight Delay Prediction Under Concept Drift

Abstract

Delay is one of the most critical indicators for flight transportation systems. Flight delays impose a challenge that impacts any flight transportation system. In this context, the prediction of delayed flights may be an essential tool for effectively addressing this problem. This dissertation investigates the prediction performance of different drift handling strategies in aviation under different scales. It considers two different scales: system-based (SB) and airport-based (AB). In (SB), all airports in the flight system are considered together. Conversely, in AB, each airport is studied separately. Specifically, this work proposed and answered two research questions: (i) How do drift handling strategies influence the prediction performance of delays?; and (ii) Do different scales change the results of drift handling strategies? It was observed that drift handling strategies are relevant. Their impact varies according to the scales used. The experimental evaluation was done using a dataset that integrates weather and flight data from the Brazilian system. Moreover, the passive and active strategies revealed better recall scores. For f1 scores, the strategies had similar results, with the passive strategy showing slightly better results. These results may be related to the high prevalence of drifts. In this case, strategies that always retrain machine learning models offer better results than those that train only once. However, extensive testing is recommended.

Atraso é um dos indicadores mais críticos para sistemas de transporte aéreo. Atrasos de voos impõem um desafio que impacta qualquer sistema de transporte aéreo. Nesse contexto, a previsão de voos atrasados pode ser uma ferramenta essencial para tratar desse problema de forma efetiva. A presente dissertação investiga o desempenho de previsão das estratégias ativa e passiva de tratamento de drift na aviação em diferentes escalas. Duas diferentes escalas foram consideradas: system-based (SB) e airport-based (AB). Na SB, todos os aeroportos no sistema aéreo são considerados. De maneira oposta, no AB, cada aeroporto é estudado separadamente. Especificamente, esse trabalho propôs e respondeu duas perguntas de pesquisa: (i) Como estratégias de tratamento de drift influenciam o desempenho da previsão de atrasos?; e (ii) Diferentes escalas podem influenciar os resultados das estratégias de tratamento de drift? Foi observado que estratégias de tratamento de drift são relevantes. Seu impacto varia de acordo com a escala utilizada. A avaliação experimental foi realizada usando um dataset que integra dados de clima e voos do sistema aéreo do Brasil. Além disso, as estratégias passiva e ativa mostraram melhores escores de recall. Em relação ao f1, as estratégias tiveram resultados similares, com a estratégia passiva mostrando resultados ligeiramente melhores. Esses resultados podem estar relacionados com a alta incidência de drifts. Nesse caso, estratégias que sempre retreinam modelos de aprendizado de máquina oferecem melhores resultados que aqueles que treinam somente uma vez. Entretanto, testes extensivos são recomendados.