UMA ANÁLISE DO USO DE LOTES CONFIGURÁVEIS NA DETECÇÃO DE EVENTOS EM SÉRIES TEMPORAIS EM STREAMING

Abstract

Time series event detection refers to identifying points that differ from expected behavior. In scenarios of high connectivity, digital twins, and cloud data traffic, an increase in the speed and volume of series data generation in streaming is observed. Thus, event detection is essential for making decisions to correct or prevent unwanted situations. Event detection is divided into online and offline. In online detection, data access is in real-time, while in offline detection there is prior access to the complete data set. Offline detection does not allow monitoring of data while it is generated. However, detecting each new point in the series can bring computational costs that reduce the applicability of the methods. However, it should be noted that, although batch processing can be associated with offline processing, even data processing in streaming can occur through data flow in small batches. There is still a lack of work on tools for integrating and evaluating methods aimed at streaming. Even in existing works, no ways of analyzing the behavior of methods throughout streaming have been identified. The specificity of existing methods, the need to balance between the cost of online detection and the accuracy of offline detection allow us to raise the question: the use of configurable batches in the event detection in series in streaming results in early detection and reduced computational cost? Other relevant questions are: Is it possible to evaluate the time between reading an observation in the series and its detection as an event? Is it possible to evaluate the behavior of methods throughout streaming? To explore the gaps in the literature, this work proposes an analysis of the use of configurable batches in event detection in time series in streaming, evaluating their impacts on the balance between accuracy and early detection of events. Furthermore, the work presents the Nexus framework for integrating event detection methods into streaming and metrics for evaluating delay in detection and the behavior of methods throughout streaming.

Detecção de eventos em séries temporais se refere à identificação de pontos que se diferenciam do comportamento esperado. Em cenários de alta conectividade, gêmeos digitais e tráfego de dados em nuvem observa-se o aumento da velocidade e do volume de geração dos dados de séries em streaming. Assim, a detecção de eventos é fundamental para tomada de decisões para correção ou prevenção de situações indesejadas. Divide-se a detecção de eventos em online e offline. Na detecção online o acesso aos dados é em tempo real, enquanto na detecção offline há acesso prévio ao conjunto de dados completo. A detecção offline não permite monitoramento dos dados enquanto eles são gerados. Contudo, a detecção a cada novo ponto na série pode trazer custos computacionais que reduzem a aplicabilidade dos métodos. Contudo, nota-se que, ainda que o processamento em lote possa ser associado ao processamento offline, mesmo o processamento de dados em streaming pode ocorrer por meio do fluxo de dados em pequenos lotes. Ainda há escassez de trabalhos com ferramentas para integração e avaliação de métodos voltados para o streaming. Mesmo em trabalhos existentes, não se identificam formas de analisar o comportamento dos métodos ao longo do streaming. A especificidade dos métodos existentes, a necessidade de equilíbrio entre o custo da detecção online e acurácia da detecção offline permitem levantar a questão: o uso de lotes configuráveis na detecção de eventos em séries em streaming resulta em detecção precoce e redução do custo computacional? Outras questões relevantes são: É possível avaliar o tempo entre a leitura de uma observação na série e sua detecção como evento? É possível avaliar o comportamento dos métodos ao longo do streaming? Para explorar as lacunas existentes na literatura, o presente trabalho propõe uma análise do uso de lotes configuráveis na detecção de eventos em séries temporais em streaming, avaliando seus impactos no equilibrio entre a acurácia e a detecção precoce de eventos. Além disso, o trabalho apresenta o framework Nexus para integração de métodos de detecção de eventos em streaming e métricas para avaliação de atraso na detecção e do comportamento dos métodos ao longo do streaming