IMPUTAÇÃO HOT-DECK: UMA REVISÃO SISTEMÁTICA DA LITERATURA

Abstract

Organizations have realized that investing in transforming data into information to assist the decision-making process can bring competitive advantages. Thus, in the current scenario in which data grows in volume, speed, and variety, such expansion is accompanied by an increase in missing data, bringing interpretation problems for analysts and researchers. The exclusion of these cases cannot necessarily be considered a solution, regardless of data volume, due to its risks of generating bias or trends. Therefore, data imputation proves to be a fundamental task in data preprocessing, capable of improving its analysis. Hot-deck imputation is an approach that stands out in this context due to its ability to estimate more accurately and preserve individual differences between subjects in the imputation process. In this study, a systematic review of hot-deck imputation techniques performed on the Scopus database evaluates how the evolution of studies on this topic has occurred over the years. This work also proposes a taxonomy that aims to classify, order, and establish hierarchies for imputation techniques. As a result, 63% of the investigated articles did not adequately identify the missing mechanisms in their experiments; the hot-deck approach used 72% of the clustering algorithms in the Partitioning Based category; and 75% represented by the algorithms random hot-deck, K-Nearest-Neighbor, and K-means. Regarding the experiment's reproducibility, 30% of the articles presented pseudocodes for the algorithms used, 42% used public data sets, and 45% compared to the original data set's imputation results. It is noteworthy that only 1% of the articles presented source code in an open repository, leaving an essential lack regarding the reproducibility of experiments in this area.

As organizações têm percebido que investir na transformação de dados em informação com o objetivo de auxiliar o processo de tomada de decisões pode trazer vantagens competitivas. À vista disso, no cenário atual em que os dados crescem em volume, velocidade e variedade, nota-se que tal expansão é acompanhada do aumento de dados ausentes, que podem trazer problemas de interpretação para analistas e pesquisadores. A exclusão destes casos não pode necessariamente ser considerada uma solução, independente do volume dos dados, devido aos seus riscos de geração de vieses ou tendências. Logo, a imputação de dados revela-se uma tarefa fundamental no pré-processamento de dados, capaz de melhorar a sua análise. A imputação hotdeck é uma abordagem que se destaca neste contexto devido à sua capacidade de estimar com melhor precisão e preservar as diferenças individuais entre os sujeitos no processo de imputação. Neste estudo, é apresentada uma revisão sistemática sobre técnicas de imputação hot-deck realizada na base Scopus, com o objetivo de avaliar como ocorre a evolução dos estudos sobre este tema ao longo dos anos. Este trabalho também propõe uma taxonomia que busca classificar, ordenar e estabelecer hierarquias para as técnicas de imputação. Como resultado deste trabalho, verificou-se 63% dos artigos investigados não identificaram adequadamente os mecanismos de ausência em seus experimentos, 72% dos algoritmos de agrupamento utilizados na abordagem hotdeck estão contidos na categoria Partitioning Based, sendo 75% desta representada pelos algoritmos Random hot-deck, K-Nearest-Neighbor e K-means. Com relação à reprodutibilidade dos experimentos, 30% dos artigos apresentaram pseudocódigos dos algoritmos utilizados, 42% utilizaram conjuntos de dados públicos, 45% compararam os resultados da imputação com o conjunto de dados original. Destaca-se que apenas 1% dos artigos apresentou código fonte em repositório aberto, deixando uma importante lacuna no que tange à reprodutibilidade de experimentos nesta área.