ESTUDO DA CARDINALIDADE E DA RELAÇÃO ENTRE ATRIBUTOS NA IMPUTAÇÃO DE DADOS CATEGÓRICOS

Abstract

This dissertation investigates the problem of categorical data imputation, focusing on the comparative analysis of different imputation methods and on how dataset structural characteristics influence their performance. The study considers three distinct scenarios: simple datasets composed predominantly of numerical attributes, mixed datasets containing both numerical and categorical variables, and fully categorical datasets. The proposed methodology artificially generates missing values under the Missing Completely at Random (MCAR) mechanism at rates of 10%, 20%, and 30%, using multiple random seeds to evaluate the stability of the analyzed methods. Approaches based on KNN, Multi-Layer Perceptron (MLP), and Random Forest were investigated, considering both imputation accuracy and the performance of classifiers trained on the imputed data. In addition, Cramer’s V coefficient was used to analyze the influence of correlation between categorical attributes in the imputation process. The obtained results indicate that global model-based methods, especially Random Forest, achieve greater robustness and stability against increasing missingness rates and dataset structural complexity, while KNN shows greater sensitivity to data heterogeneity and information loss. The findings reinforce the importance of considering characteristics such as cardinality and attribute correlation when selecting the most appropriate imputation method.

Esta dissertação investiga o problema da imputação de dados categóricos, com foco na análise comparativa de diferentes métodos de imputação e na influência das características estruturais das bases de dados sobre o desempenho dessas abordagens. O estudo considera três cenários distintos: bases simples, compostas predominantemente por atributos numéricos; bases mistas, contendo atributos numéricos e categóricos; e bases totalmente categóricas. A metodologia proposta envolve a geração artificial de valores ausentes segundo o mecanismo Missing Completely at Random (MCAR), em taxas de 10%, 20% e 30%, utilizando múltiplas sementes aleatórias para avaliar a estabilidade dos métodos analisados. Foram investigadas abordagens baseadas em KNN, Multi-Layer Perceptron (MLP) e Random Forest, considerando tanto a acurácia de imputação quanto o desempenho de classificadores treinados sobre os dados imputados. Além disso, o coeficiente V de Cramer foi utilizado para analisar a influência da correlação entre atributos categóricos no processo de imputação. Os resultados obtidos indicam que métodos baseados em modelos globais, especialmente Random Forest, apresentam maior robustez e estabilidade frente ao aumento da taxa de ausência e à complexidade estrutural das bases, enquanto o KNN demonstra maior sensibilidade à heterogeneidade e à redução da informação disponível. Os achados reforçam a importância de considerar características como cardinalidade e correlação entre atributos na escolha do método de imputação mais adequado.