APRIMORAMENTO DA DETECÇÃO DE CONLUIOS COM APRENDIZADO DE MÁQUINA: EXPLICABILIDADE E ANÁLISE DOS RESULTADOS

Abstract

Collusions are secret agreements or coding between two or more parties, usually to gain an advantage in something or harm others. The practice of collusion in public tenders disturbs the market price balance, impacting both the costs and the quality of public services. This study proposes a methodology to improve completion classification models, using statistics variables associated with the analysis of explainable models to explain the results. The results showed an improvement in performance from 0.04 to 0.25, using the Smote balancing strategy, holdout 80% and 20% validation method (training and testing), and MCC as a performance metric. Using the SHAP, feature importance, and LIME explainable models helped confirm the contribution of statistics to the machine learning models. Furthermore, explaining samples with LIME demonstrates the potential for explaining classification decision boundaries for numerical attributes.

Conluios são acordos ou combinações secretas entre duas ou mais partes, geralmente para ganhar vantagem em algo ou prejudicar terceiros. A prática de conluios em licitações públicas perturba o equilíbrio de preços do mercado, impactando negativamente tanto os custos quanto a qualidade dos serviços públicos. Neste estudo, propõe-se uma metodologia para aprimorar os modelos de classificação de conluio, utilizando variáveis estatísticas combinadas com a análise de modelos explicáveis para explicação dos resultados. Os resultados mostraram uma melhora no desempenho de 0,04 à 0,25, utilizando a estratégia de balanceamento Synthetic Minority Over-sampling Technique (Smote), método de validação holdout 80% e 20% (treinamento e teste) e Matthew’s correlation coefficient (MCC) como métrica de desempenho. A utilização dos modelos explicáveis SHapley Additive exPlanation (SHAP), importância de atributos e Local Interpretable Model-agnostic Explanations (LIME) foram úteis para confirmar a contribuição das variáveis estatísticas para os modelos de aprendizagem de máquina. Além disso, a explicação de amostras com LIME demonstra potencial para explicação dos limites de decisão de classificação para atributos numéricos.