MODELOS DE LINGUAGEM DE GRANDE PORTE PARA A IDENTIFICAÇÃO DE CONLUIO EM LICITAÇÕES

Abstract

The practice of collusion in public procurement, characterized by illicit agreements between competing firms, generates significant economic losses, reduces the efficiency of public contracting, and undermines trust in institutions. Several studies have employed machine learning algorithms and statistical variables to identify indications of this type of fraud; however, challenges such as the scarcity of labeled data, difficulties in generalization, and inconsistent performance across different datasets still persist. In this context, this dissertation investigates the potential of Large Language Models (LLMs) for detecting indications of collusion based on numerical data from procurement processes. Models from different providers were evaluated using two strategies: prompt engineering and supervised fine-tuning. The experiments were conducted on three real-world datasets — Brazil, the United States, and Switzerland — and the results were compared with those of traditional algorithms reported in the literature. The findings show that prompt engineering did not produce satisfactory performance. With fine-tuning, the LLMs outperformed traditional algorithms in only one of the three evaluated scenarios. Considering performance, cost, and implementation complexity jointly, it is concluded that, at the present time, traditional algorithms offer a better cost-benefit ratio for the evaluated task, while LLMs may serve as a complementary alternative in specific scenarios where classical methods fail to achieve satisfactory results or in situations involving textual data.A prática de conluio em licitações públicas, caracterizada por acordos ilícitos entre empresas concorrentes, gera prejuízos econômicos relevantes, reduz a eficiência das contratações e compromete a confiança nas instituições. Diversos trabalhos têm empregado algoritmos de aprendizado de máquina e variáveis estatísticas para identificar indícios desse tipo de fraude, porém ainda persistem desafios como escassez de dados rotulados, dificuldade de generalização e desempenho inconsistente entre diferentes bases de dados. Neste contexto, esta dissertação investiga o potencial de Modelos de Linguagem de Grande Porte (Large Language Models - LLMs) na detecção de indícios de conluio a partir de dados numéricos de processos licitatórios. Foram avaliados modelos de diferentes fornecedores por meio de duas estratégias: engenharia de prompt e fine-tuning supervisionado. Os experimentos foram conduzidos com três conjuntos de dados reais — Brasil, Estados Unidos e Suíça — e os resultados foram comparados com os de algoritmos tradicionais reportados na literatura. Os resultados mostram que a engenharia de prompt não produziu desempenho satisfatório. Com fine-tuning, por sua vez, os LLMs superaram os algoritmos tradicionais em apenas um dos três cenários avaliados. Considerando conjuntamente desempenho, custo e complexidade de implementação, conclui-se que, no momento atual, os algoritmos tradicionais apresentam melhor relação custo-benefício na tarefa avaliada, sendo que os LLMs podem atuar como alternativa complementar em cenários específicos nos quais os métodos clássicos não alcancem resultados satisfatórios ou situações que envolvam dados textuais.