RECONHECIMENTO DE ENTIDADES NOMEADAS EM RELATOS CRIMINAIS INFORMAIS COM APOIO DE METADADOS ESTRUTURADOS
Carregando...
Arquivos
Data
Autores
Título da Revista
ISSN da Revista
Título de Volume
Editor
CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA CELSO SUCKOW DA FONSECA
Resumo
This work investigates the problem of Named Entity Recognition (NER) in informal criminal reports registered through the Disque Denúncia service. These reports, often characterized by colloquial language, spelling errors, and free-text structure, pose significant challenges to the application of traditional Natural Language Processing models. In addition to free text, the reports are accompanied by structured metadata, such as occurrence type, location, and date, which may provide additional contextual information relevant to the task. In this study, an approach based on fine-tuning large language models is proposed, using a manually annotated corpus, annotated by four different individuals and the dissertation author, containing entities of type Person, Location, and Organization. To address the scarcity of labeled data, the methodology includes the application of pseudo-labeling on a second and significantly larger corpus, thus expanding the training set in a semi-supervised manner. Additionally, report metadata are incorporated as a contextual source both during preprocessing and throughout the evaluation and refinement stages of the models. The experiments were conducted using the GliNER model and evaluate how the use of metadata and pseudo-labeling can contribute to improving model performance in informal corpora, with positive impacts on automated information extraction in public security contexts. The results reinforce the potential of hybrid and domain-sensitive approaches for real-world Natural Language Processing applications in environments with limited annotated data.
O presente trabalho investiga o problema do reconhecimento de entidades nomeadas em relatos criminais informais registrados no serviço Disque Denúncia. Esses relatos, frequentemente marcados por linguagem coloquial, erros ortográficos e estrutura textual livre, impõem desafios significativos ao uso de modelos tradicionais de Processamento de Linguagem Natural. Além do texto livre, os relatos são acompanhados de metadados estruturados, como tipo de ocorrência, localização e data que podem fornecer contexto adicional relevante para a tarefa. Neste estudo, propõe-se uma abordagem baseada em fine-tuning de modelos de linguagem de grande porte, utilizando um corpusmanualmente anotado, por quatro diferentes pessoas e pelo autor da dissertação, com entidades do tipo Pessoa, Local e Organização. Para contornar a escassez de dados rotulados, a metodologia inclui a aplicação de pseudo-rotulagem em um segundo corpus, significativamente maior, expandindo assim a base de treinamento de forma semissupervisionada. Adicionalmente, os metadados dos relatos são incorporados como fonte de contexto tanto no pré-processamento quanto no processo de avaliação e refinamento dos modelos. Os experimentos foram conduzidos com o modelo GliNER e avalia que a utilização de metadados e pseudo-rotulação pode contribuir para melhorar a performance dos modelos em corpora informais, com impactos positivos para a extração automatizada de informações em contextos de segurança pública. Os resultados reforçam o potencial de abordagens híbridas e sensíveis ao domínio para aplicações reais de Processamento de Linguagem Natural em ambientes com escassez de rótulos anotados.
O presente trabalho investiga o problema do reconhecimento de entidades nomeadas em relatos criminais informais registrados no serviço Disque Denúncia. Esses relatos, frequentemente marcados por linguagem coloquial, erros ortográficos e estrutura textual livre, impõem desafios significativos ao uso de modelos tradicionais de Processamento de Linguagem Natural. Além do texto livre, os relatos são acompanhados de metadados estruturados, como tipo de ocorrência, localização e data que podem fornecer contexto adicional relevante para a tarefa. Neste estudo, propõe-se uma abordagem baseada em fine-tuning de modelos de linguagem de grande porte, utilizando um corpusmanualmente anotado, por quatro diferentes pessoas e pelo autor da dissertação, com entidades do tipo Pessoa, Local e Organização. Para contornar a escassez de dados rotulados, a metodologia inclui a aplicação de pseudo-rotulagem em um segundo corpus, significativamente maior, expandindo assim a base de treinamento de forma semissupervisionada. Adicionalmente, os metadados dos relatos são incorporados como fonte de contexto tanto no pré-processamento quanto no processo de avaliação e refinamento dos modelos. Os experimentos foram conduzidos com o modelo GliNER e avalia que a utilização de metadados e pseudo-rotulação pode contribuir para melhorar a performance dos modelos em corpora informais, com impactos positivos para a extração automatizada de informações em contextos de segurança pública. Os resultados reforçam o potencial de abordagens híbridas e sensíveis ao domínio para aplicações reais de Processamento de Linguagem Natural em ambientes com escassez de rótulos anotados.