AVALIAÇÃO DE MODELOS DE APRENDIZADO DE MÁQUINA PARA A CORREÇÃO AUTOMÁTICA DE REDAÇÕES SEGUNDO AS COMPETÊNCIAS DO ENEM
Carregando...
Arquivos
Data
Autores
Título da Revista
ISSN da Revista
Título de Volume
Editor
CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA CELSO SUCKOW DA FONSECA
Resumo
With the rise of remote education and the implementation of large-scale examinations such as ENEM, the automation of discursive text grading has become an increasing necessity. This work investigates different machine learning strategies for the Automatic Essay Scoring (AES) of Portuguese language texts, based on the five assessment competencies defined by ENEM. To this end, 9,599 essays were analyzed, collected from the Vestibular Brasil Escola portal, covering 102 topics published between 2009 and 2024. Two main approaches are compared: (i) traditional methods based on linguistic features extracted from the texts, and (ii) pre-trained language models with fine-tuning. Model performance is evaluated using the Quadratic Weighted Kappa (QWK) metric, which measures the degree of agreement with human raters. The study aims to demonstrate that pre-trained models provide significant gains in robustness and reliability, outperforming approaches based on feature engineering. This research contributes to the advancement of Automatic Essay Scoring in Portuguese by offering a benchmark and comparative analysis that can support future studies and educational applications.
Com o crescimento do ensino remoto e a aplicação de exames de larga escala como o ENEM, a automatização da correção de textos discursivos tornou-se uma necessidade crescente. Este trabalho investiga diferentes estratégias de aprendizado de máquina para avaliação automática de redações em língua portuguesa, tomando como referência as cinco competências avaliativas do ENEM. Para isso, foram analisadas 9.599 redações coletadas do portal Vestibular Brasil Escola, abrangendo 102 temas publicados entre 2009 e 2024. São comparadas duas linhas de abordagem: (i) métodos tradicionais baseados em features linguísticas extraídas dos textos, e (ii) modelos de linguagem pré-treinados com fine-tuning. O desempenho dos modelos é avaliado por meio da métrica Quadratic Weighted Kappa, que mede a concordância com corretores humanos. Espera-se demonstrar que modelos pré-treinados oferecem ganhos expressivos em robustez e confiabilidade, superando abordagens baseadas em engenharia de atributos. O estudo contribui para o avanço da área de Automatic Essay Scoring em português, oferecendo um benchmark e análise comparativa que podem apoiar futuras pesquisas e aplicações educacionais.
Com o crescimento do ensino remoto e a aplicação de exames de larga escala como o ENEM, a automatização da correção de textos discursivos tornou-se uma necessidade crescente. Este trabalho investiga diferentes estratégias de aprendizado de máquina para avaliação automática de redações em língua portuguesa, tomando como referência as cinco competências avaliativas do ENEM. Para isso, foram analisadas 9.599 redações coletadas do portal Vestibular Brasil Escola, abrangendo 102 temas publicados entre 2009 e 2024. São comparadas duas linhas de abordagem: (i) métodos tradicionais baseados em features linguísticas extraídas dos textos, e (ii) modelos de linguagem pré-treinados com fine-tuning. O desempenho dos modelos é avaliado por meio da métrica Quadratic Weighted Kappa, que mede a concordância com corretores humanos. Espera-se demonstrar que modelos pré-treinados oferecem ganhos expressivos em robustez e confiabilidade, superando abordagens baseadas em engenharia de atributos. O estudo contribui para o avanço da área de Automatic Essay Scoring em português, oferecendo um benchmark e análise comparativa que podem apoiar futuras pesquisas e aplicações educacionais.