PROBEE: UM PROCESSO BASEADO EM PROVENIÊNCIA PARA RASTREIO DO COMPORTAMENTO DE ALUNOS EM JOGOS EDUCACIONAIS

Abstract

In several areas of knowledge, the use of practical activities is important for consolidating the knowledge presented in class by students. The use of digital games has been proposed as educational tools. However, the challenge arises of finding a balance between gameplay/entertainment and the effective integration of theoretical concepts. Recent studies in the field of learning analytics offer methodologies and approaches for the analysis of educational games, but more in-depth and comprehensive analyses are still scarce, especially in games with a wide range of decisions and gameplay. The use of data provenance in games, although underexplored, emerges as a promising approach. This work presents ProBee, a provenance-based model developed for the analysis of educational games. ProBee utilizes an approach that collects and analyzes provenance data, recording all actions taken by the player, including temporal information. This methodology allows for tracking the temporal sequences of the game, revealing player behavior and the strategy adopted during the gaming session. To evaluate the effectiveness of ProBee, we conducted a case study with the educational game Control Harvest, which assists teachers in presenting the topic of Biological Control. Two assessments were carried out, including three distinct analyses: (i) performance assessment in relation to understanding, (ii) performance assessment in relation to attractiveness, and (iii) assessment of engagement with game goals. The results from both assessments demonstrate that the proposed process offers a significant advantage, especially in games with multiple options and gameplay. With the application of ProBee, it was possible to identify and evaluate students’ performance when using the Control Harvest game, taking into account the teaching objectives.Em diversas áreas do conhecimento, o uso de atividades práticas é importante para consolidação do conhecimento visto em aula por alunos. O uso de jogos digitais têm sido propostos como ferramentas educacionais. No entanto, surge o desafio de encontrar um equilíbrio entre a jogabilidade/entretenimento e a efetiva mobilização dos conceitos teóricos. Estudos recentes na área de análise de aprendizagem oferecem metodologias e abordagens para a análise de jogos educacionais, porém análises mais aprofundadas e abrangentes ainda são escassas, especialmente em jogos com ampla variedade de decisões e jogabilidade. A utilização da proveniência de dados em jogos, embora pouco explorada, surge como uma promissora abordagem. Este trabalho apresenta o ProBee, um modelo baseado em proveniência desenvolvido para análise de jogos educacionais. O ProBee utiliza uma abordagem que coleta e analisa dados de proveniência, registrando todas as ações realizadas pelo jogador, incluindo informações temporais. Essa metodologia permite rastrear as séries temporais do jogo, revelando o comportamento do jogador e a estratégia adotada durante a sessão de jogo. Para avaliar a eficácia do ProBee, realizamos um estudo de caso com o jogo educativo Control Harvest, que auxilia os professores na apresentação do tema Controle Biológico. Duas avaliações foram realizadas contando com três análises distintas: (i) avaliação do desempenho em relação com o entendimento, (ii) avaliação do desempenho em relação a atratividade e (iii) avaliação do engajamento das metas de jogo. Os resultados encontrados em ambas avaliações demonstram que o processo proposto oferece uma vantagem significativa, especialmente em jogos com várias opções e jogabilidade. Com a aplicação do ProBee foi possível identificar e avaliar o desempenho dos alunos ao utilizar o jogo Control Harvest levando em consideração os objetivos de ensino.