INTERPRETAÇÃOO DE GESTOS DINÂMICOS DE LIBRAS USANDO K-MEANS E RANDOM FOREST

Abstract

People with more severe hearing loss often use sign language to communicate. However, the majority of the population is not proficient in sign language communication, which can create barriers to social inclusion and effective communication. In this context, the implementation and use of assistive technologies to help translate and interpret sign languages is essential to promote greater accessibility and inclusion.. Exploring a sub-area of computer vision known as SLR, we propose a low-cost framework to classify Libras signals in videos. The proposed method uses MediaPipe to extract user key points, K-Means to cluster these points, and KNN classifiers and Random Forest to classify the clusters. The experimental results show that the proposed model achieved an accuracy of 94.72% using the MINDS-Libras database with the Random Forest classifier, highlighting the framework's potential in practical applications. In addition, the use of accessible tools and established algorithms reinforces the system's viability for large-scale implementation, promoting the development of inclusive and accessible technologies aimed at communication between disabled people and listeners.

Pessoas com perdas mais graves de audição costumam utilizar uma língua de sinais para se comunicar. Contudo, a maioria da população não domina a comunicação em línguas de sinais, o que pode gerar barreiras de inclusão social e comunicação efetiva. Nesse contexto, a implementação e utilização de tecnologias assistivas que auxiliem na tradução e interpretação de línguas de sinais torna-se essencial para promover maior acessibilidade e inclusão. Explorando uma sub-área da visão computacional conhecida como SLR, propomos um framework de baixo custo para classificar sinais da Libras em vídeo. O método proposto utiliza MediaPipe para extração de pontos-chaves de usuários, K-Means para agrupar esses pontos e classificadores KNN e Random Forest para classificar os agrupamentos. Os resultados experimentais mostram que o modelo proposto alcançou uma acurácia de 94,72% utilizando a base de dados MINDS-Libras com o classificador Random Forest, destacando o potencial do framework em aplicações práticas. Além disso, o uso de ferramentas acessíveis e algoritmos consagrados reforça a viabilidade do sistema para ser implementado em larga escala, promovendo o desenvolvimento de tecnologias inclusivas e acessíveis voltadas para a comunicação entre deficientes e ouvintes.