Jovem cria aplicativo que permite traduzir Libras em tempo real com uso de IA e aprender língua de sinais

Para promover a integração da comunidade surda com a sociedade, o desenvolvedor Gabriel Sales (25) criou um aplicativo que utiliza Inteligência Artificial (IA) e conta com funções de ensino e tradução da Língua Brasileira de Sinais (Libras).

Tudo começou na universidade, quando o jovem carioca cursou uma disciplina em que a professora que ministrou é surda nativa. Em sua primeira aula, ela compartilhou sua trajetória de obstáculos e superação até se tornar uma docente universitária. 

Naquele momento, Gabriel teve um choque de realidade. Refletiu sobre a dificuldade que é para uma pessoa surda poder ocupar este espaço. A história inspirou o estudante, que alimenta desde sua infância um espírito de justiça social, a se desafiar e desenvolver algo que pudesse ajudar de alguma forma essa realidade.

Dessa forma, sem apoio e de forma independente, o programador criou o Aprenda Libras, aplicativo que permite aprender e praticar a Libras com uso de IA e a câmera do celular.

Veja um breve funcionamento do app no vídeo abaixo:

Confira também: Ciência em Libras - Projeto com estudantes surdos une sustentabilidade e iniciação científica

Aplicativo que traduz Libras em tempo real com uso de IA 

O aplicativo 'Aprenda Libras' é uma plataforma de aprendizagem e comunicação de Libras que utiliza IA para seu funcionamento.

As funções do Aprenda Libras oportuniza às pessoas surdas se comunicarem com outras pessoas não-surdas em ambientes diversos como um restaurante ou um café. O objetivo principal do projeto é estimular e promover essa integração com a sociedade.

No módulo de tradução, Gabriel está utilizando de forma temporária o avatar do VLibras, IA do Governo Federal, até ele desenvolver seu próprio avatar. Na aba de colaboração, os próprios usuários podem enviar sinais, que contam com variações regionais, para que possam ser implementados e treinados pelo sistema. 

Além disso, é possível aprender Libras com o app e monitorar a evolução no aprendizado.

"A importância de ferramentas como essa reside justamente na acessibilidade. Tive contato com alguns surdos que relataram que um dos piores cenários ocorre em hospitais, pois a maioria deles não conta com intérpretes, principalmente os de menor porte. São dificuldades cotidianas pelas quais nós não passamos"

Gabriel Sales 

Por enquanto, o app está disponível somente na Play Store. A pretensão de Gabriel é que a aplicação funcione também na App Store, em dispositivos como Mac e iPhone. Além disso, também existe a previsão de lançamento de uma versão web, já que o sistema funciona bem em computadores.

Faça download do aplicativo Aprenda Libras aqui!

Veja também: Mulheres surdas compartilham histórias e reforçam importância da educação inclusiva 

Desenvolvimento e funcionamento 

Gabriel Sales utilizou o MediaPipe, tecnologia de código aberto do Google, para contribuir no mapeamento e reconhecimento do corpo humano. Ele capturou em um pequeno vídeo uma sequência de frames com objetivo de construir uma arquitetura de rede neural.

A sequência de frames registra o movimento que a pessoa faz para gerar o sinal de Libras. A IA recebe essa entrada, reconhece o movimento e devolve qual sinal está sendo feito, explica.

Com isso, ele verificou que o sistema funcionava. O próximo desafio foi alimentar a IA com mais dados. O aplicativo em si, desenvolvido, permite com que seus usuários envie sinais e alimente o sistema de IA para aumentar a base de dados da plataforma.

Após sugestão de uma seguidora, Gabriel aprimorou o app que permite traduzir inserções de outros idiomas como o espanhol em Libras. Isso permite com que uma pessa surda usuária do aplicativo interaja com falante de uma língua estrangeira.

Saiba como é o curso de Inteligência Artificial na prática

Fique por dentro de como é, na prática, o curso de graduação de IA no vídeo abaixo:

Por Lucas Afonso
Jornalista