Práticas inspiradoras

Vencedor 2023
Bolívia
Share
#Sociedadejusta

Com inteligência artificial, alunos traduzem linguagem de sinais em tempo real

A programação e a mecânica foram o caminho para esta criação, que visa reduzir as barreiras de comunicação para pessoas com deficiência auditiva.

Professor(a)

Foto de Alfredo Callisaya Huanca
Alfredo Callisaya Huanca

Escolas

Unidad Educativa Japón B

Nome do projeto

Detección de lenguaje de señas en tiempo real

Áreas STEM

Ciências, Matemática, Tecnologia

Outras áreas de conhecimento

Mecânica

A linguagem de sinais pode ser uma ferramenta poderosa para pessoas com deficiência auditiva. No entanto, ainda existem barreiras entre esta língua e as faladas. Com o objetivo de facilitar esta interação, adolescentes da Bolívia desenvolveram um programa computacional que traduz palavras em espanhol e em sinais em tempo real. A criação foi vencedora do Solve for Tomorrow, em sua primeira edição no país (2023).

Os jovens tinham entre 16 e 17 anos e frequentavam o último ano do ensino secundário e obrigatório. Na Bolívia, esta etapa do ensino tem enfoque humanístico e técnico. Ao final, os estudantes obtêm o diploma de bacharel. “De manhã são cursadas disciplinas básicas como matemática e ciências sociais. À tarde, são cursadas áreas de especialidade. Esses alunos do projeto são de Sistemas de Computação”, diz o professor mediador do projeto, Alfredo Huanca.

Quando o Solve for Tomorrow abriu a convocatória para inscrições, vários grupos da Unidade Educativa começaram a formar ideias, como foi o caso dos “Visionários”, a equipe do programa de detecção de linguagem de SINAIS em tempo real. Para eles, a ideia começou em uma aula do professor Huanca sobre visão artificial, ou seja, a tecnologia que utiliza inteligência computacional combinada com informações obtidas de imagens. Ou seja, a partir do que a máquina vê, ela pode gerar ações ou tomar decisões.

Então, os jovens pensaram que poderiam transformar sinais em palavras. “Eles vieram com ideias, já tinham dificuldades de comunicação com pessoas com deficiência auditiva e queriam ajudar com seu conhecimento técnico”, destaca a educadora.

Primeiro, pensaram em criar um protótipo físico, com tela, sensores e microfone. Mas perceberam que tudo poderia ser feito no computador, com o microfone interno e a câmera. “Utilizamos um modelo de visão computacional que já possui um banco de dados. Assim, quando você move a mão para fazer um sinal que está no sistema, já consegue interpretar o que isso representa em palavras ou números”, explica.

Mas a inteligência artificial precisa ser “ensinada” a fazer o seu trabalho. A equipe teve que gravar em vídeo as palavras que gostaria que o sistema traduzisse naquela fase. A coordenadora do Bacharelado Técnico Humanístico da Unidade Educacional foi uma importante aliada, pois já conhecia a fundo a língua de sinais e sugeriu o vocabulário que seria fundamental incluir. “Ele também nos ensinou sobre a precisão dos movimentos, ressaltando que às vezes as pessoas não mostram bem as mãos, por isso precisávamos registrar os movimentos mais lentamente para melhorar a capacidade do sistema de detectá-los”, explicou o professor.

Detecto de lenguaje de señas

Outro apoio veio da Prefeitura Autônoma de El Alto, que conta com uma Unidade de Atendimento a Pessoas com Deficiência. “Eu e meu coordenador de área decidimos visitar a Unidade e eles nos receberam de braços abertos. Disseram-nos que essa tecnologia era o que eles precisavam e nos ajudaram na escolha das palavras e nos testes”, disse o professor Alfredo Huanca. Os próprios especialistas da Unidade foram os destinatários dos testes e deram a sua opinião. Por se tratar de um protótipo, decidiram, em conjunto, focar apenas em palavras e expressões básicas, que os alunos aprenderam e reproduziram no software, como “Olá” e “Que horas são?”.


Ele afirma que as mentorias do Solve for Tomorrow foram muito importantes para de fato implementar a metodologia STEM e entender como os projetos feitos em classe podem contribuir para os objetivos de desenvolvimento sustentável. “Os coordenadores do programa estiveram sempre comigo e como professor aprendi muito”, avalia.

Aprendemos que na programação é preciso não só ter paciência e muita atenção, mas também tentar sempre ver as coisas de outra perspectiva para encontrar uma solução, ensina o professor.

Agora, o software está pronto para ser implementado em qualquer computador com sistema operacional atualizado, podendo ser útil para instituições de ensino, hospitais, gestão pública, bancos, entre outros. Em 2024, o educador pretende criar um site para baixar o sistema gratuitamente, talvez envolvendo outros alunos, tornando-se um projeto para toda a escola. Além disso, já receberam um convite para formar uma aliança com uma universidade privada local, após a divulgação dos resultados do Solve for Tomorrow. O objetivo é ainda testar o programa junto ao público final: pessoas com deficiência auditiva.

“O impacto tem sido bastante grande não só no grupo, mas também na Unidade Educacional. Os alunos das séries iniciais agora têm essa visão de que é possível alcançar tal conquista e os professores de diversas áreas avaliaram o projeto positivamente e disseram que temos que continuar fazendo esse tipo de trabalho”, reforça o professor.

Agora, os jovens dos “Visionários” estão na universidade e um deles, José Pablo, está cursando Engenharia de Sistemas na Universidade. “Ele já viu que muito pode ser feito com tecnologia e quer continuar”, acredita Huanca.

Foco na prática!

Confira o guia do professor sobre como criar um programa de detecção de linguagem de sinais. Empatia

Empatia

A ideia nasceu enquanto os alunos aprendiam sobre inteligência artificial. Quando descobriram os usos potenciais da capacidade do computador para processar imagens, pensaram que esta máquina poderia ser um bom tradutor entre pessoas com e sem deficiência auditiva.

Definição

Em grupo, os jovens fizeram pesquisas bibliográficas e aprofundaram a gestão da programação. Além disso, desde o início, o professor organizou as funções específicas de cada um de acordo com suas afinidades. Eles baixaram e instalaram as bibliotecas de programação (também conhecidas como bibliotecas), que são um conjunto de códigos que já possuem funcionalidade de processamento.

Ideação

Primeiro, pensaram em criar um protótipo físico, com tela, sensores e microfone. Mas depois perceberam que tudo poderia ser feito a partir do computador, com microfone interno e câmera. A solução tornou a criação mais simples e barata, utilizando a linguagem Python (linguagem de programação de código aberto) e outros recursos de programação gratuitos.

Protótipo

Para chegar ao protótipo, criaram o arquivo principal importando as bibliotecas e configurações gerais necessárias. Em seguida, eles desenvolveram o algoritmo para detecção de mãos em tempo real. Bem, eles configuraram o ambiente de trabalho do software para permitir mais inferências de visão computacional a partir de dados sensoriais, como vídeo ou áudio. Mais algumas etapas e persistindo para fazer o programa funcionar, conseguiram concluir o projeto. Mais detalhes aqui (em espanhol).

Teste

O produto final foi testado com a Unidade de Atendimento a Pessoas com Deficiência da Prefeitura Autônoma de El Alto e com o coordenador do Bacharelado Técnico Humanístico da Unidade Educacional. “Eles nos deram sugestões sobre o que podemos melhorar na próxima fase, para poder levar ao público final”, acrescenta o professor mediador Alfredo Huanca. A ideia é dar continuidade ao projeto em 2024, ainda com outros alunos da escola e mais aliados.

Inscreva-se na newsletter da plataforma Solve for Tomorrow Latam e receba todo mês as principais atualizações do programa na região.

Inscreva-se