Prácticas inspiradoras

Ganador 2023
Bolivia
Share
#Sociedadjusta

Con inteligencia artificial, estudiantes traducen lenguaje de señas en tiempo real

La programación y la mecánica fueron el camino hacia esta creación, que desea reducir barreras de comunicación a las personas con deficiencias auditivas

Profesor(a)

Foto de Alfredo Callisaya Huanca
Alfredo Callisaya Huanca

Escuelas

Unidad Educativa Japón B

Nombre del proyecto

Detección de lenguaje de señas en tiempo real

Áreas STEM

Ciencias, Matemáticas, Tecnología

Otras áreas de conocimiento

Mecânica

El lenguaje de señas puede ser una poderosa herramienta para personas con discapacidad auditiva. Sin embargo, aún hay barreras entre este idioma y los hablados. Con el objetivo de facilitar esta interacción, adolescentes de Bolivia desarrollaron un programa computacional que traduce en tiempo real las palabras en español y en señas. La creación fue ganadora de Solve for Tomorrow, en su primera edición en el país (2023).

Los jóvenes tenían entre 16 y 17 años y estaban en el último año de la educación secundaria y obligatoria. En Bolivia, esta etapa de enseñanza tiene enfoque humanístico y técnico. Al final, los estudiantes obtienen el título de bachilleres. “Por la mañana se toman las asignaturas básicas como matemáticas y ciencias sociales. En la tarde se toman las áreas de especialidades. Estos alumnos del proyecto son de Sistemas Informáticos”, dice el profesor mediador del proyecto, Alfredo Huanca.

Cuando Solve for Tomorrow hizo la llamada para inscripciones, varios grupos de la Unidad Educativa empezaron a formar ideas, como fue el caso de “Visionarios”, el equipo del programa de detección de lenguaje de señas en tiempo real. Para ellos, la idea empezó en una clase del maestro Huanca sobre visión artificial, es decir, la tecnología que utiliza inteligencia de la computadora combinada con información obtenida de imágenes. En otras palabras, a partir de lo que la máquina ve, puede generar acciones o tomar decisiones.

Así es que los jóvenes pensaron que podrían ser capaces de convertir las señas en palabras. “Vinieron con ideas, ya habían tenido dificultades en la comunicación con personas con discapacidad auditiva y querían ayudar con sus conocimientos técnicos”, destaca el educador.

Primeramente, pensaron en crear un prototipo físico, con pantalla, sensores y micrófono. Pero luego percibieron que se podía hacer todo desde la computadora, con micrófono y cámara internos. “Utilizamos un modelo de visión artificial que ya tiene un banco de datos. Así que cuando mueves la mano para hacer una señal que está en el sistema, ya se puede interpretar lo que eso representa en palabras o números”, explica.

Pero la inteligencia artificial necesita ser “enseñada” para lograr su trabajo. Entonces, el equipo tuvo que registrar en video las palabras que les gustaría que el sistema tradujera en esa etapa. La coordinadora del Bachillerato Técnico Humanístico de la Unidad Educativa fue una importante aliada, porque ya conocía con profundidad el lenguaje de señas y sugirió el vocabulario que sería fundamental incluir. “También nos enseñó sobre la precisión de los movimientos, señalando que a veces las personas no muestran bien las manos, por lo que necesitábamos grabar los movimientos más despacio para mejorar la capacidad del sistema para detectarlos”, detalló el profesor.

Detecto de lenguaje de señas

Otro apoyo fue del Gobierno Autónomo Municipal de El Alto, que tiene una Unidad de Atención a Personas con Discapacidad. “Con el coordinador de mi área decidimos visitar la Unidad y nos recibieron con los brazos abiertos. Nos han dicho que esta tecnología es lo que necesitaban y nos ayudaron a hacer la elección de palabras y las pruebas”, dice el profesor Alfredo Huanca. Los propios especialistas de la Unidad fueron los destinatarios de las pruebas y dieron su opinión. Al tratarse de un prototipo, decidieron conjuntamente centrarse sólo en palabras y expresiones básicas, que los alumnos aprendieron y reprodujeron en el software, como “Hola” y “¿Qué hora es?”.


Él afirma que las mentorías de Solve for Tomorrow fueron muy importantes para implementar de hecho la metodología STEM y entender cómo los proyectos de clase pueden contribuir para los objetivos de desarrollo sostenible. “Los coordinadores del programa siempre estuvieron junto conmigo y como profesor aprendí bastante”, evalúa.

Aprendemos que en programación tenemos que no solo tener paciencia y mucha atención sino que siempre intentar ver las cosas con otra perspectiva para encontrar una solución, enseña el profesor.

Ahora, el software está listo para ser implementado en cualquier computadora con sistema operativo actualizado, y puede ser útil para instituciones educativas, hospitalares, gestión pública, bancos, entre otros. En 2024, incluso, el educador tiene la intención de crear un sitio web para descargar gratuitamente el sistema, quizás involucrando a otros alumnos, convirtiéndose en un proyecto de toda la escuela. Además, ya recibieron invitación para hacer alianza con una universidad privada local, después que salió el resultado de Solve for Tomorrow. El objetivo es aún testear el programa con el público final: las personas con discapacidad auditiva.

“El impacto ha sido bastante grande no solo en el grupo, sino también en la Unidad Educativa. Los estudiantes de los cursos inferiores tienen ahora esta visión de que es posible realizar tal logro y los maestros de diferentes áreas evaluaron el proyecto positivamente y dijeron que tenemos que continuar haciendo este tipo de trabajo”, refuerza el maestro.

Ahora, los jóvenes de “Visionarios” están en la universidad y uno de ellos, José Pablo, está estudiando en la Universidad la carrera de Ingeniería de Sistemas. “Ya ha visto que con la tecnología se puede hacer mucho y quiere seguir más adelante”, cree Huanca.

¡Enfócate en la práctica!

Vea la guía del profesor sobre cómo crear un programa de detección de lenguaje de señas

Empatía

La idea nació mientras los alumnos aprendían sobre inteligencia artificial. Cuando conocieron los potenciales de uso de la capacidad de la computadora de procesar imágenes, pensaron que esa máquina podría ser un buen traductor entre personas con y sin discapacidades auditivas. 

Definición

En grupo, los jóvenes hicieron la investigación bibliográfica y profundizaron el manejo de la programación. Además, ya desde el inicio, el profesor organizó los roles específicos de cada uno según sus afinidades. Descargaron e instalaron las librerías de programación (también conocidas como biblioteca), que son un conjunto de códigos que ya tienen una funcionalidad de procesamiento.

Ideación

Primeramente, pensaron en crear un prototipo físico, con pantalla, sensores y micrófono. Pero luego percibieron que se podía hacer todo desde la computadora, con el micrófono y cámara internos. La solución tornó la creación más simple y económica, utilizando el lenguaje Python (lenguaje de programación de código abierto) y otros recursos gratuitos de programación.

Prototipo

Para llegar hasta el prototipo, crearon el archivo principal importando las librerías necesarias y configuraciones generales. Luego, desarrollaron el algoritmo para la detección de las manos en tiempo real. Pues, configuraron el ambiente de trabajo del software para posibilitar más inferencias de visión por ordenador a partir de datos sensoriales, como vídeo o audio. Algunas etapas más y persistiendo para que funcione el programa, lograron concluir el proyecto.

Testeo

El producto final fue testeado con la Unidad de Atención a Personas con Discapacidad del Gobierno Autónomo Municipal de El Alto y la coordinadora de Bachillerato Técnico Humanístico de la Unidad Educativa. “Nos han dado sugerencias sobre lo que podemos mejorar en la siguiente fase, para poder llevarlo al público final”, añade el profesor mediador Alfredo Huanca. La idea es continuar el proyecto en 2024, incluso con otros alumnos del colegio y más aliados.

#Calendario

El Solve for Tomorrow está presente en varios países de la región.

El programa sigue un cronograma y reglas específicas de acuerdo con la realidad de cada lugar. Visita el sitio web de tu país.

Consulta la fecha de anuncio de los finalistas de 2024.

¡Suscríbete en la newsletter de la plataforma Solve for Tomorrow Latam y recibe todos los meses las últimas actualizaciones del programa en la región!

¡Suscríbete!