Hemos visto el Frambuesa Pi solía unir todo tipo de conexiones, pero hoy compartimos un proyecto Pi que cierra una brecha en la conexión humana. El creador y desarrollador Prabhjot Singh ha creado lo que él llama Enlace sordo. Utiliza una Raspberry Pi como centro de traducción que le permite convertir el lenguaje de señas en voz audible y el habla en lenguaje de señas usando una mano robótica.
El primer modo se conoce como señal al habla. Para capturar el lenguaje de señas, Pi utiliza un módulo de cámara. Los datos de entrada se procesan utilizando OpenCV y MediaPipe con Google TensorFlow y cientos de imágenes en lenguaje de señas. Una vez que se identifica el letrero, se traduce a audio que se emite a un altavoz.
Imagen 1 de 2
El segundo modo es el modo de voz a señal, que es donde las cosas se vuelven un poco locas. El audio se detecta mediante un micrófono que luego se analiza a través de la API de voz a texto de Google. El texto lo maneja un broker MQTT que lo pasa a un Arduino. Este Arduino acciona servos en la mano robótica para recrear el texto como lenguaje de señas.
La placa principal que impulsa el proyecto es una Raspberry Pi 4 B junto con un Arduino Nano 33 IoT. El Pi está conectado a un módulo de cámara Raspberry Pi 3 y un micrófono Razer Seiren Mini. El Arduino está conectado a los seis servomotores utilizados dentro de la prótesis de mano. Todo está montado dentro de una carcasa personalizada.
En cuanto al software, Singh está utilizando algunas herramientas, incluidas MQTT, OpenCV y Tensorflow. Si quieres saber más sobre cómo se programa este proyecto, estás de suerte. Singh decidió hacer que todo el proyecto sea de código abierto para que pueda encontrar más detalles en la guía del proyecto compartida con pirata informático para ver cómo va todo junto.
Si quieres ver esto proyecto frambuesa pi en acción, puedes ver el vídeo de demostración compartido con YouTube por Singh. Asegúrate de seguir a Singh para conocer más creaciones interesantes y futuras actualizaciones sobre esta.