Casi la mitad de los aproximadamente 7.000 idiomas conocidos del mundo, cuatro de cada diez de ellos existen sin un componente escrito que los acompañe. Estos lenguajes no escritos plantean un problema único para los sistemas modernos de traducción de aprendizaje automático, ya que normalmente necesitan convertir el habla verbal en palabras escritas antes de traducir al nuevo idioma y revertir el texto al habla, pero Meta supuestamente lo ha abordado con su última versión abierta. -Avance de la IA en el idioma de origen.
Como parte del programa Universal Speech Translator (UST) de Meta, que está trabajando para desarrollar una traducción de voz a voz en tiempo real para que pueda interactuar más fácilmente (léase: ). Como parte de este proyecto, los investigadores de Meta analizaron el hokkien, un idioma no escrito que se habla en toda la diáspora de Asia y uno de los idiomas oficiales de Taiwán.
Los sistemas de traducción de aprendizaje automático generalmente requieren extensos ejemplos etiquetables del idioma, tanto escrito como hablado, para entrenar, precisamente lo que los idiomas no escritos como Hokkien no tienen. Para evitar eso, «utilizamos la traducción de voz a unidad (S2UT) para convertir el habla de entrada en una secuencia de unidades acústicas directamente en el camino previamente iniciado por Meta», explicó el CEO Mark Zuckerberg en una publicación de blog el miércoles. “Luego, generamos formas de onda a partir de las unidades. Además, se adoptó UnitY para un mecanismo de decodificación de dos pasos en el que el decodificador de primer paso genera texto en un idioma relacionado (mandarín) y el decodificador de segundo paso crea unidades”.
“Aprovechamos el mandarín como idioma intermedio para crear pseudoetiquetas, donde primero traducimos el habla en inglés (o Hokkien) a texto en mandarín, y luego traducimos a Hokkien (o inglés) y lo agregamos a los datos de capacitación”, continuó. Actualmente, el sistema permite que alguien que hable Hokkien converse con alguien que hable inglés, aunque de manera forzada. El modelo solo puede traducir una oración completa a la vez, pero Zuckerberg confía en que la técnica eventualmente se pueda aplicar a más idiomas y mejorará hasta el punto de ofrecer traducción en tiempo real.
Además de los modelos y los datos de capacitación que Meta ya está obteniendo de código abierto a partir de este proyecto, la compañía también está lanzando un sistema de evaluación comparativa de traducción de voz a voz, el primero en su tipo, basado en un corpus de voz de Hokkien llamado Taiwanese Across Taiwan. , así como “la matriz de voz, un gran corpus de traducciones de voz a voz extraídas con la innovadora técnica de minería de datos de Meta llamada LASER”, anunció Zuckerberg. Este sistema permitirá a los investigadores crear sus propios sistemas de traducción de voz a voz (S2ST).
Todos los productos recomendados por Engadget son seleccionados por nuestro equipo editorial, independiente de nuestra empresa matriz. Algunas de nuestras historias incluyen enlaces de afiliados. Si compra algo a través de uno de estos enlaces, podemos ganar una comisión de afiliado. Todos los precios son correctos en el momento de la publicación.