ElevenLabs está construyendo una máquina de doblaje universal con IA


Después de que Disney lance una nueva película en inglés, la compañía volverá y la localizará en hasta 46 idiomas globales para que la película sea accesible a una audiencia lo más amplia posible. Se trata de una tarea enorme, para la cual Disney cuenta con una división completa, Disney Character Voices International Inc, para encargarse de la tarea. Y no es que vayas a llevar a Chris Pratt de vuelta a la cabina de grabación para doblar su GotGIII líneas en islandés y swahili; cada versión suena un poco diferente dados los actores de doblaje locales. Pero con un nuevo sistema de «doblaje mediante IA» de ElevenLabs, pronto podremos obtener una recreación cercana de la voz de Pratt, independientemente del idioma que se hable en pantalla.

ElevenLabs es una startup de IA que ofrece un servicio de clonación de voz, que permite a los suscriptores generar vocalizaciones casi idénticas con IA basadas en unos pocos minutos de carga de muestras de audio. No es de extrañar que, tan pronto como la función se lanzó en versión beta, fuera inmediatamente explotada para hacerse pasar por celebridades, a veces incluso sin su conocimiento y consentimiento previo.

La nueva función de doblaje de IA hace esencialmente lo mismo (en más de 20 idiomas diferentes, incluidos hindi, portugués, español, japonés, ucraniano, polaco y árabe), pero de forma legítima y con permiso. Esta herramienta está diseñada para que la utilicen empresas de medios, educadores y personas influyentes de Internet que no tienen Disney Money™ para financiar sus esfuerzos de adaptación global.

ElevenLabs afirma que el sistema no sólo podrá traducir «contenido hablado a otro idioma en minutos», sino también generar nuevos diálogos hablados en el idioma de destino utilizando la propia voz del actor. O, al menos, una recreación generada por IA. Según se informa, el sistema incluso es capaz de mantener la «emoción y entonación» del diálogo existente y transferirlo a la traducción generada.

«Ayudará al público a disfrutar de cualquier contenido que desee, independientemente del idioma que hable», dijo el director ejecutivo de ElevenLabs, Mati Staniszewski, en un comunicado de prensa. «Y significará que los creadores de contenido podrán acceder de manera fácil y auténtica a una audiencia mucho mayor en todo el mundo».



Source link-47