Meta tiene otro nuevo modelo de IA en el expediente, y este parece perfectamente diseñado para la tierra del mañana si ese futuro utópico está lleno de nada más que falsificaciones profundas y audio modificado. Al igual que los generadores de imágenes de IA, Voicebox genera voces sintéticas basadas en un mensaje de texto simple desde cero o, en realidad, el sonido de miles de audiolibros.
El viernes, Meta anunció su nuevo Voicebox AI que puede crear clips de voz usando indicaciones de texto simples. en un video, el CEO Mark Zuckerberg compartió en su Facebook e Instagram, dijo que el modelo Voicebox AI puede tomar un mensaje de texto y leerlo en una variedad de voces humanas, aunque algo digitales. De lo contrario, Voicebox también puede modificar el audio para eliminar los ruidos no deseados de los clips de voz, como un perro ladrando de fondo. A diferencia de muchos otros modelos de síntesis de voz de IA, la IA de Meta puede crear audio en idiomas distintos al inglés, incluidos francés, español, alemán, polaco y portugués, y la compañía dijo que la IA puede traducir de manera efectiva cualquier pasaje de un idioma a otro, manteniendo el mismo estilo de voz.
Según meta, Voicebox puede tomar una muestra de audio de tan solo dos segundos de duración y luego hacer coincidir ese estilo de audio para la generación de texto a voz. De ser cierto, es más sofisticado que otros modelos de síntesis como Speechify o ElevenLabsque normalmente requieren un poco más de datos antes de que puedan generar una voz sintética de calidad.
En el clip promocional de Meta, una de las voces que se modifica suena asombrosamente como el propio Zuckerberg. Dependiendo de cuán capaz sea realmente el modelo, escuchar a Zuck trae a la mente algunos de los deepfakes inspirados en el CEO de Meta.
A diferencia de la empresa muchos otros lanzamientos de IA en los últimos tiempos, Voicebox no se convertirá en código abierto en su debut, todo lo cual recuerda que Meta podría estar restringiendo su última versión de IA debido a los posibles daños que podrían resultar. Si bien algunas personas en línea han usado programas similares para crear clips de voz sintetizados de sus personajes favoritos en los medios por diversiónotros los han usado en campañas de acoso contra los propios actores de doblaje. Por lo tanto, podría estar tratando de evitar daños o podría estar guardando este modelo potencialmente lucrativo para alguna empresa futura.
De acuerdo con la Trabajo de investigación de la caja de voz, el sistema se entrenó en más de 50 000 horas de habla sin filtrar ni mejorar de audiolibros en inglés y otras 60 000 horas de escucha de audiolibros multilingües. Es por eso que en el video de Meta, el habla sintética suena menos conversacional y más como alguien que le lee un cuento a un niño antes de dormir. Los investigadores dijeron que eventualmente escalarían el modelo para incluir un discurso más informal.
El modelo también está limitado en el sentido de que los usuarios no pueden controlar de forma independiente qué tipo de voz imita la IA y la emotividad de una muestra de voz diferente.
Pero lo más preocupante es que Meta no parece dirigirse al elefante en la habitación con su último artículo. Los investigadores no dijeron cuál los audiolibros eran utilizado para entrenar la IA, y de donde vinieron. No está claro si las decenas de miles de horas de audiolibros equivaldrían a muchos miles de audiolibros.
Gizmodo contactó a Meta para obtener más información sobre qué audiolibros se usaron en los datos de entrenamiento. Un portavoz de Meta dijo que eran audiolibros de «dominio público», aunque la compañía se negó a articular dónde descargó estos libros.
Los actores de voz tienen no ha estado especialmente contento con la proliferación de la IA, y están especialmente preocupados por los contratos que permiten a las empresas sintetizar sus voces sin compensación. Apple ya ha tomado calor por lanzar silenciosamente una serie de libros narrados por voces generadas por IA. Según los informes, el gigante tecnológico se ha acercado a varios de los principales editores de audiolibros para crear estas nuevas historias narradas por IA.
Teniendo en cuenta cómo han sido los ingresos del mercado de audiolibros creciendo a dos digitos año tras año, y la forma en que las industrias creativas están salivando por reducir los costos laborales, este último modelo podría convertirse en otro dolor de cabeza para los profesionales de la voz.
¿Quiere saber más sobre la IA, los chatbots y el futuro del aprendizaje automático? Consulte nuestra cobertura completa de inteligencia artificialo explore nuestras guías para Los mejores generadores de arte de IA gratuitos, Las mejores alternativas de ChatGPTy Todo lo que sabemos sobre ChatGPT de OpenAI.