Una semana después de abrir el acceso a su plataforma de clonación de voz, la startup de voz de IA ElevenLabs dice que es posible que deba repensar esa apertura en medio de «un número creciente de casos de uso indebido de clonación de voz».
La compañía, fundada en 2022 por el ex ingeniero de aprendizaje automático de Google, Piotr Dabkowski, y el ex estratega de implementación de Palantir, Mati Staniszewski, abordó el problema en Twitter después de que Vice encontrara clips.(Se abre en una nueva ventana) en 4chan con lo que suenan como voces de celebridades generadas automáticamente que hacen declaraciones cuestionables. Uno, por ejemplo, parece ser la actriz Emma Watson leyendo de MI lucha; otros incluyen sentimientos homofóbicos, transfóbicos, violentos y racistas de personalidades de los medios como Joe Rogan y Ben Shapiro.
Aunque no está claro cuáles de los clips de 4chan se crearon con la versión beta de ElevenLabs, una publicación contenía un enlace a Prime Voice AI, lo que sugiere que es posible que se haya empleado el software de la compañía.
«Si bien vemos que nuestra tecnología se aplica abrumadoramente al uso positivo, también vemos un número creciente de casos de uso indebido de clonación de voz. Nos gustaría abordar esto implementando salvaguardas adicionales», escribió la firma en un hilo de Twitter del lunes(Se abre en una nueva ventana)arrojando ideas como eliminar su plataforma Voice Lab para crear nuevas voces y, en su lugar, verificar manualmente cada solicitud de clonación.
Alentó a las personas a responder en Twitter o enviar mensajes directos a la empresa con sus pensamientos. Con base en las respuestas públicas, varias personas (que no parecen estar en deuda con los abogados corporativos) piensan que ElevenLabs debería dejar de lado la precaución y no hacer nada. «La voz es solo un rango de frecuencia», dijo una persona. «Considere no hacer nada hasta que obtenga un cese y desista o algo así», escribió otro. Algunos ofrecieron apoyo tentativo para un servicio pago.
Recomendado por Nuestros Editores
ElevenLabs ofrece «síntesis de voz» y «clonación de voz», la última de las cuales da como resultado una grabación de muestra limpia, de más de un minuto de duración. Mientras tanto, la «clonación profesional» supuestamente puede reproducir cualquier acento, para su uso en boletines, libros y videos.
Avances similares en la automatización llevaron previamente a un aumento de los videos falsos profundos (específicamente: pornografía). Y aunque ElevenLabs creó su software con el objetivo de «convertir instantáneamente el audio hablado entre idiomas», siempre habrá alguien que abuse de él.
¡Obtenga nuestras mejores historias!
Matricularse en ¿Qué hay de nuevo ahora? para recibir nuestras mejores historias en su bandeja de entrada todas las mañanas.
Este boletín puede contener publicidad, ofertas o enlaces de afiliados. Suscribirse a un boletín informativo indica su consentimiento a nuestros Términos de uso y Política de privacidad. Puede darse de baja de los boletines en cualquier momento.