¿Quién podría haberlo visto venir? Se han utilizado generadores de imágenes de IA para crear pornografía no consentida de celebridades, pero ¿por qué ese mismo usuario base se atreve a abusar de un generador de voz falso de texto a voz de IA gratuito?
ElevenLabs con sede en el Reino Unido primero promocionado su Prime Voice AI a principios de este mes, pero solo unas semanas después, es posible que deba repensar todo su modelo después de que los usuarios informaron que una gran cantidad de usuarios crearon mensajes de odio con voces del mundo real. La compañía lanzó su primer sistema beta abierto de texto a voz el 23 de enero. Los desarrolladores prometieron que las voces coincidieran con el estilo y la cadencia de un ser humano real. La función «Laboratorio de voz» de la empresa permite a los usuarios clonar voces a partir de pequeñas muestras de audio.
tarjeta madre informó por primera vez el lunes sobre una gran cantidad de usuarios de 4Chan que subían voces falsas de celebridades o personalidades de Internet, desde Joe Rogan hasta Robin Williams. Según los informes, un usuario de 4Chan publicó un clip de Emma Watson leyendo un pasaje de Mein Kampf. Otro usuario tomó una voz que, según los informes, sonaba como Rick Sánchez de Justin Roiland de rick y morty hablando de cómo iba a golpear a su esposa, una referencia obvia a acusaciones actuales de abuso doméstico contra el co-creador de la serie.
En un hilo de 4Chan revisado por Gizmodo, los usuarios publicaron clips de la IA expresando misoginia intensa o transfobia usando voces de personajes o narradores de varios anime o videojuegos. Todo esto es para decir que es exactamente lo que esperaría que hiciera la axila de Internet una vez que tenga en sus manos tecnología deepfake fácil de usar.
El lunes, la compañía tuiteó que tuvieron un «fin de semana loco» y notó que mientras su tecnología «se estaba aplicando abrumadoramente al uso positivo», los desarrolladores vieron un «número creciente de casos de uso indebido de clonación de voz». pero no nombró una plataforma o plataformas específicas donde el uso indebido estaba teniendo lugar.
G/O Media puede recibir una comisión
ElevenLabs ofreció algunas ideas sobre cómo limitar el daño, incluida la introducción de alguna verificación de cuenta, que podría incluir un pago por adelantado, o incluso eliminar la versión gratuita del laboratorio de voz por completo, lo que significaría verificar manualmente cada solicitud de clonación.
La semana pasada, ElevenLabs lo anunció recibió $ 2 millones en fondos previos a la semilla liderado por Credo Ventures, con sede en la República Checa. La pequeña compañía de inteligencia artificial que podía planeaba ampliar su operación y usar el sistema también en otros idiomas, según su presentación. Este mal uso admitido es un giro para los desarrolladores que eran muy optimistas sobre dónde podría ir la tecnología. La compañía pasó la semana pasada promocionando su tecnología, diciendo que su sistema podría reproducir Personalidades de la televisión polaca. La empresa promovió aún más la idea de poner humano narradores de audiolibros sin trabajo. El sitio web beta habla hAhora el sistema podría automatizar audio para artículos de noticias, o incluso crear audio para videojuegos.
El sistema ciertamente puede imitar voces bastante bien, solo en base a las voces revisadas por Gizmodo. Es posible que un laico no pueda notar la diferencia entre un clip falso de Rogan hablando sobre hábitos pornográficos y un clip real de su podcast. Aún así, definitivamente hay una cualidad robótica en el sonido que se vuelve más evidente en clips más largos.
Gizmodo contactó a ElevenLabs para hacer comentarios a través de Twitter, pero no recibimos respuesta de inmediato. Actualizaremos esta historia si escuchamos más.
Hay muchas otras empresas que ofrecen su propia herramienta de texto a voz, pero mientras El sistema VALL-E similar de Microsoft aún no se ha lanzadootras compañías más pequeñas han dudado mucho menos en abrir la puerta para que cualquiera pueda abusar. Los expertos en inteligencia artificial le han dicho a Gizmodo este impulso para sacar las cosas por la puerta sin una revisión de ética continuará dando lugar a problemas como este.