ElevenLabs, una startup de inteligencia artificial que ofrece servicios de clonación de voz con sus herramientas, ha prohibido al usuario que creó un audio deepfake de Joe Biden utilizado en un intento de perturbar las elecciones, según Bloomberg. El audio que se hace pasar por el presidente se utilizó en una llamada automática que se envió a algunos votantes en New Hampshire la semana pasada, diciéndoles que no votaran en las primarias de su estado. Inicialmente no estaba claro qué tecnología se utilizó para copiar la voz de Biden, pero un análisis exhaustivo realizado por la empresa de seguridad Pindrop mostró que los perpetradores utilizaron las herramientas de ElevanLabs.
La empresa de seguridad eliminó el ruido de fondo y limpió el audio de la llamada automática antes de compararlo con muestras de más de 120 tecnologías de síntesis de voz utilizadas para generar deepfakes. Dijo el director ejecutivo de Pindrop, Vijay Balasubramaniyan cableado que «regresó muy por encima del 99 por ciento de que era ElevenLabs». Bloomberg dice que la compañía fue notificada de los hallazgos de Pindrop y aún está investigando, pero ya identificó y suspendió la cuenta que hizo el audio falso. ElevenLabs le dijo a la organización de noticias que no puede comentar sobre el tema en sí, pero que está «dedicado a prevenir el uso indebido de herramientas de inteligencia artificial de audio y [that it takes] cualquier incidente de mal uso es extremadamente grave».
La llamada automática de Biden, falsificada, muestra cómo las tecnologías que pueden imitar la imagen y la voz de otra persona podrían usarse para manipular los votos en las próximas elecciones presidenciales en Estados Unidos. «Esto es sólo la punta del iceberg de lo que se podría hacer con respecto a la supresión de votantes o los ataques a los trabajadores electorales», dijo Kathleen Carley, profesora de la Universidad Carnegie Mellon. La colina. «Fue casi un presagio de todo tipo de cosas que deberíamos esperar en los próximos meses».
Solo le tomó a Internet unos días después de que ElevenLabs lanzara la versión beta de su plataforma para comenzar a usarla para crear clips de audio que suenan como celebridades leyendo o diciendo algo cuestionable. La startup permite a los clientes utilizar su tecnología para clonar voces para «discursos artísticos y políticos que contribuyan a los debates públicos». Su página de seguridad advierte a los usuarios que «no pueden clonar una voz con fines abusivos como fraude, discriminación, incitación al odio o cualquier forma de abuso en línea sin infringir la ley». Pero está claro que necesita implementar más salvaguardias para evitar que los malos actores utilicen sus herramientas para influir en los votantes y manipular las elecciones en todo el mundo.
Este artículo contiene enlaces de afiliados; Si hace clic en dicho enlace y realiza una compra, podemos ganar una comisión.