El jueves, la policía del condado de Baltimore arrestó al exdirector deportivo de Pikesville High School, Dazhon Darien, y lo acusó de usar inteligencia artificial para hacerse pasar por el director Eric Eiswert, según un informe de The Baltimore Banner. La policía dice que Darien utilizó un software de síntesis de voz con inteligencia artificial para simular la voz de Eiswert, lo que llevó al público a creer que el director hizo comentarios racistas y antisemitas.
El clip de audio, publicado en una popular cuenta de Instagram, contenía comentarios ofensivos sobre «niños negros desagradecidos» y su rendimiento académico, así como una amenaza de «unirse al otro lado» si el orador recibía una queja más de «un judío más en esta comunidad.» La grabación también menciona nombres de miembros del personal, incluido el apodo de Darién, «DJ», lo que sugiere que no deberían haber sido contratados o deberían ser eliminados «de una forma u otra».
Los comentarios provocaron un gran revuelo entre los estudiantes, los profesores y la comunidad en general, muchos de los cuales inicialmente creyeron que el director realmente había hecho los comentarios. Según los informes, una maestra de la escuela secundaria Pikesville llamada Shaena Ravenell jugó un papel importante en la difusión del audio. Si bien no ha sido acusada, la policía indicó que reenvió el controvertido correo electrónico a un estudiante conocido por su capacidad para difundir información rápidamente a través de las redes sociales. Luego, este estudiante aumentó el alcance del audio, lo que incluyó compartirlo con los medios y la NAACP.
La policía del condado de Baltimore dice que Darien había accedido a las redes escolares para buscar y utilizar herramientas de inteligencia artificial capaces de imitar la voz. La policía también vinculó a Darién con una cuenta de correo electrónico utilizada para distribuir las grabaciones falsas.
La tecnología de clonación de voz, que hemos cubierto en el pasado, puede generar un habla realista después de ser entrenada con millones de voces humanas y luego sintonizada para que coincida con una voz específica en una muestra proporcionada. En marzo, los reporteros de Baltimore Banner hablaron con Siwei Lyu, director de un laboratorio forense de medios de la Universidad de Buffalo. Lyu le dijo al periódico que creía que el clip falsificado de Eiswert hablando fue creado utilizando un servicio de síntesis de voz como ElevenLabs. ElevenLabs permite a los usuarios cargar muestras de voz de personas para clonarlas mediante síntesis de texto a voz, aunque sus términos de servicio prohíben clonar una voz sin el permiso de la persona.
El incidente provocó que Eiswert se ausentara de la escuela desde que comenzó la investigación, y ha negado haber hecho los comentarios, afirmando que no se alinean con sus puntos de vista. «No hice esta declaración, y estos pensamientos no son en lo que creo como educador y como persona», dijo Eiswert en una declaración escrita.
Cuando apareció el clip de audio en enero, la superintendente Myriam Rogers calificó los comentarios de «perturbadores» y «altamente ofensivos e inapropiados». El Baltimore Banner señala que Billy Burke, jefe del sindicato que representa a Eiswert, fue el único funcionario que sugirió públicamente que el audio fue generado por IA. Expresó su decepción por la suposición pública de la culpabilidad de Eiswert y reveló que el director y su familia habían sido acosados y amenazados, requiriendo presencia policial en su casa.
Esta no es la primera vez que el software de clonación de voz con IA causa problemas. Anteriormente cubrimos estafas telefónicas en las que alguien imita la voz de un ser querido (en un intento de engañar a las personas para que les den dinero) y llamadas automáticas de campañas electorales que utilizan voces clonadas de políticos famosos como Joe Biden. En marzo, OpenAI reveló la existencia de su propia tecnología de clonación de voz, pero la compañía dijo que la retendría por ahora debido a preocupaciones sobre su uso indebido.