Sabes que has cometido un error cuando al mismo tiempo has enojado a la Casa Blanca, a la Persona del Año de TIME y a la base de fans más rabiosa de la cultura pop. Eso es lo que le sucedió la semana pasada a X, la plataforma propiedad de Elon Musk antes llamada Twitter, cuando imágenes pornográficas deepfake de Taylor Swift generadas por IA se volvieron virales.
Una de las publicaciones más difundidas de deepfakes explícitos y no consensuados fue vista más de 45 millones de veces y recibió cientos de miles de «me gusta». Eso ni siquiera tiene en cuenta todas las cuentas que compartieron las imágenes en publicaciones separadas: una vez que una imagen ha circulado tan ampliamente, es básicamente imposible eliminarla.
X carece de la infraestructura para identificar contenido abusivo rápidamente y a escala. Incluso en los días de Twitter, este problema era difícil de remediar, pero ha empeorado mucho desde que Musk destripó a gran parte del personal de Twitter, incluida la mayoría de sus equipos de confianza y seguridad. Entonces, la enorme y apasionada base de fans de Taylor Swift tomó el asunto en sus propias manos, inundando los resultados de búsqueda con consultas como “taylor swift ai” y “taylor swift deepfake” para hacer más difícil para los usuarios encontrar las imágenes abusivas. Cuando el secretario de prensa de la Casa Blanca pidió al Congreso que hiciera algo, X simplemente prohibió el término de búsqueda “taylor swift” durante unos días. Cuando los usuarios buscaban el nombre del músico, veían un aviso de que se había producido un error.
Este fracaso en la moderación de contenido se convirtió en una noticia nacional, ya que Taylor Swift es Taylor Swift. Pero si las plataformas sociales no pueden proteger a una de las mujeres más famosas del mundo, ¿a quién podrán proteger?
«Si te sucede lo que le pasó a Taylor Swift, como le ha sucedido a tanta gente, probablemente no tendrás la misma cantidad de apoyo basado en la influencia, lo que significa que no tendrás acceso a estos realmente». importantes comunidades de atención”, dijo a TechCrunch la Dra. Carolina Are, miembro del Centro para Ciudadanos Digitales de la Universidad de Northumbria en el Reino Unido. «Y estas comunidades de atención son a las que la mayoría de los usuarios tienen que recurrir en estas situaciones, lo que realmente muestra el fracaso de la moderación del contenido».
Prohibir el término de búsqueda “taylor swift” es como poner un trozo de cinta adhesiva en una tubería reventada. Hay muchas soluciones obvias, como la forma en que los usuarios de TikTok buscan «seggs» en lugar de sexo. El bloque de búsqueda era algo que X podía implementar para que pareciera que estaban haciendo algo, pero no impide que las personas simplemente busquen «t swift». El fundador de Copia Institute y Techdirt, Mike Masnick, calificó el esfuerzo como «una versión maza de confianza y seguridad».
“Las plataformas apestan cuando se trata de dar a las mujeres, las personas no binarias y las personas queer agencia sobre sus cuerpos, por lo que replican sistemas fuera de línea de abuso y patriarcado”, dijo Are. «Si sus sistemas de moderación son incapaces de reaccionar ante una crisis, o si sus sistemas de moderación son incapaces de reaccionar a las necesidades de los usuarios cuando informan que algo anda mal, tenemos un problema».
Entonces, ¿qué debería haber hecho X para evitar el fiasco de Taylor Swift?
Are hace estas preguntas como parte de su investigación y propone que las plataformas sociales necesitan una revisión completa de cómo manejan la moderación de contenido. Recientemente, llevó a cabo una serie de mesas redondas con 45 usuarios de Internet de todo el mundo que se ven afectados por la censura y el abuso para emitir recomendaciones a las plataformas sobre cómo implementar cambios.
Una recomendación es que las plataformas de redes sociales sean más transparentes con los usuarios individuales sobre las decisiones relativas a su cuenta o sus informes sobre otras cuentas.
«No se tiene acceso al expediente de un caso, aunque las plataformas sí tienen acceso a ese material; simplemente no quieren hacerlo público», dijo Are. «Creo que cuando se trata de abuso, la gente necesita una respuesta más personalizada, contextual y rápida que implique, si no ayuda cara a cara, al menos comunicación directa».
X anunció esta semana que contrataría a 100 moderadores de contenido para trabajar en un nuevo centro de “Confianza y Seguridad” en Austin, Texas. Pero bajo la supervisión de Musk, la plataforma no ha sentado un precedente sólido para proteger a los usuarios marginados del abuso. También puede ser un desafío tomar a Musk al pie de la letra, ya que el magnate tiene un largo historial de incumplimiento de sus promesas. Cuando compró Twitter por primera vez, Musk declaró que formaría un consejo de moderación de contenidos antes de tomar decisiones importantes. Esto no sucedió.
En el caso de los deepfakes generados por IA, la responsabilidad no recae sólo en las plataformas sociales. También depende de las empresas que crean productos de IA generativa orientados al consumidor.
Según una investigación de 404 Media, las representaciones abusivas de Swift provinieron de un grupo de Telegram dedicado a crear deepfakes explícitos y no consensuales. Los miembros del grupo suelen utilizar Microsoft Designer, que se basa en DALL-E 3 de OpenAI para generar imágenes basadas en indicaciones ingresadas. En una laguna que Microsoft ha solucionado desde entonces, los usuarios podían generar imágenes de celebridades escribiendo mensajes como «taylor ‘singer’ swift» o «jennifer ‘actor’ aniston».
Un líder principal de ingeniería de software en Microsoft, Shane Jones, escribió una carta al fiscal general del estado de Washington afirmando que encontró vulnerabilidades en DALL-E 3 en diciembre, lo que hizo posible «evitar algunas de las barreras diseñadas para evitar la modelo de crear y distribuir imágenes dañinas”.
Jones alertó a Microsoft y OpenAI sobre las vulnerabilidades, pero después de dos semanas, no recibió ninguna indicación de que los problemas se estuvieran solucionando. Entonces, publicó una carta abierta en LinkedIn para instar a OpenAI a suspender la disponibilidad de DALL-E 3. Jones alertó a Microsoft sobre su carta, pero rápidamente le pidieron que la retirara.
«Necesitamos responsabilizar a las empresas por la seguridad de sus productos y su responsabilidad de revelar al público los riesgos conocidos», escribió Jones en su carta al fiscal general del estado. «Los empleados preocupados, como yo, no deberían dejarse intimidar para que guarden silencio».
OpenAI le dijo a TechCrunch que investigó de inmediato el informe de Jones y descubrió que la técnica que describió no pasó por alto sus sistemas de seguridad.
«En el modelo subyacente DALL-E 3, hemos trabajado para filtrar el contenido más explícito de sus datos de entrenamiento, incluido contenido gráfico sexual y violento, y hemos desarrollado clasificadores de imágenes sólidos que evitan que el modelo genere imágenes dañinas», dijo un portavoz. de OpenAI dijo. «También hemos implementado medidas de seguridad adicionales para nuestros productos, ChatGPT y la API DALL-E, incluido el rechazo de solicitudes que solicitan una figura pública por su nombre».
OpenAI agregó que utiliza equipos rojos externos para probar productos en busca de mal uso. Aún no está confirmado si el programa de Microsoft es responsable de los deepfakes explícitos de Swift, pero lo cierto es que, desde la semana pasada, tanto periodistas como malos actores de Telegram pudieron utilizar este software para generar imágenes de celebridades.
A medida que las empresas más influyentes del mundo apuestan fuerte por la IA, las plataformas deben adoptar un enfoque proactivo para regular el contenido abusivo, pero incluso en una era en la que hacer deepfakes de celebridades no era tan fácil, el comportamiento violatorio fácilmente evadía la moderación.
«Esto realmente muestra que las plataformas no son confiables», dijo Are. «Las comunidades marginadas tienen que confiar más en sus seguidores y compañeros usuarios que en las personas que técnicamente están a cargo de nuestra seguridad en línea».
Actualizado el 30/01/24 a las 10:30 p.m. ET, con comentario de OpenAI