\n<\/p>\n
Sabes que has cometido un error cuando al mismo tiempo has enojado a la Casa Blanca, a la Persona del A\u00f1o de TIME y a la base de fans m\u00e1s rabiosa de la cultura pop. Eso es lo que le sucedi\u00f3 la semana pasada a X, la plataforma propiedad de Elon Musk antes llamada Twitter, cuando im\u00e1genes pornogr\u00e1ficas deepfake de Taylor Swift generadas por IA se volvieron virales.<\/p>\n
Una de las publicaciones m\u00e1s difundidas de deepfakes expl\u00edcitos y no consensuados fue vista m\u00e1s de 45 millones de veces y recibi\u00f3 cientos de miles de \u00abme gusta\u00bb. Eso ni siquiera tiene en cuenta todas las cuentas que compartieron las im\u00e1genes en publicaciones separadas: una vez que una imagen ha circulado tan ampliamente, es b\u00e1sicamente imposible eliminarla.<\/p>\n
X carece de la infraestructura para identificar contenido abusivo r\u00e1pidamente y a escala. Incluso en los d\u00edas de Twitter, este problema era dif\u00edcil de remediar, pero ha empeorado mucho desde que Musk destrip\u00f3 a gran parte del personal de Twitter, incluida la mayor\u00eda de sus equipos de confianza y seguridad. Entonces, la enorme y apasionada base de fans de Taylor Swift tom\u00f3 el asunto en sus propias manos, inundando los resultados de b\u00fasqueda con consultas como \u201ctaylor swift ai\u201d y \u201ctaylor swift deepfake\u201d para hacer m\u00e1s dif\u00edcil para los usuarios encontrar las im\u00e1genes abusivas. Cuando el secretario de prensa de la Casa Blanca pidi\u00f3 al Congreso que hiciera algo, X simplemente prohibi\u00f3 el t\u00e9rmino de b\u00fasqueda \u201ctaylor swift\u201d durante unos d\u00edas. Cuando los usuarios buscaban el nombre del m\u00fasico, ve\u00edan un aviso de que se hab\u00eda producido un error.<\/p>\n
Este fracaso en la moderaci\u00f3n de contenido se convirti\u00f3 en una noticia nacional, ya que Taylor Swift es Taylor Swift. Pero si las plataformas sociales no pueden proteger a una de las mujeres m\u00e1s famosas del mundo, \u00bfa qui\u00e9n podr\u00e1n proteger?<\/p>\n
\u00abSi te sucede lo que le pas\u00f3 a Taylor Swift, como le ha sucedido a tanta gente, probablemente no tendr\u00e1s la misma cantidad de apoyo basado en la influencia, lo que significa que no tendr\u00e1s acceso a estos realmente\u00bb. importantes comunidades de atenci\u00f3n\u201d, dijo a TechCrunch la Dra. Carolina Are, miembro del Centro para Ciudadanos Digitales de la Universidad de Northumbria en el Reino Unido. \u00abY estas comunidades de atenci\u00f3n son a las que la mayor\u00eda de los usuarios tienen que recurrir en estas situaciones, lo que realmente muestra el fracaso de la moderaci\u00f3n del contenido\u00bb.<\/p>\n
Prohibir el t\u00e9rmino de b\u00fasqueda \u201ctaylor swift\u201d es como poner un trozo de cinta adhesiva en una tuber\u00eda reventada. Hay muchas soluciones obvias, como la forma en que los usuarios de TikTok buscan \u00abseggs\u00bb en lugar de sexo. El bloque de b\u00fasqueda era algo que X pod\u00eda implementar para que pareciera que estaban haciendo algo, pero no impide que las personas simplemente busquen \u00abt swift\u00bb. El fundador de Copia Institute y Techdirt, Mike Masnick, calific\u00f3 el esfuerzo como \u00abuna versi\u00f3n maza de confianza y seguridad\u00bb.<\/p>\n
\u201cLas plataformas apestan cuando se trata de dar a las mujeres, las personas no binarias y las personas queer agencia sobre sus cuerpos, por lo que replican sistemas fuera de l\u00ednea de abuso y patriarcado\u201d, dijo Are. \u00abSi sus sistemas de moderaci\u00f3n son incapaces de reaccionar ante una crisis, o si sus sistemas de moderaci\u00f3n son incapaces de reaccionar a las necesidades de los usuarios cuando informan que algo anda mal, tenemos un problema\u00bb.<\/p>\n
Entonces, \u00bfqu\u00e9 deber\u00eda haber hecho X para evitar el fiasco de Taylor Swift?<\/p>\n
Are hace estas preguntas como parte de su investigaci\u00f3n y propone que las plataformas sociales necesitan una revisi\u00f3n completa de c\u00f3mo manejan la moderaci\u00f3n de contenido. Recientemente, llev\u00f3 a cabo una serie de mesas redondas con 45 usuarios de Internet de todo el mundo que se ven afectados por la censura y el abuso para emitir recomendaciones a las plataformas sobre c\u00f3mo implementar cambios.<\/p>\n
Una recomendaci\u00f3n es que las plataformas de redes sociales sean m\u00e1s transparentes con los usuarios individuales sobre las decisiones relativas a su cuenta o sus informes sobre otras cuentas.<\/p>\n
\u00abNo se tiene acceso al expediente de un caso, aunque las plataformas s\u00ed tienen acceso a ese material; simplemente no quieren hacerlo p\u00fablico\u00bb, dijo Are. \u00abCreo que cuando se trata de abuso, la gente necesita una respuesta m\u00e1s personalizada, contextual y r\u00e1pida que implique, si no ayuda cara a cara, al menos comunicaci\u00f3n directa\u00bb.<\/p>\n
X anunci\u00f3 esta semana que contratar\u00eda a 100 moderadores de contenido para trabajar en un nuevo centro de \u201cConfianza y Seguridad\u201d en Austin, Texas. Pero bajo la supervisi\u00f3n de Musk, la plataforma no ha sentado un precedente s\u00f3lido para proteger a los usuarios marginados del abuso. Tambi\u00e9n puede ser un desaf\u00edo tomar a Musk al pie de la letra, ya que el magnate tiene un largo historial de incumplimiento de sus promesas. Cuando compr\u00f3 Twitter por primera vez, Musk declar\u00f3 que formar\u00eda un consejo de moderaci\u00f3n de contenidos antes de tomar decisiones importantes. Esto no sucedi\u00f3.<\/p>\n
En el caso de los deepfakes generados por IA, la responsabilidad no recae s\u00f3lo en las plataformas sociales. Tambi\u00e9n depende de las empresas que crean productos de IA generativa orientados al consumidor.<\/p>\n
Seg\u00fan una investigaci\u00f3n de 404 Media, las representaciones abusivas de Swift provinieron de un grupo de Telegram dedicado a crear deepfakes expl\u00edcitos y no consensuales. Los miembros del grupo suelen utilizar Microsoft Designer, que se basa en DALL-E 3 de OpenAI para generar im\u00e1genes basadas en indicaciones ingresadas. En una laguna que Microsoft ha solucionado desde entonces, los usuarios pod\u00edan generar im\u00e1genes de celebridades escribiendo mensajes como \u00abtaylor ‘singer’ swift\u00bb o \u00abjennifer ‘actor’ aniston\u00bb.<\/p>\n
Un l\u00edder principal de ingenier\u00eda de software en Microsoft, Shane Jones, escribi\u00f3 una carta al fiscal general del estado de Washington afirmando que encontr\u00f3 vulnerabilidades en DALL-E 3 en diciembre, lo que hizo posible \u00abevitar algunas de las barreras dise\u00f1adas para evitar la modelo de crear y distribuir im\u00e1genes da\u00f1inas\u201d.<\/p>\n
Jones alert\u00f3 a Microsoft y OpenAI sobre las vulnerabilidades, pero despu\u00e9s de dos semanas, no recibi\u00f3 ninguna indicaci\u00f3n de que los problemas se estuvieran solucionando. Entonces, public\u00f3 una carta abierta en LinkedIn para instar a OpenAI a suspender la disponibilidad de DALL-E 3. Jones alert\u00f3 a Microsoft sobre su carta, pero r\u00e1pidamente le pidieron que la retirara.<\/p>\n
\u00abNecesitamos responsabilizar a las empresas por la seguridad de sus productos y su responsabilidad de revelar al p\u00fablico los riesgos conocidos\u00bb, escribi\u00f3 Jones en su carta al fiscal general del estado. \u00abLos empleados preocupados, como yo, no deber\u00edan dejarse intimidar para que guarden silencio\u00bb.<\/p>\n
OpenAI le dijo a TechCrunch que investig\u00f3 de inmediato el informe de Jones y descubri\u00f3 que la t\u00e9cnica que describi\u00f3 no pas\u00f3 por alto sus sistemas de seguridad.<\/p>\n
\u00abEn el modelo subyacente DALL-E 3, hemos trabajado para filtrar el contenido m\u00e1s expl\u00edcito de sus datos de entrenamiento, incluido contenido gr\u00e1fico sexual y violento, y hemos desarrollado clasificadores de im\u00e1genes s\u00f3lidos que evitan que el modelo genere im\u00e1genes da\u00f1inas\u00bb, dijo un portavoz. de OpenAI dijo. \u00abTambi\u00e9n hemos implementado medidas de seguridad adicionales para nuestros productos, ChatGPT y la API DALL-E, incluido el rechazo de solicitudes que solicitan una figura p\u00fablica por su nombre\u00bb.<\/p>\n
OpenAI agreg\u00f3 que utiliza equipos rojos externos para probar productos en busca de mal uso. A\u00fan no est\u00e1 confirmado si el programa de Microsoft es responsable de los deepfakes expl\u00edcitos de Swift, pero lo cierto es que, desde la semana pasada, tanto periodistas como malos actores de Telegram pudieron utilizar este software para generar im\u00e1genes de celebridades.<\/p>\n
A medida que las empresas m\u00e1s influyentes del mundo apuestan fuerte por la IA, las plataformas deben adoptar un enfoque proactivo para regular el contenido abusivo, pero incluso en una era en la que hacer deepfakes de celebridades no era tan f\u00e1cil, el comportamiento violatorio f\u00e1cilmente evad\u00eda la moderaci\u00f3n.<\/p>\n
\u00abEsto realmente muestra que las plataformas no son confiables\u00bb, dijo Are. \u00abLas comunidades marginadas tienen que confiar m\u00e1s en sus seguidores y compa\u00f1eros usuarios que en las personas que t\u00e9cnicamente est\u00e1n a cargo de nuestra seguridad en l\u00ednea\u00bb.<\/p>\n