A medida que las herramientas de inteligencia artificial se vuelven cada vez más sofisticadas y accesibles, también lo ha hecho una de sus peores aplicaciones: la pornografía deepfake no consensuada. Si bien gran parte de este contenido está alojado en sitios dedicados, cada vez más llega a las plataformas sociales. Hoy, la Meta Oversight Board anunció que se estaba ocupando de casos que podrían obligar a la empresa a considerar cómo maneja la pornografía deepfake.
La junta, que es un organismo independiente que puede emitir decisiones vinculantes y recomendaciones a Meta, se centrará en dos casos de pornografía deepfake, ambos relacionados con celebridades a quienes se les alteró la imagen para crear contenido explícito. En un caso sobre una celebridad estadounidense anónima, el porno deepfake que representaba a la celebridad fue eliminado de Facebook después de que ya había sido marcado en otra parte de la plataforma. La publicación también se agregó al Media Matching Service Bank de Meta, un sistema automatizado que encuentra y elimina imágenes que ya han sido marcadas como violatorias de las políticas de Meta, para mantenerlas fuera de la plataforma.
En el otro caso, una imagen deepfake de una celebridad india anónima permaneció en Instagram, incluso después de que los usuarios la denunciaran por violar las políticas de Meta sobre pornografía. Según el anuncio, el deepfake de la celebridad india fue eliminado una vez que la junta se hizo cargo del caso.
En ambos casos, las imágenes fueron eliminadas por violar las políticas de Meta sobre intimidación y acoso, y no estaban incluidas en las políticas de Meta sobre pornografía. Meta, sin embargo, prohíbe “contenido que represente, amenace o promueva la violencia sexual, la agresión sexual o la explotación sexual” y no permite pornografía ni anuncios sexualmente explícitos en sus plataformas. En una publicación de blog publicada junto con el anuncio de los casos, Meta dijo que eliminó las publicaciones por violar la parte de “photoshops o dibujos sexualizados despectivos” de su política de intimidación y acoso, y que también “determinó que violaba [Meta’s] política sobre desnudez de adultos y actividad sexual”.
La junta espera utilizar estos casos para examinar las políticas y sistemas de Meta para detectar y eliminar pornografía deepfake no consensuada, según Julie Owono, miembro de la Junta de Supervisión. «Ya puedo decir provisionalmente que el principal problema probablemente sea la detección», afirma. «La detección no es tan perfecta o al menos no tan eficiente como desearíamos».
Meta también ha enfrentado durante mucho tiempo críticas por su enfoque para moderar contenido fuera de Estados Unidos y Europa Occidental. Para este caso, la junta ya expresó su preocupación de que la celebridad estadounidense y la celebridad india recibieran un trato diferente en respuesta a la aparición de sus deepfakes en la plataforma.
“Sabemos que Meta es más rápido y eficaz a la hora de moderar contenido en algunos mercados e idiomas que en otros. Al tomar un caso de Estados Unidos y otro de India, queremos ver si Meta está protegiendo a todas las mujeres a nivel mundial de manera justa”, dice la copresidenta de la Junta de Supervisión, Helle Thorning-Schmidt. «Es fundamental que se aborde este asunto y la junta espera explorar si las políticas y prácticas de cumplimiento de Meta son efectivas para abordar este problema».