Los motores de búsqueda populares como Google y Bing están facilitando la aparición de pornografía deepfake no consensuada colocándola en la parte superior de los resultados de búsqueda, informó NBC News el jueves.
Estos controvertidos deepfakes superponen rostros de mujeres reales, a menudo celebridades, a los cuerpos de artistas adultos para que parezcan estar practicando sexo real. Gracias en parte a los avances en la IA generativa, ahora existe un floreciente mercado negro de pornografía deepfake que podría descubrirse mediante una búsqueda en Google, informó anteriormente NBC News.
NBC News descubrió el problema desactivando la búsqueda segura y luego combinando los nombres de 36 celebridades femeninas con términos de búsqueda obvios como «deepfakes», «deepfake porno» y «desnudos falsos». Bing generó enlaces a vídeos deepfake en los primeros resultados 35 veces, mientras que Google lo hizo 34 veces. Bing también publicó «fotos falsas desnudas de ex actrices adolescentes de Disney Channel» utilizando imágenes en las que los actores parecen ser menores de edad.
Un portavoz de Google dijo a NBC que el gigante tecnológico comprende «lo angustioso que puede ser este contenido para las personas afectadas por él» y está «trabajando activamente para brindar más protección a la Búsqueda».
Según el portavoz de Google, este contenido controvertido aparece en ocasiones porque «Google indexa el contenido que existe en la web», como «cualquier motor de búsqueda». Pero si bien las búsquedas que utilizan términos como «deepfake» pueden generar resultados consistentes, Google «activamente» diseña «sistemas de clasificación para evitar sorprender a las personas con contenido explícito o dañino inesperado que no están buscando», dijo el portavoz.
Actualmente, la única forma de eliminar la pornografía deepfake no consensuada de los resultados de búsqueda de Google es que la víctima envíe un formulario personalmente o a través de un «representante autorizado». Ese formulario requiere que las víctimas cumplan tres requisitos: demostrar que están «representadas de manera identificable» en el deepfake; las «imágenes en cuestión son falsas y las representan falsamente» como «desnudas o en una situación sexualmente explícita»; y las imágenes se distribuyeron sin su consentimiento.
Si bien esto brinda a las víctimas algún curso de acción para eliminar contenido, a los expertos les preocupa que los motores de búsqueda deban hacer más para reducir efectivamente la prevalencia de pornografía deepfake disponible en línea, que en este momento está aumentando a un ritmo rápido.
Este problema emergente afecta cada vez más a la gente promedio e incluso a los niños, no sólo a las celebridades. En junio pasado, expertos en seguridad infantil descubrieron miles de imágenes realistas pero falsas de IA sobre sexo infantil que se comercializaban en línea, casi al mismo tiempo que el FBI advirtió que el uso de deepfakes generados por IA en esquemas de sextorsión estaba aumentando.
Y la pornografía deepfake no consensuada no sólo se comercializa en los mercados negros en línea. En noviembre, la policía de Nueva Jersey inició una investigación después de que adolescentes de secundaria utilizaran generadores de imágenes de inteligencia artificial para crear y compartir fotografías falsas de desnudos de compañeras de clase.
Dado que las empresas de tecnología parecen tardar en detener el aumento de los deepfakes, algunos estados han aprobado leyes que criminalizan la distribución de pornografía deepfake. En julio pasado, Virginia enmendó su ley existente que penaliza la pornografía de venganza para incluir cualquier «imagen fija o videográfica creada falsamente». En octubre, Nueva York aprobó una ley centrada específicamente en prohibir la pornografía deepfake, imponiendo una multa de 1.000 dólares y hasta un año de cárcel a los infractores. El Congreso también ha introducido una legislación que crea sanciones penales por la difusión de pornografía deepfake.
Aunque Google le dijo a NBC News que sus funciones de búsqueda «no permiten medios manipulados o contenido sexualmente explícito», la investigación del medio aparentemente encontró lo contrario. NBC News también señaló que la tienda de aplicaciones Play de Google alberga una aplicación que anteriormente se comercializaba para crear pornografía deepfake, a pesar de prohibir «aplicaciones determinadas a promover o perpetuar imágenes, videos y/o textos demostrablemente engañosos o engañosos». Esto sugiere que los esfuerzos de remediación de Google que bloquean imágenes engañosas pueden ser inconsistentes.
Google le dijo a Ars que pronto fortalecerá sus políticas contra aplicaciones que presenten contenido restringido generado por IA en Play Store. Una política de IA generativa que entrará en vigor el 31 de enero exigirá que todas las aplicaciones cumplan con las políticas de los desarrolladores que prohíben el contenido restringido generado por IA, incluido el contenido engañoso y el contenido que facilite la explotación o el abuso de niños.
Los expertos dijeron a NBC News que «la falta de vigilancia proactiva de Google en busca de abusos ha convertido a este y a otros motores de búsqueda en plataformas útiles para las personas que buscan participar en campañas de acoso deepfake».
Google está actualmente «en el proceso de crear salvaguardas más amplias, con un enfoque particular en eliminar la necesidad de que las víctimas conocidas soliciten la eliminación de contenido una por una», dijo el portavoz de Google a NBC News.
El portavoz de Microsoft le dijo a Ars que Microsoft actualizó su proceso para informar inquietudes con las búsquedas en Bing para incluir imágenes íntimas no consensuales (NCII) utilizadas en «deepfakes» en agosto pasado porque se había convertido en una «preocupación importante». Al igual que Google, Microsoft permite a las víctimas denunciar los deepfakes del NCII enviando un formulario web para solicitar la eliminación de los resultados de búsqueda, entendiendo que cualquier intercambio de NCII es «una grave violación de la privacidad y la dignidad personal con efectos devastadores para las víctimas».
En el pasado, el presidente de Microsoft, Brad Smith, ha dicho que entre todos los peligros que plantea la IA, los deepfakes le preocupan más, pero los deepfakes que alimentan «operaciones de influencia cibernética extranjera» aparentemente le preocupan más que la pornografía deepfake.
Esta historia se actualizó el 11 de enero para incluir información sobre la política de contenido generado por IA de Google y el 12 de enero para incluir información de Microsoft.