Se encontraron más de 1.000 materiales conocidos de abuso sexual infantil (CSAM) en un gran conjunto de datos abiertos, conocido como LAION-5B, que se utilizó para entrenar generadores populares de conversión de texto a imágenes como Stable Diffusion, investigador del Observatorio de Internet de Stanford (SIO), David. Thiel reveló el miércoles.
El informe de SIO parece confirmar los rumores que circulan en Internet desde 2022 de que LAION-5B incluía imágenes ilegales, informó Bloomberg. En un correo electrónico a Ars, Thiel advirtió que «la inclusión de material de abuso infantil en los datos de entrenamiento del modelo de IA enseña herramientas para asociar a los niños en actividades sexuales ilícitas y utiliza imágenes conocidas de abuso infantil para generar contenido nuevo y potencialmente realista sobre abuso infantil».
Thiel comenzó su investigación en septiembre después de descubrir en junio que se estaban utilizando generadores de imágenes de IA para crear miles de imágenes falsas pero realistas de sexo infantil con IA que se difundían rápidamente en la web oscura. Su objetivo era descubrir qué papel puede desempeñar el CSAM en el proceso de entrenamiento de los modelos de IA que alimentan los generadores de imágenes que emiten este contenido ilícito.
«Nuestra nueva investigación revela que estos modelos se entrenan directamente en CSAM presente en un conjunto de datos públicos de miles de millones de imágenes, conocido como LAION-5B», dice el informe de Thiel. «El conjunto de datos incluía CSAM conocido extraído de una amplia gama de fuentes, incluidos los principales sitios web de redes sociales», como Reddit, X, WordPress y Blogspot, así como «sitios populares de videos para adultos», como XHamster y XVideos.
Poco después de que se publicara el informe de Thiel, un portavoz de LAION, la organización sin fines de lucro con sede en Alemania que produjo el conjunto de datos, dijo a Bloomberg que LAION «estaba eliminando temporalmente los conjuntos de datos de LAION de Internet» debido a la «política de tolerancia cero» de LAION para el contenido ilegal. Los conjuntos de datos se volverán a publicar una vez que LAION garantice que «están seguros», dijo el portavoz. Un portavoz de Hugging Face, que alberga un enlace a un conjunto de datos de LAION que actualmente no está disponible, confirmó a Ars que el conjunto de datos ahora no está disponible para el público después de que quien lo subió lo cambió a privado.
Sin embargo, eliminar los conjuntos de datos ahora no soluciona ningún problema persistente con los conjuntos de datos descargados previamente o los modelos previamente entrenados, como Stable Diffusion 1.5. El informe de Thiel decía que las versiones posteriores de Stable Diffusion de Stability AI (2.0 y 2.1) filtraron parte o la mayor parte del contenido considerado «inseguro», «lo que dificulta la generación de contenido explícito». Pero debido a que los usuarios no estaban satisfechos con estas versiones posteriores, más filtradas, Stable Diffusion 1.5 sigue siendo «el modelo más popular para generar imágenes explícitas», según el informe de Thiel.
Un portavoz de Stability AI le dijo a Ars que Stability AI está «comprometido a prevenir el uso indebido de la IA y prohibir el uso de nuestros modelos y servicios de imágenes para actividades ilegales, incluidos los intentos de editar o crear CSAM». El portavoz señaló que el informe de SIO «se centra en el conjunto de datos LAION-5B en su conjunto», mientras que «los modelos de estabilidad de IA se entrenaron en un subconjunto filtrado de ese conjunto de datos» y fueron «posteriormente ajustados» para «mitigar comportamientos residuales». La implicación parece ser que el conjunto de datos filtrados de Stability AI no es tan problemático como el conjunto de datos más grande.
El portavoz de Stability AI también señaló que Stable Diffusion 1.5 «fue lanzado por Runway ML, no por Stability AI». Sin embargo, parece haber cierta confusión sobre ese punto, ya que un portavoz de Runway ML le dijo a Ars que Stable Diffusion «fue lanzado en colaboración con Stability AI».
Una demostración de Stable Diffusion 1.5 señaló que el modelo era «compatible con Stability AI», pero lanzado por CompVis y Runway. Si bien un hilo de YCombinator que enlaza a un blog, titulado «Por qué elegimos no lanzar Stable Diffusion 1.5 tan rápido», del ex director de información de Stability AI, Daniel Jeffries, puede haber proporcionado cierta claridad sobre esto, desde entonces ha sido eliminado.
El portavoz de Runway ML se negó a comentar sobre las actualizaciones que se estaban considerando para Stable Diffusion 1.5, pero vinculó a Ars a un blog de Stability AI de agosto de 2022 que decía: «Stability AI coeditó Stable Diffusion junto con investigadores talentosos de» Runway ML.
El portavoz de Stability AI dijo que Stability AI no alberga Stable Diffusion 1.5, pero ha tomado otras medidas para reducir los resultados dañinos. Entre ellos se incluyen únicamente alojar «versiones de Stable Diffusion que incluyen filtros» que «eliminan contenido inseguro» y «impiden que el modelo genere contenido inseguro».
«Además, hemos implementado filtros para interceptar mensajes o resultados inseguros cuando los usuarios interactúan con modelos en nuestra plataforma», dijo el portavoz de Stability AI. «También hemos invertido en funciones de etiquetado de contenido para ayudar a identificar las imágenes generadas en nuestra plataforma. Estas capas de mitigación dificultan que los malos actores hagan un mal uso de la IA».
Más allá de verificar 1.008 casos de CSAM en el conjunto de datos LAION-5B, SIO encontró 3.226 casos de CSAM sospechoso en el conjunto de datos LAION. El informe de Thiel advirtió que ambas cifras son «inherentemente un recuento insuficiente» debido a la capacidad limitada de los investigadores para detectar y señalar todos los CSAM en los conjuntos de datos. Su informe también predijo que «las repercusiones del proceso de entrenamiento de Stable Diffusion 1.5 nos acompañarán durante algún tiempo».
«La solución más obvia es que la mayor parte de aquellos en posesión de conjuntos de entrenamiento derivados de LAION-5B los eliminen o trabajen con intermediarios para limpiar el material», dice el informe de SIO. «Los modelos basados en Stable Diffusion 1.5 a los que no se les han aplicado medidas de seguridad deben quedar obsoletos y cesar su distribución cuando sea posible».