\n<\/aside>\n<\/p>\n
Se encontraron m\u00e1s de 1.000 materiales conocidos de abuso sexual infantil (CSAM) en un gran conjunto de datos abiertos, conocido como LAION-5B, que se utiliz\u00f3 para entrenar generadores populares de conversi\u00f3n de texto a im\u00e1genes como Stable Diffusion, investigador del Observatorio de Internet de Stanford (SIO), David. Thiel revel\u00f3 el mi\u00e9rcoles.<\/p>\n
El informe de SIO parece confirmar los rumores que circulan en Internet desde 2022 de que LAION-5B inclu\u00eda im\u00e1genes ilegales, inform\u00f3 Bloomberg. En un correo electr\u00f3nico a Ars, Thiel advirti\u00f3 que \u00abla inclusi\u00f3n de material de abuso infantil en los datos de entrenamiento del modelo de IA ense\u00f1a herramientas para asociar a los ni\u00f1os en actividades sexuales il\u00edcitas y utiliza im\u00e1genes conocidas de abuso infantil para generar contenido nuevo y potencialmente realista sobre abuso infantil\u00bb.<\/p>\n
Thiel comenz\u00f3 su investigaci\u00f3n en septiembre despu\u00e9s de descubrir en junio que se estaban utilizando generadores de im\u00e1genes de IA para crear miles de im\u00e1genes falsas pero realistas de sexo infantil con IA que se difund\u00edan r\u00e1pidamente en la web oscura. Su objetivo era descubrir qu\u00e9 papel puede desempe\u00f1ar el CSAM en el proceso de entrenamiento de los modelos de IA que alimentan los generadores de im\u00e1genes que emiten este contenido il\u00edcito.<\/p>\n
\u00abNuestra nueva investigaci\u00f3n revela que estos modelos se entrenan directamente en CSAM presente en un conjunto de datos p\u00fablicos de miles de millones de im\u00e1genes, conocido como LAION-5B\u00bb, dice el informe de Thiel. \u00abEl conjunto de datos inclu\u00eda CSAM conocido extra\u00eddo de una amplia gama de fuentes, incluidos los principales sitios web de redes sociales\u00bb, como Reddit, X, WordPress y Blogspot, as\u00ed como \u00absitios populares de videos para adultos\u00bb, como XHamster y XVideos.<\/p>\n
Poco despu\u00e9s de que se publicara el informe de Thiel, un portavoz de LAION, la organizaci\u00f3n sin fines de lucro con sede en Alemania que produjo el conjunto de datos, dijo a Bloomberg que LAION \u00abestaba eliminando temporalmente los conjuntos de datos de LAION de Internet\u00bb debido a la \u00abpol\u00edtica de tolerancia cero\u00bb de LAION para el contenido ilegal. Los conjuntos de datos se volver\u00e1n a publicar una vez que LAION garantice que \u00abest\u00e1n seguros\u00bb, dijo el portavoz. Un portavoz de Hugging Face, que alberga un enlace a un conjunto de datos de LAION que actualmente no est\u00e1 disponible, confirm\u00f3 a Ars que el conjunto de datos ahora no est\u00e1 disponible para el p\u00fablico despu\u00e9s de que quien lo subi\u00f3 lo cambi\u00f3 a privado.<\/p>\n
Sin embargo, eliminar los conjuntos de datos ahora no soluciona ning\u00fan problema persistente con los conjuntos de datos descargados previamente o los modelos previamente entrenados, como Stable Diffusion 1.5. El informe de Thiel dec\u00eda que las versiones posteriores de Stable Diffusion de Stability AI (2.0 y 2.1) filtraron parte o la mayor parte del contenido considerado \u00abinseguro\u00bb, \u00ablo que dificulta la generaci\u00f3n de contenido expl\u00edcito\u00bb. Pero debido a que los usuarios no estaban satisfechos con estas versiones posteriores, m\u00e1s filtradas, Stable Diffusion 1.5 sigue siendo \u00abel modelo m\u00e1s popular para generar im\u00e1genes expl\u00edcitas\u00bb, seg\u00fan el informe de Thiel.<\/p>\n\n Anuncio <\/span> <\/p>\n<\/aside>\nUn portavoz de Stability AI le dijo a Ars que Stability AI est\u00e1 \u00abcomprometido a prevenir el uso indebido de la IA y prohibir el uso de nuestros modelos y servicios de im\u00e1genes para actividades ilegales, incluidos los intentos de editar o crear CSAM\u00bb. El portavoz se\u00f1al\u00f3 que el informe de SIO \u00abse centra en el conjunto de datos LAION-5B en su conjunto\u00bb, mientras que \u00ablos modelos de estabilidad de IA se entrenaron en un subconjunto filtrado de ese conjunto de datos\u00bb y fueron \u00abposteriormente ajustados\u00bb para \u00abmitigar comportamientos residuales\u00bb. La implicaci\u00f3n parece ser que el conjunto de datos filtrados de Stability AI no es tan problem\u00e1tico como el conjunto de datos m\u00e1s grande.<\/p>\n
El portavoz de Stability AI tambi\u00e9n se\u00f1al\u00f3 que Stable Diffusion 1.5 \u00abfue lanzado por Runway ML, no por Stability AI\u00bb. Sin embargo, parece haber cierta confusi\u00f3n sobre ese punto, ya que un portavoz de Runway ML le dijo a Ars que Stable Diffusion \u00abfue lanzado en colaboraci\u00f3n con Stability AI\u00bb.<\/p>\n
Una demostraci\u00f3n de Stable Diffusion 1.5 se\u00f1al\u00f3 que el modelo era \u00abcompatible con Stability AI\u00bb, pero lanzado por CompVis y Runway. Si bien un hilo de YCombinator que enlaza a un blog, titulado \u00abPor qu\u00e9 elegimos no lanzar Stable Diffusion 1.5 tan r\u00e1pido\u00bb, del ex director de informaci\u00f3n de Stability AI, Daniel Jeffries, puede haber proporcionado cierta claridad sobre esto, desde entonces ha sido eliminado.<\/p>\n
El portavoz de Runway ML se neg\u00f3 a comentar sobre las actualizaciones que se estaban considerando para Stable Diffusion 1.5, pero vincul\u00f3 a Ars a un blog de Stability AI de agosto de 2022 que dec\u00eda: \u00abStability AI coedit\u00f3 Stable Diffusion junto con investigadores talentosos de\u00bb Runway ML.<\/p>\n
El portavoz de Stability AI dijo que Stability AI no alberga Stable Diffusion 1.5, pero ha tomado otras medidas para reducir los resultados da\u00f1inos. Entre ellos se incluyen \u00fanicamente alojar \u00abversiones de Stable Diffusion que incluyen filtros\u00bb que \u00abeliminan contenido inseguro\u00bb y \u00abimpiden que el modelo genere contenido inseguro\u00bb.<\/p>\n
\u00abAdem\u00e1s, hemos implementado filtros para interceptar mensajes o resultados inseguros cuando los usuarios interact\u00faan con modelos en nuestra plataforma\u00bb, dijo el portavoz de Stability AI. \u00abTambi\u00e9n hemos invertido en funciones de etiquetado de contenido para ayudar a identificar las im\u00e1genes generadas en nuestra plataforma. Estas capas de mitigaci\u00f3n dificultan que los malos actores hagan un mal uso de la IA\u00bb.<\/p>\n
M\u00e1s all\u00e1 de verificar 1.008 casos de CSAM en el conjunto de datos LAION-5B, SIO encontr\u00f3 3.226 casos de CSAM sospechoso en el conjunto de datos LAION. El informe de Thiel advirti\u00f3 que ambas cifras son \u00abinherentemente un recuento insuficiente\u00bb debido a la capacidad limitada de los investigadores para detectar y se\u00f1alar todos los CSAM en los conjuntos de datos. Su informe tambi\u00e9n predijo que \u00ablas repercusiones del proceso de entrenamiento de Stable Diffusion 1.5 nos acompa\u00f1ar\u00e1n durante alg\u00fan tiempo\u00bb.<\/p>\n
\u00abLa soluci\u00f3n m\u00e1s obvia es que la mayor parte de aquellos en posesi\u00f3n de conjuntos de entrenamiento derivados de LAION-5B los eliminen o trabajen con intermediarios para limpiar el material\u00bb, dice el informe de SIO. \u00abLos modelos basados \u200b\u200ben Stable Diffusion 1.5 a los que no se les han aplicado medidas de seguridad deben quedar obsoletos y cesar su distribuci\u00f3n cuando sea posible\u00bb.<\/p>\n<\/p><\/div>\n
Source link-49<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"Se encontraron m\u00e1s de 1.000 materiales conocidos de abuso sexual infantil (CSAM) en un gran conjunto de datos abiertos, conocido como LAION-5B, que se utiliz\u00f3 para entrenar generadores populares de…<\/p>\n","protected":false},"author":1,"featured_media":936941,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[21980],"tags":[4560,12742,121,13660,1223,29206,666,3781,4703,144,3680],"_links":{"self":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/936940"}],"collection":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/comments?post=936940"}],"version-history":[{"count":1,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/936940\/revisions"}],"predecessor-version":[{"id":936942,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/936940\/revisions\/936942"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media\/936941"}],"wp:attachment":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media?parent=936940"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/categories?post=936940"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/tags?post=936940"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}