{"id":1036547,"date":"2024-03-04T22:09:12","date_gmt":"2024-03-04T22:09:12","guid":{"rendered":"https:\/\/magazineoffice.com\/los-investigadores-crean-gusanos-de-ia-que-pueden-propagarse-de-un-sistema-a-otro\/"},"modified":"2024-03-04T22:09:14","modified_gmt":"2024-03-04T22:09:14","slug":"los-investigadores-crean-gusanos-de-ia-que-pueden-propagarse-de-un-sistema-a-otro","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/los-investigadores-crean-gusanos-de-ia-que-pueden-propagarse-de-un-sistema-a-otro\/","title":{"rendered":"Los investigadores crean gusanos de IA que pueden propagarse de un sistema a otro"},"content":{"rendered":"<p> <br \/>\n<\/p>\n<div itemprop=\"articleBody\">\n<figure class=\"intro-image intro-left\"><figcaption class=\"caption\">\n<p>Jacqui Van Liew;  im\u00e1genes falsas<\/p>\n<\/figcaption><\/figure>\n<aside id=\"social-left\" class=\"social-left\" aria-label=\"Read the comments or share this article\">\n<\/aside>\n<p><!-- cache hit 98:single\/related:640dd1f7a3071756cbcc271ca2b118a7 --><!-- empty --><\/p>\n<p>A medida que los sistemas de IA generativa como ChatGPT de OpenAI y Gemini de Google se vuelven m\u00e1s avanzados, se los pone cada vez m\u00e1s en funcionamiento.  Las nuevas empresas y las empresas de tecnolog\u00eda est\u00e1n creando agentes y ecosistemas de inteligencia artificial sobre los sistemas que pueden realizar tareas aburridas por usted: piense en hacer reservas en el calendario y, potencialmente, comprar productos.  Pero a medida que se da m\u00e1s libertad a las herramientas, tambi\u00e9n aumentan las formas potenciales en que pueden ser atacadas.<\/p>\n<p>Ahora, en una demostraci\u00f3n de los riesgos de los ecosistemas de IA aut\u00f3nomos y conectados, un grupo de investigadores ha creado uno de los que afirman son los primeros gusanos generativos de IA, que pueden propagarse de un sistema a otro, robando potencialmente datos o implementando malware en el proceso.  \u00abB\u00e1sicamente significa que ahora tienes la capacidad de llevar a cabo un nuevo tipo de ciberataque que no se hab\u00eda visto antes\u00bb, dice Ben Nassi, investigador de Cornell Tech detr\u00e1s de la investigaci\u00f3n.<\/p>\n<p>Nassi, junto con sus colegas investigadores Stav Cohen y Ron Bitton, crearon el gusano, denominado Morris II, como un gui\u00f1o al gusano inform\u00e1tico Morris original que caus\u00f3 caos en Internet en 1988. En un trabajo de investigaci\u00f3n y un sitio web compartido exclusivamente con WIRED, el Los investigadores muestran c\u00f3mo el gusano de IA puede atacar a un asistente de correo electr\u00f3nico de IA generativa para robar datos de correos electr\u00f3nicos y enviar mensajes de spam, rompiendo algunas protecciones de seguridad en ChatGPT y Gemini en el proceso.<\/p>\n<p>La investigaci\u00f3n, que se llev\u00f3 a cabo en entornos de prueba y no en un asistente de correo electr\u00f3nico disponible p\u00fablicamente, se produce en un momento en que los grandes modelos de lenguaje (LLM) se est\u00e1n volviendo cada vez m\u00e1s multimodales, pudiendo generar im\u00e1genes y videos, adem\u00e1s de texto.  Si bien los gusanos de IA generativa a\u00fan no se han detectado en la naturaleza, varios investigadores dicen que son un riesgo de seguridad que deber\u00eda preocupar a las empresas emergentes, los desarrolladores y las empresas de tecnolog\u00eda.<\/p>\n<p><figure class=\"image shortcode-img right full\" style=\"width:218px\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/cdn.arstechnica.net\/wp-content\/uploads\/2019\/02\/wired-logo.png\" width=\"218\" height=\"58\"\/><\/figure>\n<p>La mayor\u00eda de los sistemas de IA generativa funcionan mediante indicaciones: instrucciones de texto que indican a las herramientas que respondan una pregunta o creen una imagen.  Sin embargo, estas indicaciones tambi\u00e9n pueden utilizarse como arma contra el sistema.  Los jailbreaks pueden hacer que un sistema ignore sus reglas de seguridad y arroje contenido t\u00f3xico u odioso, mientras que los ataques de inyecci\u00f3n r\u00e1pida pueden darle instrucciones secretas a un chatbot.  Por ejemplo, un atacante puede ocultar texto en una p\u00e1gina web dici\u00e9ndole a un LLM que act\u00fae como un estafador y le solicite sus datos bancarios.<\/p>\n<aside class=\"ad_wrapper\" aria-label=\"In Content advertisement\">\n    <span class=\"ad_notice\">Anuncio <\/span>    <\/p>\n<\/aside>\n<p>Para crear el gusano generativo de IA, los investigadores recurrieron al llamado \u00abmensaje de autorreplicaci\u00f3n adversario\u00bb.  Este es un mensaje que hace que el modelo generativo de IA genere, en su respuesta, otro mensaje, dicen los investigadores.  En resumen, se le dice al sistema de inteligencia artificial que produzca un conjunto de instrucciones adicionales en sus respuestas.  Esto es muy similar a los tradicionales ataques de inyecci\u00f3n SQL y desbordamiento de b\u00fafer, dicen los investigadores.<\/p>\n<p>Para mostrar c\u00f3mo puede funcionar el gusano, los investigadores crearon un sistema de correo electr\u00f3nico que pod\u00eda enviar y recibir mensajes utilizando IA generativa, conect\u00e1ndose a ChatGPT, Gemini y LLM de c\u00f3digo abierto, LLaVA.  Luego encontraron dos formas de explotar el sistema: utilizando un mensaje autorreplicante basado en texto e incrustando un mensaje autorreplicante dentro de un archivo de imagen.<\/p>\n<figure class=\"video\">\n<p><iframe loading=\"lazy\" title=\"ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications\" width=\"640\" height=\"360\" src=\"https:\/\/www.youtube.com\/embed\/FL3qHH02Yd4?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe><\/p>\n<\/figure>\n<p>En un caso, los investigadores, actuando como atacantes, escribieron un correo electr\u00f3nico que inclu\u00eda el mensaje de texto adversario, que \u00abenvenena\u00bb la base de datos de un asistente de correo electr\u00f3nico utilizando generaci\u00f3n aumentada de recuperaci\u00f3n (RAG), una forma para que los LLM obtengan datos adicionales del exterior. su sistema.  Cuando el RAG recupera el correo electr\u00f3nico, en respuesta a la consulta de un usuario, y lo env\u00eda a GPT-4 o Gemini Pro para crear una respuesta, \u00abhace jailbreak al servicio GenAI\u00bb y, en \u00faltima instancia, roba datos de los correos electr\u00f3nicos, dice Nassi.  \u00abLa respuesta generada que contiene datos confidenciales del usuario infecta posteriormente nuevos hosts cuando se utiliza para responder a un correo electr\u00f3nico enviado a un nuevo cliente y luego se almacena en la base de datos del nuevo cliente\u00bb, dice Nassi.<\/p>\n<p>En el segundo m\u00e9todo, dicen los investigadores, una imagen con un mensaje malicioso incrustado hace que el asistente de correo electr\u00f3nico reenv\u00ede el mensaje a otras personas.  \u00abAl codificar el mensaje autorreplicante en la imagen, cualquier tipo de imagen que contenga spam, material de abuso o incluso propaganda se puede reenviar a nuevos clientes despu\u00e9s de que se haya enviado el correo electr\u00f3nico inicial\u00bb, dice Nassi.<\/p>\n<p>En un v\u00eddeo que demuestra la investigaci\u00f3n, se puede ver el sistema de correo electr\u00f3nico reenviando un mensaje varias veces.  Los investigadores tambi\u00e9n dicen que podr\u00edan extraer datos de los correos electr\u00f3nicos.  \u201cPueden ser nombres, n\u00fameros de tel\u00e9fono, n\u00fameros de tarjetas de cr\u00e9dito, n\u00famero de seguro social, cualquier cosa que se considere confidencial\u201d, dice Nassi.<\/p>\n<p>Aunque la investigaci\u00f3n rompe algunas de las medidas de seguridad de ChatGPT y Gemini, los investigadores dicen que el trabajo es una advertencia sobre el \u00abmal dise\u00f1o de arquitectura\u00bb dentro del ecosistema de IA m\u00e1s amplio.  Sin embargo, informaron sus hallazgos a Google y OpenAI.  \u00abParece que han encontrado una manera de explotar las vulnerabilidades del tipo de inyecci\u00f3n r\u00e1pida confiando en la entrada del usuario que no ha sido verificada ni filtrada\u00bb, dice un portavoz de OpenAI, y agrega que la compa\u00f1\u00eda est\u00e1 trabajando para hacer que sus sistemas sean \u00abm\u00e1s resistentes\u00bb. y decir que los desarrolladores deber\u00edan \u00abutilizar m\u00e9todos que garanticen que no trabajan con informaci\u00f3n da\u00f1ina\u00bb.  Google se neg\u00f3 a comentar sobre la investigaci\u00f3n.  Los mensajes que Nassi comparti\u00f3 con WIRED muestran que los investigadores de la compa\u00f1\u00eda solicitaron una reuni\u00f3n para hablar sobre el tema.<\/p>\n<aside class=\"ad_wrapper\" aria-label=\"In Content advertisement\">\n    <span class=\"ad_notice\">Anuncio <\/span>    <\/p>\n<\/aside>\n<p>Si bien la demostraci\u00f3n del gusano se lleva a cabo en un entorno en gran medida controlado, varios expertos en seguridad que revisaron la investigaci\u00f3n dicen que el riesgo futuro de los gusanos generativos de IA es uno que los desarrolladores deber\u00edan tomar en serio.  Esto se aplica particularmente cuando las aplicaciones de IA reciben permiso para realizar acciones en nombre de alguien (como enviar correos electr\u00f3nicos o reservar citas) y cuando pueden vincularse a otros agentes de IA para completar estas tareas.  En otra investigaci\u00f3n reciente, investigadores de seguridad de Singapur y China han demostrado c\u00f3mo podr\u00edan liberar a 1 mill\u00f3n de agentes LLM en menos de cinco minutos.<\/p>\n<p>Sahar Abdelnabi, investigadora del Centro Helmholtz para la Seguridad de la Informaci\u00f3n CISPA en Alemania, que trabaj\u00f3 en algunas de las primeras demostraciones de inyecciones r\u00e1pidas contra LLM en mayo de 2023 y destac\u00f3 que los gusanos pueden ser posibles, dice que cuando los modelos de IA toman datos de fuentes externas Si las fuentes de datos o los agentes de IA pueden funcionar de forma aut\u00f3noma, existe la posibilidad de que se propaguen gusanos.  \u00abCreo que la idea de repartir las inyecciones es muy plausible\u00bb, afirma Abdelnabi.  \u00abTodo depende del tipo de aplicaciones en las que se utilicen estos modelos\u00bb.  Abdelnabi dice que si bien este tipo de ataque se simula por el momento, puede que no sea te\u00f3rico por mucho tiempo.<\/p>\n<p>En un art\u00edculo que cubre sus hallazgos, Nassi y los otros investigadores dicen que anticipan ver gusanos generativos de IA en la naturaleza en los pr\u00f3ximos dos o tres a\u00f1os.  \u00abLos ecosistemas GenAI est\u00e1n siendo desarrollados masivamente por muchas empresas de la industria que integran capacidades GenAI en sus autom\u00f3viles, tel\u00e9fonos inteligentes y sistemas operativos\u00bb, dice el art\u00edculo de investigaci\u00f3n.<\/p>\n<p>A pesar de esto, hay formas en que las personas que crean sistemas de IA generativa pueden defenderse contra posibles gusanos, incluido el uso de enfoques de seguridad tradicionales.  \u00abCon muchos de estos problemas, esto es algo que un dise\u00f1o y monitoreo adecuados de aplicaciones seguras podr\u00edan abordar en parte\u00bb, dice Adam Swanda, investigador de amenazas de la firma de seguridad empresarial de IA Robust Intelligence.  \u00abPor lo general, no desea confiar en los resultados de LLM en ninguna parte de su aplicaci\u00f3n\u00bb.<\/p>\n<p>Swanda tambi\u00e9n dice que mantener a los humanos informados (asegurando que los agentes de IA no puedan tomar medidas sin aprobaci\u00f3n) es una mitigaci\u00f3n crucial que se puede implementar.  \u201cNo desea que un LLM que est\u00e9 leyendo su correo electr\u00f3nico pueda darse la vuelta y enviar un correo electr\u00f3nico.  Deber\u00eda haber un l\u00edmite all\u00ed\u201d.  Para Google y OpenAI, Swanda dice que si un mensaje se repite dentro de sus sistemas miles de veces, se crear\u00e1 mucho \u00abruido\u00bb y puede ser f\u00e1cil de detectar.<\/p>\n<p>Nassi y la investigaci\u00f3n reiteran muchos de los mismos enfoques de mitigaci\u00f3n.  En \u00faltima instancia, dice Nassi, las personas que crean asistentes de IA deben ser conscientes de los riesgos.  \u00abEsto es algo que hay que entender y ver si el desarrollo del ecosistema, de las aplicaciones que tienes en tu empresa, sigue b\u00e1sicamente uno de estos enfoques\u00bb, afirma.  \u00abPorque si lo hacen, hay que tenerlo en cuenta\u00bb.<\/p>\n<p><em>Esta historia apareci\u00f3 originalmente en wired.com.<\/em><\/p>\n<\/p><\/div>\n<p><br \/>\n<br \/><a href=\"https:\/\/magazineoffice.com\/\">Source link-49<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Jacqui Van Liew; im\u00e1genes falsas A medida que los sistemas de IA generativa como ChatGPT de OpenAI y Gemini de Google se vuelven m\u00e1s avanzados, se los pone cada vez&hellip;<\/p>\n","protected":false},"author":1,"featured_media":1036549,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[21980],"tags":[7084,56381,6514,8,273,98289,2964,4900],"_links":{"self":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/1036547"}],"collection":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/comments?post=1036547"}],"version-history":[{"count":1,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/1036547\/revisions"}],"predecessor-version":[{"id":1036550,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/1036547\/revisions\/1036550"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media\/1036549"}],"wp:attachment":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media?parent=1036547"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/categories?post=1036547"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/tags?post=1036547"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}