\n<\/p>\n
Es f\u00e1cil de<\/span> enga\u00f1ar a los grandes modelos de lenguaje que impulsan los chatbots como ChatGPT de OpenAI y Bard de Google. En un experimento realizado en febrero, investigadores de seguridad obligaron al chatbot Bing de Microsoft a comportarse como un estafador. Las instrucciones ocultas en una p\u00e1gina web que crearon los investigadores le dec\u00edan al chatbot que le pidiera a la persona que lo usaba que le entregara los detalles de su cuenta bancaria. Este tipo de ataque, en el que informaci\u00f3n oculta puede hacer que el sistema de IA se comporte de forma no deseada, es s\u00f3lo el comienzo.<\/p>\n Desde entonces se han creado cientos de ejemplos de ataques de \u201cinyecci\u00f3n inmediata indirecta\u201d. Este tipo de ataque ahora se considera una de las formas m\u00e1s preocupantes en que los piratas inform\u00e1ticos podr\u00edan abusar de los modelos de lenguaje. A medida que las grandes corporaciones y las nuevas empresas m\u00e1s peque\u00f1as ponen en funcionamiento sistemas de inteligencia artificial generativa, la industria de la ciberseguridad se esfuerza por crear conciencia sobre los peligros potenciales. Al hacerlo, esperan mantener los datos (tanto personales como corporativos) a salvo de ataques. En este momento no existe una soluci\u00f3n m\u00e1gica, pero las pr\u00e1cticas de seguridad comunes pueden reducir los riesgos.<\/p>\n \u00abLa inyecci\u00f3n inmediata indirecta es definitivamente una preocupaci\u00f3n para nosotros\u00bb, dice Vijay Bolina, director de seguridad de la informaci\u00f3n de la unidad de inteligencia artificial DeepMind de Google, quien dice que Google tiene m\u00faltiples proyectos en curso para comprender c\u00f3mo se puede atacar la IA. En el pasado, dice Bolina, la inyecci\u00f3n r\u00e1pida se consideraba \u201cproblem\u00e1tica\u201d, pero las cosas se han acelerado desde que la gente empez\u00f3 a conectar grandes modelos de lenguaje (LLM) a Internet y complementos, que pueden agregar nuevos datos a los sistemas. A medida que m\u00e1s empresas utilicen LLM, lo que potencialmente les proporcionar\u00e1 m\u00e1s datos personales y corporativos, las cosas se complicar\u00e1n. \u00abDefinitivamente pensamos que esto es un riesgo y, de hecho, limita los usos potenciales de los LLM para nosotros como industria\u00bb, dice Bolina.<\/p>\n Los ataques de inyecci\u00f3n r\u00e1pida se dividen en dos categor\u00edas: directos e indirectos. Y es esto \u00faltimo lo que m\u00e1s preocupa a los expertos en seguridad. Cuando se utiliza un LLM, las personas hacen preguntas o brindan instrucciones en indicaciones que luego el sistema responde. Las inyecciones directas ocurren cuando alguien intenta dar la respuesta LLM de una manera no deseada, haciendo que pronuncie discursos de odio o respuestas da\u00f1inas, por ejemplo. Las inyecciones inmediatas indirectas, las que realmente preocupan, llevan las cosas a un nivel superior. En lugar de que el usuario ingrese un mensaje malicioso, la instrucci\u00f3n proviene de un tercero. Un sitio web que el LLM pueda leer, o un PDF que se est\u00e9 analizando, podr\u00eda, por ejemplo, contener instrucciones ocultas que el sistema de inteligencia artificial debe seguir.<\/p>\n \u00abEl riesgo fundamental que subyace a todo esto, tanto para instrucciones r\u00e1pidas directas como indirectas, es que quien proporciona informaci\u00f3n al LLM tiene un alto grado de influencia sobre el resultado\u00bb, dice Rich Harang, arquitecto principal de seguridad que se centra en sistemas de inteligencia artificial en Nvidia. , el mayor fabricante de chips de IA del mundo. En pocas palabras: si alguien puede introducir datos en el LLM, entonces potencialmente puede manipular lo que arroja.<\/p>\n Los investigadores de seguridad han demostrado c\u00f3mo se podr\u00edan utilizar inyecciones indirectas para robar datos, manipular el curr\u00edculum de alguien y ejecutar c\u00f3digo de forma remota en una m\u00e1quina. Un grupo de investigadores de seguridad clasifica las inyecciones r\u00e1pidas como la principal vulnerabilidad para quienes implementan y administran LLM. Y el Centro Nacional de Ciberseguridad, una rama del GCHQ, la agencia de inteligencia del Reino Unido, incluso ha llamado la atenci\u00f3n sobre el riesgo de ataques de inyecci\u00f3n r\u00e1pida, diciendo que hasta ahora ha habido cientos de ejemplos. \u00abSi bien se est\u00e1n realizando investigaciones sobre la inyecci\u00f3n r\u00e1pida, puede que simplemente sea un problema inherente a la tecnolog\u00eda LLM\u00bb, advirti\u00f3 la rama del GCHQ en una publicaci\u00f3n de blog. \u00abExisten algunas estrategias que pueden dificultar la inyecci\u00f3n inmediata, pero hasta el momento no existen mitigaciones infalibles\u00bb.<\/p>\n<\/div>\n