Anuncio <\/span> <\/p>\n<\/aside>\nComo es esto posible? Al cambiar el contexto de la imagen cargada con el mensaje escrito \u00ababuela\u00bb y la imagen del relicario circundante, Bing Chat ya no considera que la imagen sea un CAPTCHA. La informaci\u00f3n adicional descarta el modelo de IA, que responde preguntas centr\u00e1ndose en el conocimiento en un \u00abespacio latente\u00bb codificado, que es una red vectorizada de relaciones de datos construida a partir de su conjunto de datos de entrenamiento inicial. Es como darle a alguien las coordenadas incorrectas mientras busca un objetivo usando un mapa. Terminan en el destino equivocado.<\/p>\n
Bing Chat es una aplicaci\u00f3n p\u00fablica de la tecnolog\u00eda de modelo de lenguaje grande (LLM) llamada GPT-4, que impulsa la versi\u00f3n de suscripci\u00f3n de ChatGPT desarrollada por el socio OpenAI. OpenAI anunci\u00f3 recientemente su propia versi\u00f3n \u00abmultimodal\u00bb de ChatGPT que puede analizar im\u00e1genes cargadas de manera similar a Bing Chat, pero Microsoft comenz\u00f3 a admitir esta funcionalidad en Bing ya en julio de este a\u00f1o.<\/p>\n
En septiembre de 2022, dimos la noticia sobre el desarrollo de un tipo entonces nuevo de vulnerabilidad de modelo de lenguaje grande (la inyecci\u00f3n r\u00e1pida) que enga\u00f1aba a los LLM para que ignoraran sus instrucciones previas y hicieran algo en contra de los deseos de sus desarrolladores. El investigador de IA Simon Willison fue clave a la hora de acu\u00f1ar ese t\u00e9rmino. Entonces le preguntamos: \u00bfNo es este truco de Bing Chat una especie de inyecci\u00f3n visual?<\/p>\n
\u00abNo me gusta el t\u00e9rmino; creo que confunde jailbreaks (que es) e inyecciones r\u00e1pidas (que no es)\u00bb, escribi\u00f3 Willison en un mensaje a Ars. \u00abHacer jailbreak significa trabajar alrededor de las reglas\/pautas\/restricciones \u00e9ticas incorporadas en un modelo. La inyecci\u00f3n r\u00e1pida significa atacar una aplicaci\u00f3n construida sobre un LLM, aprovechando los lugares donde concatena el aviso del desarrollador con entradas no confiables de un usuario. As\u00ed que esto es un jailbreak visual, pero no una inyecci\u00f3n r\u00e1pida visual, al menos seg\u00fan mi definici\u00f3n\u00bb.<\/p>\n
Willison dice que el jailbreak visual de Bing Chat le recuerda a un jailbreak cl\u00e1sico de ChatGPT de abril, donde un usuario elude los controles sobre c\u00f3mo dar instrucciones sobre c\u00f3mo hacer napalm envolvi\u00e9ndolo en una solicitud sobre su abuela fallecida. En la historia de ficci\u00f3n presentada al LLM, su abuela sol\u00eda trabajar en una f\u00e1brica de napalm y le contaba historias al orador mientras \u00e9l se quedaba dormido. ChatGPT, en ese momento, continuar\u00eda la historia y proporcionar\u00eda las instrucciones para fabricar napalm como parte de una narrativa.<\/p>\n
Como sea que se llame a este nuevo tipo de vulnerabilidad de imagen, parece probable que Microsoft encuentre una manera de solucionarlo en futuras versiones de Bing Chat. Microsoft no estuvo disponible de inmediato para hacer comentarios al momento de esta publicaci\u00f3n.<\/p>\n<\/p><\/div>\n
\n
Source link-49<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"Agrandar \/ La imagen que comparti\u00f3 un usuario de Bing Chat para enga\u00f1ar a su modelo de IA para que resolviera un CAPTCHA. Bing Chat, un chatbot de IA de…<\/p>\n","protected":false},"author":1,"featured_media":830702,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[21980],"tags":[2810,1098,37033,9721,194,19241,4504,107,101682,21902,388,6542],"_links":{"self":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/830701"}],"collection":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/comments?post=830701"}],"version-history":[{"count":1,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/830701\/revisions"}],"predecessor-version":[{"id":830703,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/830701\/revisions\/830703"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media\/830702"}],"wp:attachment":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media?parent=830701"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/categories?post=830701"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/tags?post=830701"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}