{"id":989373,"date":"2024-01-31T22:31:51","date_gmt":"2024-01-31T22:31:51","guid":{"rendered":"https:\/\/magazineoffice.com\/los-laser-de-microsoft-eliminan-las-imprecisiones-del-llm\/"},"modified":"2024-01-31T22:31:53","modified_gmt":"2024-01-31T22:31:53","slug":"los-laser-de-microsoft-eliminan-las-imprecisiones-del-llm","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/los-laser-de-microsoft-eliminan-las-imprecisiones-del-llm\/","title":{"rendered":"Los LASER de Microsoft eliminan las imprecisiones del LLM"},"content":{"rendered":"<p> <br \/>\n<\/p>\n<div>\n<p class=\"duet--article--dangerously-set-cms-markup duet--article--standard-paragraph mb-20 font-fkroman text-18 leading-160 -tracking-1 selection:bg-franklin-20 dark:text-white dark:selection:bg-blurple [&#038;_a:hover]:shadow-highlight-franklin dark:[&#038;_a:hover]:shadow-highlight-blurple [&#038;_a]:shadow-underline-black dark:[&#038;_a]:shadow-underline-white\">durante el enero <a rel=\"nofollow noopener\" target=\"_blank\" href=\"https:\/\/click.linksynergy.com\/deeplink?id=nOD\/rLJHOac&#038;mid=24542&#038;murl=https%3A%2F%2Fwww.microsoft.com%2Fen-us%2Fresearch%2Fquarterly-brief%2Fjan-2024-brief%2Farticles%2Fimproving-reasoning-in-language-models-with-laser-layer-selective-rank-reduction%2F\">Foro de investigaci\u00f3n de Microsoft<\/a>Dipendra Misra, investigadora senior de Microsoft Research Lab NYC y AI Frontiers, explic\u00f3 c\u00f3mo la reducci\u00f3n de rango selectiva por capas (o LASER) puede hacer que los modelos de lenguaje grandes sean m\u00e1s precisos. <\/p>\n<\/div>\n<div>\n<p class=\"duet--article--dangerously-set-cms-markup duet--article--standard-paragraph mb-20 font-fkroman text-18 leading-160 -tracking-1 selection:bg-franklin-20 dark:text-white dark:selection:bg-blurple [&#038;_a:hover]:shadow-highlight-franklin dark:[&#038;_a:hover]:shadow-highlight-blurple [&#038;_a]:shadow-underline-black dark:[&#038;_a]:shadow-underline-white\">Con LASER, los investigadores pueden \u00abintervenir\u00bb y reemplazar una matriz de peso por otra aproximadamente m\u00e1s peque\u00f1a.  Los pesos son las conexiones contextuales que hacen los modelos.  Cuanto mayor es el peso, m\u00e1s depende del modelo.  Entonces, \u00bfreemplazar algo con m\u00e1s correlaciones y contextos hace que el modelo sea menos preciso?  Seg\u00fan los resultados de sus pruebas, la respuesta, sorprendentemente, es no. <\/p>\n<\/div>\n<div>\n<p class=\"duet--article--dangerously-set-cms-markup duet--article--standard-paragraph mb-20 font-fkroman text-18 leading-160 -tracking-1 selection:bg-franklin-20 dark:text-white dark:selection:bg-blurple [&#038;_a:hover]:shadow-highlight-franklin dark:[&#038;_a:hover]:shadow-highlight-blurple [&#038;_a]:shadow-underline-black dark:[&#038;_a]:shadow-underline-white\">\u201cEstamos haciendo una intervenci\u00f3n usando LASER en el LLM, por lo que uno esperar\u00eda que la p\u00e9rdida del modelo aumentara a medida que hacemos m\u00e1s aproximaciones, lo que significa que el modelo funcionar\u00e1 mal, cierto, porque estamos desechando informaci\u00f3n de un LLM. , que est\u00e1 entrenado con grandes cantidades de datos\u201d, dijo Misra.  \u00abPero, para nuestra sorpresa, descubrimos que si se realiza el tipo correcto de intervenci\u00f3n L\u00c1SER, la p\u00e9rdida del modelo no aumenta sino que en realidad disminuye\u00bb.<\/p>\n<\/div>\n<div>\n<p class=\"duet--article--dangerously-set-cms-markup duet--article--standard-paragraph mb-20 font-fkroman text-18 leading-160 -tracking-1 selection:bg-franklin-20 dark:text-white dark:selection:bg-blurple [&#038;_a:hover]:shadow-highlight-franklin dark:[&#038;_a:hover]:shadow-highlight-blurple [&#038;_a]:shadow-underline-black dark:[&#038;_a]:shadow-underline-white\">Misra dijo que su equipo utiliz\u00f3 LASER con \u00e9xito en tres modelos diferentes de c\u00f3digo abierto: RoBERTa, Llama 2 y GPT-J de Eleuther.  Dijo que, en ocasiones, la mejora del modelo aumentaba entre 20 y 30 puntos porcentuales.  Por ejemplo, el rendimiento de GPT-J para la predicci\u00f3n de g\u00e9nero basada en biograf\u00edas pas\u00f3 del 70,9 por ciento de precisi\u00f3n al 97,5 por ciento despu\u00e9s de una intervenci\u00f3n L\u00c1SER.<\/p>\n<\/div>\n<p><br \/>\n<br \/><a href=\"https:\/\/www.theverge.com\/2024\/1\/31\/24057362\/microsoft-llm-accuracy-laser-research-ai\" target=\"_blank\" rel=\"noopener\">Source link-37 <\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>durante el enero Foro de investigaci\u00f3n de MicrosoftDipendra Misra, investigadora senior de Microsoft Research Lab NYC y AI Frontiers, explic\u00f3 c\u00f3mo la reducci\u00f3n de rango selectiva por capas (o LASER)&hellip;<\/p>\n","protected":false},"author":1,"featured_media":831852,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[21980],"tags":[194,2475,51829,246,3613,86655,8,683],"_links":{"self":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/989373"}],"collection":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/comments?post=989373"}],"version-history":[{"count":1,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/989373\/revisions"}],"predecessor-version":[{"id":989374,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/989373\/revisions\/989374"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media\/831852"}],"wp:attachment":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media?parent=989373"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/categories?post=989373"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/tags?post=989373"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}