{"id":484354,"date":"2023-02-26T12:32:28","date_gmt":"2023-02-26T12:32:28","guid":{"rendered":"https:\/\/magazineoffice.com\/meta-presenta-un-nuevo-modelo-de-lenguaje-grande-que-puede-ejecutarse-en-una-sola-gpu-updated\/"},"modified":"2023-02-26T12:32:30","modified_gmt":"2023-02-26T12:32:30","slug":"meta-presenta-un-nuevo-modelo-de-lenguaje-grande-que-puede-ejecutarse-en-una-sola-gpu-updated","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/meta-presenta-un-nuevo-modelo-de-lenguaje-grande-que-puede-ejecutarse-en-una-sola-gpu-updated\/","title":{"rendered":"Meta presenta un nuevo modelo de lenguaje grande que puede ejecutarse en una sola GPU [Updated]"},"content":{"rendered":"<p> <br \/>\n<\/p>\n<div itemprop=\"articleBody\">\n<figure class=\"intro-image intro-left\"><figcaption class=\"caption\">\n<p>Benj Edwards \/ Ars Technica<\/p>\n<\/figcaption><\/figure>\n<aside id=\"social-left\" class=\"social-left\" aria-label=\"Read the comments or share this article\">\n<\/aside>\n<p><!-- cache hit 4:single\/related:38eca99a84e11677711cc3d95a4bb7df --><!-- empty --><\/p>\n<p>El viernes, Meta anunci\u00f3 un nuevo modelo de lenguaje grande (LLM) impulsado por IA llamado LLaMA-13B que, seg\u00fan afirma, puede superar al modelo GPT-3 de OpenAI a pesar de ser \u00ab10 veces m\u00e1s peque\u00f1o\u00bb.  Los modelos de IA de menor tama\u00f1o podr\u00edan conducir a la ejecuci\u00f3n local de asistentes de idioma estilo ChatGPT en dispositivos como PC y tel\u00e9fonos inteligentes.  Es parte de una nueva familia de modelos de lenguaje llamada \u00abLarge Language Model Meta AI\u00bb, o LLAMA para abreviar.<\/p>\n<p>La colecci\u00f3n LLaMA de modelos de lenguaje var\u00eda de 7 mil millones a 65 mil millones de par\u00e1metros en tama\u00f1o.  En comparaci\u00f3n, el modelo GPT-3 de OpenAI, el modelo fundamental detr\u00e1s de ChatGPT, tiene 175\u00a0000 millones de par\u00e1metros.<\/p>\n<p>Meta entren\u00f3 sus modelos LLaMA utilizando conjuntos de datos disponibles p\u00fablicamente, como Common Crawl, Wikipedia y C4, lo que significa que la empresa puede potencialmente lanzar el modelo y las ponderaciones de c\u00f3digo abierto.  Ese es un nuevo desarrollo dram\u00e1tico en una industria donde, hasta ahora, los jugadores de Big Tech en la carrera de IA se han reservado su tecnolog\u00eda de IA m\u00e1s poderosa.<\/p>\n<p>\u00abA diferencia de Chinchilla, PaLM o GPT-3, solo usamos conjuntos de datos disponibles p\u00fablicamente, lo que hace que nuestro trabajo sea compatible con c\u00f3digo abierto y reproducible, mientras que la mayor\u00eda de los modelos existentes se basan en datos que no est\u00e1n disponibles p\u00fablicamente o no est\u00e1n documentados\u00bb. <a href=\"https:\/\/twitter.com\/GuillaumeLample\/status\/1629151234597740550?s=20\" target=\"_blank\" rel=\"noopener\">tuite\u00f3<\/a> miembro del proyecto Guillaume Lample.<\/p>\n<div class=\"twitter-tweet\">\n<blockquote class=\"twitter-tweet\" data-lang=\"en\">\n<p lang=\"en\" dir=\"ltr\">Hoy lanzamos LLaMA, 4 modelos de base que van desde los par\u00e1metros 7B a 65B.<br \/>LLaMA-13B supera a OPT y GPT-3 175B en la mayor\u00eda de los puntos de referencia.  LLaMA-65B es competitivo con Chinchilla 70B y PaLM 540B.<br \/>Los pesos para todos los modelos est\u00e1n abiertos y disponibles en https:\/\/t.co\/q51f2oPZlE<br \/>1\/n <a href=\"https:\/\/t.co\/DPyJFBfWEq\" target=\"_blank\">pic.twitter.com\/DPyJFBfWEq<\/a><\/p>\n<p>\u2014 Guillaume Lample (@GuillaumeLample) <a href=\"https:\/\/twitter.com\/GuillaumeLample\/status\/1629151231800115202?ref_src=twsrc%5Etfw\" target=\"_blank\" rel=\"noopener\">24 de febrero de 2023<\/a><\/p><\/blockquote>\n<\/div>\n<p>Meta llama a sus modelos LLaMA \u00abmodelos fundamentales\u00bb, lo que significa que la empresa tiene la intenci\u00f3n de que los modelos formen la base de futuros modelos de IA m\u00e1s refinados construidos a partir de la tecnolog\u00eda, similar a c\u00f3mo OpenAI construy\u00f3 ChatGPT a partir de una base de GPT-3.  La compa\u00f1\u00eda espera que LLaMA sea \u00fatil en la investigaci\u00f3n del lenguaje natural y potencialmente impulse aplicaciones como \u00abrespuesta a preguntas, comprensi\u00f3n del lenguaje natural o comprensi\u00f3n de lectura, capacidades de comprensi\u00f3n y limitaciones de los modelos de lenguaje actuales\u00bb.<\/p>\n<aside class=\"ad_wrapper\" aria-label=\"In Content advertisement\">\n    <span class=\"ad_notice\">Anuncio <\/span>    <\/p>\n<\/aside>\n<p>Si bien el modelo LLaMA de primera l\u00ednea (LLaMA-65B, con 65\u00a0000 millones de par\u00e1metros) va de la mano con ofertas similares de los laboratorios de IA de la competencia DeepMind, Google y OpenAI, posiblemente el desarrollo m\u00e1s interesante proviene del LLaMA. -13B, que, como se mencion\u00f3 anteriormente, puede superar a GPT-3 mientras se ejecuta en una sola GPU cuando se mide en ocho puntos de referencia est\u00e1ndar de \u00abrazonamiento de sentido com\u00fan\u00bb como BoolQ, PIQA, SIQA, HellaSwag, WinoGrande, ARC y OpenBookQA.  A diferencia de los requisitos del centro de datos para los derivados de GPT-3, LLaMA-13B abre la puerta para un rendimiento similar a ChatGPT en hardware de nivel de consumidor en un futuro pr\u00f3ximo.<\/p>\n<p>El tama\u00f1o del par\u00e1metro es un gran problema en la IA.  Un par\u00e1metro es una variable que utiliza un modelo de aprendizaje autom\u00e1tico para hacer predicciones o clasificaciones basadas en datos de entrada.  La cantidad de par\u00e1metros en un modelo de lenguaje es un factor clave en su desempe\u00f1o, con modelos m\u00e1s grandes generalmente capaces de manejar tareas m\u00e1s complejas y producir resultados m\u00e1s coherentes.  Sin embargo, m\u00e1s par\u00e1metros ocupan m\u00e1s espacio y requieren m\u00e1s recursos inform\u00e1ticos para ejecutarse.  Entonces, si un modelo puede lograr los mismos resultados que otro modelo con menos par\u00e1metros, representa una ganancia significativa en eficiencia.<\/p>\n<p>\u00abAhora estoy pensando que ejecutaremos modelos de lenguaje con una parte considerable de las capacidades de ChatGPT en nuestros propios tel\u00e9fonos m\u00f3viles y computadoras port\u00e1tiles (de gama alta) dentro de uno o dos a\u00f1os\u00bb, escribi\u00f3 el investigador independiente de inteligencia artificial Simon Willison en un Hilo de Mastodon analizando el impacto de los nuevos modelos de IA de Meta.<\/p>\n<p>Actualmente, una versi\u00f3n simplificada de LLaMA est\u00e1 disponible en GitHub.  Para recibir el c\u00f3digo completo y los pesos (los datos de entrenamiento \u00abaprendidos\u00bb en una red neuronal), Meta proporciona un formulario donde los investigadores interesados \u200b\u200bpueden solicitar acceso.  Meta no ha anunciado planes para un lanzamiento m\u00e1s amplio del modelo y los pesos en este momento.<\/p>\n<p><strong>Actualizaci\u00f3n (26 de febrero de 2023):<\/strong> Hemos agregado los nombres de los puntos de referencia acad\u00e9micos est\u00e1ndar que Meta us\u00f3 para medir el desempe\u00f1o de LLaMA.<\/p>\n<\/p><\/div>\n<p><script async src=\"\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script><br \/>\n<br \/><br \/>\n<br \/><a href=\"https:\/\/magazineoffice.com\/\">Source link-49<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Benj Edwards \/ Ars Technica El viernes, Meta anunci\u00f3 un nuevo modelo de lenguaje grande (LLM) impulsado por IA llamado LLaMA-13B que, seg\u00fan afirma, puede superar al modelo GPT-3 de&hellip;<\/p>\n","protected":false},"author":1,"featured_media":484355,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[21980],"tags":[11679,4256,2805,12901,9842,1488,104,272,495,5620,73,22755],"_links":{"self":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/484354"}],"collection":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/comments?post=484354"}],"version-history":[{"count":1,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/484354\/revisions"}],"predecessor-version":[{"id":484356,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/484354\/revisions\/484356"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media\/484355"}],"wp:attachment":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media?parent=484354"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/categories?post=484354"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/tags?post=484354"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}