{"id":1055311,"date":"2024-03-18T16:20:22","date_gmt":"2024-03-18T16:20:22","guid":{"rendered":"https:\/\/magazineoffice.com\/una-vez-demasiado-aterrador-para-lanzar-gpt-2-se-comprime-en-una-hoja-de-calculo-de-excel\/"},"modified":"2024-03-18T16:20:25","modified_gmt":"2024-03-18T16:20:25","slug":"una-vez-demasiado-aterrador-para-lanzar-gpt-2-se-comprime-en-una-hoja-de-calculo-de-excel","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/una-vez-demasiado-aterrador-para-lanzar-gpt-2-se-comprime-en-una-hoja-de-calculo-de-excel\/","title":{"rendered":"Una vez \u201cdemasiado aterrador\u201d para lanzar, GPT-2 se comprime en una hoja de c\u00e1lculo de Excel"},"content":{"rendered":"<p> <br \/>\n<\/p>\n<div itemprop=\"articleBody\">\n<figure class=\"intro-image intro-left\"><figcaption class=\"caption\">\n<p>im\u00e1genes falsas<\/p>\n<\/figcaption><\/figure>\n<aside id=\"social-left\" class=\"social-left\" aria-label=\"Read the comments or share this article\">\n<\/aside>\n<p><!-- cache hit 18:single\/related:1e5ae40cb71d5f26412218b56b518ec1 --><!-- empty --><\/p>\n<p>Parece que los modelos de lenguajes grandes (LLM) de IA est\u00e1n en todas partes estos d\u00edas debido al auge de ChatGPT.  Ahora, un desarrollador de software llamado Ishan Anand ha logrado incluir un precursor de ChatGPT llamado GPT-2, lanzado originalmente en 2019 despu\u00e9s de cierta inquietud por parte de OpenAI, en una hoja de c\u00e1lculo funcional de Microsoft Excel.  Est\u00e1 disponible gratuitamente y est\u00e1 dise\u00f1ado para educar a las personas sobre c\u00f3mo funcionan los LLM.<\/p>\n<p>\u00abAl usar una hoja de c\u00e1lculo, cualquiera (incluso los que no son desarrolladores) puede explorar y jugar directamente con c\u00f3mo funciona un transformador &#8216;real&#8217; bajo el cap\u00f3 con abstracciones m\u00ednimas que estorben\u00bb, escribe Anand en el sitio web oficial de la hoja, que llama \u00abLas hojas de c\u00e1lculo son todo lo que necesitas\u00bb.  Es un gui\u00f1o al art\u00edculo de investigaci\u00f3n de 2017 \u00abLa atenci\u00f3n es todo lo que necesitas\u00bb que describi\u00f3 por primera vez la arquitectura Transformer que ha sido fundamental para el funcionamiento de los LLM.<\/p>\n<p>Anand empaquet\u00f3 GPT-2 en un formato de archivo binario XLSB de Microsoft Excel y requiere la \u00faltima versi\u00f3n de Excel para ejecutarse (pero no funcionar\u00e1 en la versi\u00f3n web).  Es completamente local y no realiza ninguna llamada API a servicios de IA en la nube.<\/p>\n<p>Aunque la hoja de c\u00e1lculo contiene un modelo de lenguaje de IA completo, no puedes chatear con ella como ChatGPT.  En cambio, los usuarios ingresan palabras en otras celdas y ven los resultados predictivos mostrados en diferentes celdas casi al instante.  Recuerde que los modelos de lenguaje como GPT-2 fueron dise\u00f1ados para realizar predicciones del siguiente token, lo que significa que intentan completar una entrada (llamada mensaje, que est\u00e1 codificada en fragmentos llamados tokens) con el texto m\u00e1s probable.  La predicci\u00f3n podr\u00eda ser la continuaci\u00f3n de una oraci\u00f3n o cualquier otra tarea basada en texto, como un c\u00f3digo de software.  Diferentes hojas en el archivo Excel de Anand permiten a los usuarios tener una idea de lo que sucede bajo el cap\u00f3 mientras se llevan a cabo estas predicciones.<\/p>\n<aside class=\"ad_wrapper\" aria-label=\"In Content advertisement\">\n    <span class=\"ad_notice\">Anuncio <\/span>    <\/p>\n<\/aside>\n<p>Las hojas de c\u00e1lculo son todo lo que necesita solo admite 10 tokens de entrada.  Eso es peque\u00f1o en comparaci\u00f3n con la ventana de contexto de 128.000 tokens de GPT-4 Turbo, pero es suficiente para demostrar algunos principios b\u00e1sicos de c\u00f3mo funcionan los LLM, que Anand ha detallado en una serie de videos tutoriales gratuitos que ha subido a YouTube.<\/p>\n<figure class=\"video\">\n<p><iframe loading=\"lazy\" title=\"Demystifying how GPT works: From Architecture to...Excel!?! \ud83d\ude80\" width=\"640\" height=\"480\" src=\"https:\/\/www.youtube.com\/embed\/FyeN5tXMnJ8?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe><\/p><figcaption class=\"caption\">\n<p>Un v\u00eddeo de Iman Anand demostrando \u00abLas hojas de c\u00e1lculo son todo lo que necesitas\u00bb en un tutorial de YouTube.<\/p>\n<\/figcaption><\/figure>\n<p>En una entrevista con Ars Technica, Anand dice que comenz\u00f3 el proyecto para poder satisfacer su propia curiosidad y comprender el Transformer en detalle.  \u00abLa IA moderna es tan diferente de la IA que aprend\u00ed cuando estaba obteniendo mi t\u00edtulo en inform\u00e1tica que sent\u00ed que necesitaba volver a los fundamentos para tener realmente un modelo mental de c\u00f3mo funcionaba\u00bb.<\/p>\n<p>Dice que originalmente iba a recrear GPT-2 en JavaScript, pero le encantan las hojas de c\u00e1lculo; se autodenomina \u00abun adicto a las hojas de c\u00e1lculo\u00bb.  Se inspir\u00f3 en fast.ai del cient\u00edfico de datos Jeremy Howard y en los tutoriales de IA del ex ingeniero de OpenAI Andrej Karpathy en YouTube.<\/p>\n<p>\u00abDej\u00e9 los videos de Karpathy y me di cuenta de que GPT es principalmente un gran gr\u00e1fico computacional (como una hoja de c\u00e1lculo)\u00bb, dice, \u00aby [I] Me encant\u00f3 c\u00f3mo Jeremy utiliza a menudo hojas de c\u00e1lculo en su curso para que el material sea m\u00e1s accesible.  Despu\u00e9s de ver a esos dos, de repente me di cuenta de que podr\u00eda ser posible hacer todo el modelo GPT-2 en una hoja de c\u00e1lculo\u00bb.<\/p>\n<p>Preguntamos: \u00bfTuvo alguna dificultad para implementar un LLM en una hoja de c\u00e1lculo?  \u00abEl algoritmo real de GPT2 consiste principalmente en muchas operaciones matem\u00e1ticas, lo cual es perfecto para una hoja de c\u00e1lculo\u00bb, afirma.  \u00abDe hecho, la parte m\u00e1s dif\u00edcil es donde las palabras se convierten en n\u00fameros (un proceso llamado tokenizaci\u00f3n) porque es procesamiento de texto y la \u00fanica parte que no es matem\u00e1tica. Habr\u00eda sido m\u00e1s f\u00e1cil hacer esa parte en un lenguaje de programaci\u00f3n tradicional que en una hoja de c\u00e1lculo.\u00bb<\/p>\n<aside class=\"ad_wrapper\" aria-label=\"In Content advertisement\">\n    <span class=\"ad_notice\">Anuncio <\/span>    <\/p>\n<\/aside>\n<p>Cuando Anand necesit\u00f3 ayuda, naturalmente recibi\u00f3 un poco de ayuda del descendiente de GPT-2: \u00abEn particular, el propio ChatGPT fue muy \u00fatil en el proceso en t\u00e9rminos de ayudarme a resolver problemas espinosos con los que me encontraba o a comprender varias etapas del algoritmo, pero no \u00abTambi\u00e9n alucino, as\u00ed que tuve que comprobarlo mucho\u00bb.<\/p>\n<h2>GPT-2 vuelve a viajar<\/h2>\n<p>Toda esta haza\u00f1a es posible porque OpenAI lanz\u00f3 los pesos de la red neuronal y el c\u00f3digo fuente para GPT-2 en noviembre de 2019. Es particularmente interesante ver ese modelo en particular integrado en una hoja de c\u00e1lculo educativa, porque cuando se anunci\u00f3 en febrero de 2019, OpenAI ten\u00eda miedo de publ\u00edquelo: la compa\u00f1\u00eda vio el potencial de que GPT-2 podr\u00eda \u00abutilizarse para generar lenguaje enga\u00f1oso, sesgado o abusivo a escala\u00bb.<\/p>\n<p>A\u00fan as\u00ed, la compa\u00f1\u00eda lanz\u00f3 el modelo GPT-2 completo (incluidos los archivos de pesos necesarios para ejecutarlo localmente) en noviembre de 2019, pero el pr\u00f3ximo modelo principal de la compa\u00f1\u00eda, GPT-3, que se lanz\u00f3 en 2020, no recibi\u00f3 un lanzamiento de pesos abiertos.  Posteriormente, una variaci\u00f3n de GPT-3 form\u00f3 la base de la versi\u00f3n inicial de ChatGPT, lanzada en 2022.<\/p>\n<figure class=\"video\">\n<p><iframe loading=\"lazy\" title=\"GPT2 implemented in Excel (Spreadsheets-are-all-you-need) at AI Tinkerers Seattle\" width=\"640\" height=\"360\" src=\"https:\/\/www.youtube.com\/embed\/AIACopCeGlQ?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe><\/p><figcaption class=\"caption\">\n<p>Un v\u00eddeo de Anand demostrando \u00abLas hojas de c\u00e1lculo son todo lo que necesita\u00bb en AI Tinkerers Seattle, octubre de 2023.<\/p>\n<\/figcaption><\/figure>\n<p>La implementaci\u00f3n de la hoja de c\u00e1lculo de Anand ejecuta \u00abGPT-2 Small\u00bb, que, a diferencia de la versi\u00f3n completa de 1.500 millones de par\u00e1metros de GPT-2, registra 124 millones de par\u00e1metros (los par\u00e1metros son valores num\u00e9ricos en modelos de IA que almacenan patrones aprendidos de los datos de entrenamiento).  En comparaci\u00f3n con los 175 mil millones de par\u00e1metros en GPT-3 (e incluso modelos m\u00e1s grandes), probablemente no calificar\u00eda como un modelo de lenguaje \u00abgrande\u00bb si se lanzara hoy.  Pero en 2019, GPT-2 se consider\u00f3 de \u00faltima generaci\u00f3n.<\/p>\n<p>Puede descargar la hoja de c\u00e1lculo con GPT-2 en GitHub, aunque tenga en cuenta que pesa aproximadamente 1,2 GB.  Debido a su complejidad, Anand dijo que con frecuencia puede bloquear o bloquear Excel, especialmente en una Mac;  Recomienda ejecutar la hoja en Windows.  \u00abSe recomienda encarecidamente utilizar el modo de c\u00e1lculo manual en Excel y la versi\u00f3n de Excel para Windows (ya sea en un directorio de Windows o mediante Parallels en una Mac)\u00bb, escribe en su sitio web.<\/p>\n<p>Y antes de que preguntes, Google Sheets actualmente est\u00e1 fuera de discusi\u00f3n: \u00abEste proyecto en realidad comenz\u00f3 en Google Sheets, pero el modelo completo de 124M era demasiado grande y se cambi\u00f3 a Excel\u00bb, escribe Anand.  \u00abTodav\u00eda estoy explorando formas de hacer que esto funcione en Google Sheets, pero es poco probable que quepa en un solo archivo como ocurre con Excel\u00bb.<\/p>\n<\/p><\/div>\n<p><br \/>\n<br \/><a href=\"https:\/\/magazineoffice.com\/\">Source link-49<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>im\u00e1genes falsas Parece que los modelos de lenguajes grandes (LLM) de IA est\u00e1n en todas partes estos d\u00edas debido al auge de ChatGPT. Ahora, un desarrollador de software llamado Ishan&hellip;<\/p>\n","protected":false},"author":1,"featured_media":1055314,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[21980],"tags":[3691,15096,89835,332,15097,119574,4608,6841,107,73,440],"_links":{"self":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/1055311"}],"collection":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/comments?post=1055311"}],"version-history":[{"count":1,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/1055311\/revisions"}],"predecessor-version":[{"id":1055315,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/1055311\/revisions\/1055315"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media\/1055314"}],"wp:attachment":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media?parent=1055311"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/categories?post=1055311"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/tags?post=1055311"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}