\n<\/p>\n
Ha llegado el primer equivalente de c\u00f3digo abierto de ChatGPT de OpenAI, pero buena suerte ejecut\u00e1ndolo en su computadora port\u00e1til, o en absoluto.<\/p>\n
Esta semana, Philip Wang, el desarrollador responsable de la ingenier\u00eda inversa de sistemas de IA de c\u00f3digo cerrado, incluido Make-A-Video de Meta, lanz\u00f3 PaLM + RLHF, un modelo de generaci\u00f3n de texto que se comporta de manera similar a ChatGPT. El sistema combina PaLM, un gran modelo de lenguaje de Google, y una t\u00e9cnica llamada Aprendizaje por refuerzo con retroalimentaci\u00f3n humana (RLHF, para abreviar) para crear un sistema que puede realizar pr\u00e1cticamente cualquier tarea que ChatGPT puede realizar, incluida la redacci\u00f3n de correos electr\u00f3nicos y la sugerencia de c\u00f3digo de computadora.<\/p>\n
Pero PaLM + RLHF no est\u00e1 preentrenado. Es decir, el sistema no ha sido entrenado con los datos de ejemplo de la web necesarios para que realmente funcione. La descarga de PaLM + RLHF no instalar\u00e1 m\u00e1gicamente una experiencia similar a ChatGPT; eso requerir\u00eda compilar gigabytes de texto a partir del cual el modelo pueda aprender y encontrar hardware lo suficientemente robusto como para manejar la carga de trabajo de capacitaci\u00f3n.<\/p>\n
Al igual que ChatGPT, PaLM + RLHF es esencialmente una herramienta estad\u00edstica para predecir palabras. Cuando se alimenta con una gran cantidad de ejemplos de datos de entrenamiento, por ejemplo, publicaciones de Reddit, art\u00edculos de noticias y libros electr\u00f3nicos, PaLM + RLHF aprende la probabilidad de que ocurran las palabras en funci\u00f3n de patrones como el contexto sem\u00e1ntico del texto circundante.<\/p>\n
ChatGPT y PaLM + RLHF comparten una salsa especial en el aprendizaje reforzado con retroalimentaci\u00f3n humana, una t\u00e9cnica que tiene como objetivo alinear mejor los modelos de lenguaje con lo que los usuarios desean que logren. RLHF implica entrenar un modelo de lenguaje, en el caso de PaLM + RLHF, PaLM, y ajustarlo en un conjunto de datos que incluye indicaciones (por ejemplo, \u00abExplicar el aprendizaje autom\u00e1tico a un ni\u00f1o de seis a\u00f1os\u00bb) junto con lo que los voluntarios humanos esperan del modelo. decir (p. ej., \u00abEl aprendizaje autom\u00e1tico es una forma de IA…\u00bb). Las indicaciones antes mencionadas luego se alimentan al modelo ajustado, que genera varias respuestas, y los voluntarios clasifican todas las respuestas de mejor a peor. Finalmente, las clasificaciones se utilizan para entrenar un \u00abmodelo de recompensa\u00bb que toma las respuestas del modelo original y las ordena en orden de preferencia, filtrando las mejores respuestas a un mensaje determinado.<\/p>\n
Recopilar los datos de entrenamiento es un proceso costoso. Y la formaci\u00f3n en s\u00ed no es barata. PaLM tiene un tama\u00f1o de 540 mil millones de par\u00e1metros, \u00abpar\u00e1metros\u00bb que se refieren a las partes del modelo de lenguaje aprendidas de los datos de entrenamiento. Un estudio de 2020 fij\u00f3 los gastos para desarrollar un modelo de generaci\u00f3n de texto con solo 1.500 millones de par\u00e1metros en hasta $ 1.6 millones. Y para entrenar el modelo de c\u00f3digo abierto Bloom, que tiene 176 mil millones de par\u00e1metros, tom\u00f3 tres meses usando 384 GPU Nvidia A100; un solo A100 cuesta miles de d\u00f3lares.<\/p>\n
Ejecutar un modelo entrenado del tama\u00f1o de PaLM + RLHF tampoco es trivial. Bloom requiere una PC dedicada con alrededor de ocho GPU A100. Las alternativas en la nube son costosas, con matem\u00e1ticas de \u00faltima generaci\u00f3n que encuentran que el costo de ejecutar el GPT-3 generador de texto de OpenAI, que tiene alrededor de 175 mil millones de par\u00e1metros, en una sola instancia de Amazon Web Services es de alrededor de $ 87,000 por a\u00f1o.<\/p>\n
Sebastian Raschka, un investigador de IA, se\u00f1ala en una publicaci\u00f3n de LinkedIn sobre PaLM + RLHF que ampliar los flujos de trabajo de desarrollo necesarios tambi\u00e9n podr\u00eda ser un desaf\u00edo. \u201cIncluso si alguien le proporciona 500 GPU para entrenar este modelo, a\u00fan debe lidiar con la infraestructura y tener un marco de software que pueda manejar eso\u201d, dijo. \u00abObviamente es posible, pero es un gran esfuerzo en este momento (por supuesto, estamos desarrollando marcos para hacerlo m\u00e1s simple, pero todav\u00eda no es trivial)\u00bb.<\/p>\n
Eso es todo para decir que PaLM + RLHF no reemplazar\u00e1 a ChatGPT hoy, a menos que una empresa (o persona) bien financiada se tome la molestia de capacitarla y ponerla a disposici\u00f3n del p\u00fablico.<\/p>\n
En mejores noticias, varios otros esfuerzos para replicar ChatGPT est\u00e1n progresando a un ritmo r\u00e1pido, incluido uno dirigido por un grupo de investigaci\u00f3n llamado CarperAI. En asociaci\u00f3n con la organizaci\u00f3n de investigaci\u00f3n de IA abierta EleutherAI y las nuevas empresas Scale AI y Hugging Face, CarperAI planea lanzar el primer modelo de IA similar a ChatGPT, listo para funcionar, entrenado con retroalimentaci\u00f3n humana.<\/p>\n
LAION, la organizaci\u00f3n sin fines de lucro que suministr\u00f3 el conjunto de datos inicial utilizado para entrenar Stable Diffusion, tambi\u00e9n est\u00e1 encabezando un proyecto para replicar ChatGPT utilizando las t\u00e9cnicas de aprendizaje autom\u00e1tico m\u00e1s recientes. Ambiciosamente, LAION tiene como objetivo construir un \u00abasistente del futuro\u00bb, uno que no solo escriba correos electr\u00f3nicos y cartas de presentaci\u00f3n, sino que \u00abhaga un trabajo significativo, use API, busque informaci\u00f3n din\u00e1micamente y mucho m\u00e1s\u00bb. Est\u00e1 en las primeras etapas. Pero una p\u00e1gina de GitHub con recursos para el proyecto se puso en marcha hace unas semanas.<\/p>\n<\/p><\/div>\n