\n<\/p>\n
El desarrollo de sistemas de inteligencia artificial de vanguardia como ChatGPT requiere recursos t\u00e9cnicos masivos, en parte porque son costosos de desarrollar y ejecutar. Si bien varios esfuerzos de c\u00f3digo abierto han intentado realizar ingenier\u00eda inversa de sistemas de c\u00f3digo cerrado patentados creados por laboratorios comerciales como DeepMind y OpenAI de Alphabet, a menudo se han topado con obst\u00e1culos, principalmente debido a la falta de capital y experiencia en el dominio.<\/p>\n
Con la esperanza de evitar este destino, un grupo de investigaci\u00f3n comunitario, EleutherAI, est\u00e1 formando una fundaci\u00f3n sin fines de lucro. La organizaci\u00f3n anunci\u00f3 hoy que fundar\u00e1 un instituto de investigaci\u00f3n sin fines de lucro, el Instituto EleutherAI, financiado con donaciones y subvenciones de patrocinadores, incluidas las empresas emergentes de IA Hugging Face y Stability AI, el ex director ejecutivo de GitHub, Nat Friedman, Lambda Labs y Canva.<\/p>\n
\u201cFormalizarnos como organizaci\u00f3n nos permite formar un personal a tiempo completo y participar en proyectos m\u00e1s largos y complicados de lo que ser\u00eda factible como un grupo de voluntarios\u201d, dijo Stella Biderman, investigadora de IA en Booz Allen Hamilton, quien codirigir\u00e1 el Instituto EleutherAI. le dijo a TechCrunch en una entrevista por correo electr\u00f3nico. \u00abEn t\u00e9rminos de una organizaci\u00f3n sin fines de lucro espec\u00edficamente, creo que es una obviedad dado nuestro enfoque en la investigaci\u00f3n y el espacio de c\u00f3digo abierto\u00bb.<\/p>\n
EleutherAI comenz\u00f3 hace varios a\u00f1os como una colecci\u00f3n de base de desarrolladores que trabajaban para la investigaci\u00f3n de IA de c\u00f3digo abierto. Sus miembros fundadores, Connor Leahy, Leo Gao y Sid Black, escribieron el c\u00f3digo y recopilaron los datos necesarios para crear un modelo de aprendizaje autom\u00e1tico cercano al GPT-3 generador de texto de OpenAI, que en ese momento estaba recibiendo mucha prensa.<\/p>\n
La compa\u00f1\u00eda seleccion\u00f3 y abri\u00f3 The Pile, una colecci\u00f3n de conjuntos de datos dise\u00f1ados para usarse para entrenar modelos similares a GPT-3 para completar texto, escribir c\u00f3digo y m\u00e1s. Y lanz\u00f3 varios modelos bajo la licencia Apache 2.0, incluidos GPT-J y GPT-NeoX, modelos de lenguaje que durante un tiempo impulsaron una ola completamente nueva de nuevas empresas.<\/p>\n
Para entrenar sus modelos, EleutherAI se bas\u00f3 principalmente en TPU Research Cloud, un programa de Google Cloud que apoya proyectos con la expectativa de que los resultados se compartan p\u00fablicamente. CoreWeave, un minero de criptomonedas con sede en EE. UU. que brinda servicios en la nube para cargas de trabajo de IA, tambi\u00e9n suministr\u00f3 recursos inform\u00e1ticos a EleutherAI a cambio de modelos que sus clientes pueden usar y servir.<\/p>\n
EleutherAI creci\u00f3 r\u00e1pidamente. Hoy, m\u00e1s de 20 de los colaboradores regulares de la comunidad est\u00e1n trabajando a tiempo completo, centr\u00e1ndose principalmente en la investigaci\u00f3n. Y durante los \u00faltimos 18 meses, los miembros de EleutherAI han sido coautores de 28 art\u00edculos acad\u00e9micos, han capacitado a docenas de modelos y han publicado diez bases de c\u00f3digo.<\/p>\n
Pero la naturaleza voluble de sus proveedores de nube a veces oblig\u00f3 a EleutherAI a arruinar sus planes. Originalmente, el grupo ten\u00eda la intenci\u00f3n de lanzar un modelo del tama\u00f1o aproximado de GPT-3 en t\u00e9rminos de la cantidad de par\u00e1metros, pero termin\u00f3 dejando de lado esa hoja de ruta por razones t\u00e9cnicas y de financiamiento. (En IA, los par\u00e1metros son las partes del modelo aprendidas de los datos de entrenamiento hist\u00f3ricos y esencialmente definen la habilidad del modelo en un problema, como la generaci\u00f3n de texto).<\/p>\n
A fines de 2022, EleutherAI se familiariz\u00f3 con Stability AI, la nueva empresa ahora bien financiada detr\u00e1s del sistema de IA de generaci\u00f3n de im\u00e1genes Stable Diffusion. Junto con otros colaboradores, ayud\u00f3 a crear la versi\u00f3n inicial de Stable Diffusion. Y desde entonces, Stability AI ha donado una parte de la computaci\u00f3n de su cl\u00faster de AWS para la investigaci\u00f3n continua del modelo de lenguaje de EleutherAI.<\/p>\n
Despu\u00e9s de que otro gran patrocinador, Hugging Face, se acerc\u00f3 a EleutherAI y comenzaron las discusiones sin fines de lucro, dice Biderman. (Muchos miembros del personal de EleutherAI participaron en el esfuerzo BigScience de la empresa, que buscaba capacitar y abrir un modelo similar a GPT-3 en el transcurso de un a\u00f1o).<\/p>\n
\u201cEleutherAI se ha centrado en gran medida en grandes modelos de lenguaje que son arquitect\u00f3nicamente similares a ChatGPT en el pasado, y probablemente seguir\u00e1 haci\u00e9ndolo\u201d, dijo Biderman. \u201cM\u00e1s all\u00e1 de entrenar grandes modelos de lenguaje, estamos emocionados de dedicar m\u00e1s recursos al trabajo de \u00e9tica, interpretabilidad y alineaci\u00f3n\u201d.<\/p>\n
Uno podr\u00eda preguntarse si la participaci\u00f3n de empresas comercialmente motivadas como Stability AI y Hugging Face, ambas respaldadas por un capital de riesgo sustancial, podr\u00eda influir en la investigaci\u00f3n de EleutherAI. Es una suposici\u00f3n natural, e incluso est\u00e1 respaldada por evidencia. Al menos un estudio muestra una correlaci\u00f3n directa entre las donaciones y la probabilidad de que las organizaciones sin fines de lucro hablen sobre una regla gubernamental propuesta.<\/p>\n
Biderman afirma que la Fundaci\u00f3n EleutherAI seguir\u00e1 siendo independiente y dice que hasta ahora no ve ning\u00fan problema con el grupo de donantes.<\/p>\n
\u201cNo desarrollamos modelos a instancias de entidades comerciales\u201d, dijo Biderman. \u201cEn todo caso, creo que tener un patrocinio diverso mejora nuestra independencia. Si estuvi\u00e9ramos totalmente financiados por una empresa de tecnolog\u00eda, eso parece un problema potencial mucho mayor de nuestra parte\u201d.<\/p>\n
Otro desaf\u00edo que la Fundaci\u00f3n EleutherAI tendr\u00e1 que superar es asegurarse de que sus arcas no se agoten. OpenAI es una historia de advertencia; despu\u00e9s de ser fundada como una organizaci\u00f3n sin fines de lucro en 2015, la compa\u00f1\u00eda luego hizo la transici\u00f3n a una estructura de \u00abganancias limitadas\u00bb para financiar su investigaci\u00f3n en curso.<\/p>\n
En t\u00e9rminos generales, las iniciativas sin fines de lucro para financiar la investigaci\u00f3n de IA han sido mixtas.<\/p>\n
Entre las historias de \u00e9xito se encuentra el Allen Institute for AI (AI2), fundado por el difunto cofundador de Microsoft, Paul Allen, que tiene como objetivo lograr avances cient\u00edficos en IA y aprendizaje autom\u00e1tico. Tambi\u00e9n est\u00e1 el Instituto Alan Turing, el instituto nacional de ciencia de datos y aprendizaje autom\u00e1tico con sede en el Reino Unido y financiado por el gobierno. Esfuerzos prometedores m\u00e1s peque\u00f1os incluyen Cohere For AI de Cohere (a pesar de sus v\u00ednculos corporativos) y Distributed AI Research de Timnit Gebru, una organizaci\u00f3n global de investigaci\u00f3n distribuida.<\/p>\n
Pero por cada AI2, est\u00e1 el fondo del ex presidente de Google, Eric Schmidt, para la investigaci\u00f3n de AI. Con un tama\u00f1o de m\u00e1s de $ 125 millones, atrajo una nueva controversia despu\u00e9s de que Politico informara que Schmidt ejerce una influencia inusualmente fuerte sobre la Oficina de Pol\u00edtica Cient\u00edfica y Tecnol\u00f3gica de la Casa Blanca.<\/p>\n
El tiempo dir\u00e1 qu\u00e9 direcci\u00f3n tomar\u00e1 finalmente la Fundaci\u00f3n EleutherAI. Probablemente, la misi\u00f3n evolucionar\u00e1 y cambiar\u00e1 con el tiempo; de manera positiva, solo podemos esperar.<\/p>\n<\/p><\/div>\n