Delange dijo que los modelos de lenguaje de código abierto están mejorando rápidamente y pueden ser mejores que el GPT-4 líder del mercado de OpenAI para algunas tareas especializadas. Pero señaló que muchos de los mejores modelos de código abierto provienen de fuera de EE. UU. y dijo que 01.AI podría estar posicionado para beneficiarse de las innovaciones que surjan en torno a su modelo. «Las empresas estadounidenses se han vuelto un poco menos abiertas y transparentes», dijo en la sesión informativa. «Pero existe una dinámica interesante con la IA en la que cuanto más una empresa lanza código abierto, más se desarrolla el ecosistema y, por lo tanto, más fuertes se vuelven en la construcción de IA».
Llama 2 de Meta es un raro ejemplo de un modelo de código abierto superior de una empresa estadounidense y es el desafío del gigante de las redes sociales a OpenAI, Microsoft, Google y otros importantes rivales tecnológicos que invierten fuertemente en IA generativa. Meta decidió lanzar su modelo de lenguaje de IA bajo una licencia que permite la reutilización comercial, con algunas salvedades.
Yi-34B y Llama 2 parecen tener más en común que solo ser modelos líderes de inteligencia artificial de código abierto. No mucho después del lanzamiento del modelo chino, algunos desarrolladores notaron que el código de 01.AI había incluido previamente menciones del modelo de Meta que luego fueron eliminadas. Richard Lin, jefe de código abierto de 01.AI, dijo más tarde que la compañía revertiría los cambios, y la compañía le dio crédito a Llama 2 por parte de la arquitectura del Yi-34B. Como todos los modelos de lenguaje líderes, el de 01.AI se basa en la arquitectura «transformer» desarrollada por primera vez por investigadores de Google en 2017, y la compañía china derivó ese componente de Llama 2. Anita Huang, portavoz de 01.AI, dice un experto legal Consultado por la empresa dijo que Yi-34B no está sujeto a la licencia de Llama 2. Meta no respondió a una solicitud de comentarios.
Cualquiera que sea el grado en que Yi-34B tome prestado de Llama 2, el modelo chino funciona de manera muy diferente debido a los datos que ha recibido. «Yi comparte la arquitectura de Llama, pero su entrenamiento es completamente diferente y significativamente mejor», dice Eric Hartford, investigador de IA en Abacus.AI que sigue proyectos de IA de código abierto. «Son completamente diferentes».
La conexión con Llama 2 de Meta es un ejemplo de cómo, a pesar de la confianza de Lee en la experiencia de China en IA, actualmente está siguiendo el ejemplo de Estados Unidos en IA generativa. Jeffrey Ding, profesor asistente de la Universidad George Washington que estudia la escena de la IA en China, dice que aunque los investigadores chinos han publicado docenas de grandes modelos de lenguaje, la industria en su conjunto todavía está por detrás de Estados Unidos.
«Las empresas occidentales obtuvieron una ventaja significativa en el desarrollo de grandes modelos de lenguaje porque podían aprovechar los lanzamientos públicos para probar problemas, obtener comentarios de los usuarios y generar interés en torno a nuevos modelos», afirma. Ding y otros han argumentado que las empresas chinas de IA enfrentan obstáculos regulatorios y económicos más fuertes que sus contrapartes estadounidenses.
En su intervención en el Foro Económico Mundial de Davos la semana pasada, Lee argumentó (tal vez esperando que el mensaje llegara a casa) que el enfoque abierto sería crucial para que cualquier país aproveche al máximo la IA.
“Uno de los problemas de que una o unas pocas empresas tengan todo el poder y dominen los modelos es que crea una enorme desigualdad, y no sólo entre las personas que son menos ricas y en los países menos ricos, sino también entre los profesores investigadores, estudiantes, empresarios, aficionados”, dijo Lee. “Si no hubiera código abierto, ¿qué harían para aprender? porque podrían ser el próximo creador, inventor o desarrollador de aplicaciones”.
Si tiene razón, la tecnología de 01.AI (y las aplicaciones creadas sobre ella) colocarán a la tecnología china en el centro de la próxima fase de la industria tecnológica.