Kai-Fu Lee, el informático conocido en Occidente por su bestseller Superpoderes de la IA y en China por sus apuestas sobre unicornios de inteligencia artificial, tiene una nueva empresa y una gran ambición.
A finales de marzo, Lee lanzó una empresa llamada 01.AI con la visión de desarrollar un modelo de lenguaje local de gran tamaño para el mercado chino. La empresa lo pone en competencia con otros líderes tecnológicos chinos prominentes, incluido el fundador de Sogou, Wang Xiaochuan, quien ha estado reuniendo rápidamente talento y capital de riesgo para establecer equivalentes de OpenAI en China.
«Creo que la necesidad es la madre de la innovación, y claramente hay una enorme necesidad en China», dijo Lee a TechCrunch en una entrevista, explicando el motivo detrás de iniciar 01.AI. «A diferencia del resto del mundo, China no tiene acceso a OpenAI y Google porque esas dos empresas no pusieron sus productos a disposición en China, por lo que creo que muchos estudiantes de LLM están tratando de hacer su parte en la creación de una solución para un mercado. eso realmente necesita esto”.
01.El crecimiento de la IA es un reflejo apropiado del rápido desarrollo en el campo de la IA generativa. Siete meses después de su fundación, la startup lanzó su primer modelo, el Yi-34B de código abierto. La decisión de introducir un LLM abierto como su producto debut es una forma de “retribuir” a la sociedad, dijo Lee. Para las personas que han sentido que LLaMA es una “recompensa del cielo”, “hemos proporcionado una alternativa convincente”, añadió.
Al momento de escribir este artículo, Yi-34B, que es un modelo base bilingüe (inglés y chino) entrenado con 34 mil millones de parámetros y significativamente más pequeño que otros modelos abiertos como Falcon-180B y Meta LlaMa2-70B, ocupó el primer lugar entre los modelos LLM previamente capacitados, según una clasificación de Hugging Face.
“Seguimos creyendo que los modelos más grandes, cuando se entrenan bien, con una gran cantidad de datos de alta calidad, siempre superarán a los modelos sustancialmente más pequeños de calidad y tecnología comparables, por lo que creo que [Yi-34B] Superar modelos mucho más grandes es algo que normalmente no vemos”, dijo Lee. «Estamos bastante seguros de que, a medida que lanzamos modelos que van de 100 mil millones a 400 mil millones durante el próximo año, año y medio, estos modelos serán dramáticamente mejores que el modelo actual que anunciamos».
La capacidad de la startup para comenzar rápidamente la capacitación de modelos es sin duda el resultado de su fluida recaudación de fondos, que es fundamental para asegurar talentos y procesadores de inteligencia artificial de primer nivel. Si bien se negó a revelar cuánto ha recaudado 01.AI, Lee dijo que está valorado en mil millones de dólares después de recibir financiación de Sinovation Ventures, Alibaba Cloud y otros inversores no revelados.
01.AI ya ha crecido hasta contar con más de 100 empleados, más de la mitad de los cuales son expertos en LLM de importantes empresas tecnológicas multinacionales y chinas. Su vicepresidente de tecnología, por ejemplo, es uno de los primeros miembros de Bard de Google, y su arquitecto jefe fue miembro fundador de TensorFlow y trabajó junto a investigadores de renombre como Jeff Dean y Samy Bengio en Google Brain. Las figuras clave detrás de Yi-34B son Wenhao Huang, un veterano de Microsoft Research Asia, y Ethan Dai, quien ocupó altos cargos de IA en Huawei y Alibaba.
Después de haber respaldado a más de diez unicornios y haber creado siete empresas de riesgo a través de Sinovation Ventures, Lee es posiblemente uno de los inversores y empresarios mejor conectados de China.
«Han pasado más de 25 años desde la fundación de Microsoft Research Asia, y todo lo que he hecho ha sido conseguir talentos increíbles», dijo Lee, quien lanzó Microsoft Research Asia, el mayor centro de investigación del gigante estadounidense en el extranjero. antes de dirigir Google China. A lo largo de los años, Microsoft Research Asia se ha ganado la reputación de ser el “Punto Oeste” para nutrir a los empresarios de IA de China.
«Ahora, por supuesto, uno quiere pagar a la gente de manera justa y necesita ser competitivo en el salario, pero realmente creo que también se trata de que la gente crea que puede marcar la diferencia y que la empresa pueda tener éxito», añadió Lee.
No es ningún secreto que crear un LLM es una tarea costosa. Para sostener sus operaciones que requieren mucho efectivo, 01.AI tiene planes de monetización desde el principio. Si bien la compañía continuará abriendo el código fuente de algunos de sus modelos, su objetivo es construir un modelo patentado de última generación que sirva como base para una amplia gama de productos comerciales.
«Nosotros No se puede abrir todo el código fuente”, dijo Lee. “Éramos bastante conscientes del hecho de que estos grandes modelos de lenguaje requieren mucha computación y, por lo tanto, son muy costosos. Cuando recaudemos mucho dinero, la mayor parte se gastará en la GPU. Teniendo en cuenta eso, primero necesitábamos adquirir tanta GPU como pudiéramos, y lo hicimos”.
Al igual que otros actores de LLM en China, 01.AI ha almacenado GPU de forma proactiva en previsión de las sanciones de Estados Unidos; pidió dinero prestado para comprar procesadores incluso antes de conseguir financiación. Durante el año pasado, la administración Biden aumentó las restricciones al acceso de China a chips de inteligencia artificial de alta gama, lo que llevó a las empresas chinas a pagar precios inflados por los chips. La previsión se vio recompensada: 01.AI ahora tiene un suministro suficiente para al menos los próximos 12 a 18 meses.
Además de causar dolores de cabeza a las empresas chinas, las sanciones estadounidenses han sido un catalizador para la innovación al alentarlas a optimizar el uso de la potencia informática. «Con un equipo de infraestructura de muy alta calidad, por cada 1000 GPU, podríamos exprimirles una carga de trabajo de 2000 GPU», dijo Lee.
01.El camino de la IA hacia la monetización depende en gran medida de su capacidad para encontrar productos adecuados para el mercado para sus costosos modelos de IA. Si bien los científicos LLM de primer nivel son escasos, no falta talento en productos en China.
«China no está por delante de Estados Unidos en LLM, pero no hay duda de que China puede crear mejores aplicaciones que los desarrolladores estadounidenses, principalmente debido al fenomenal ecosistema de Internet móvil que se construyó durante los últimos 12 años», argumentó Lee.
Si bien el fundador no dio detalles sobre los servicios en desarrollo, insinuó que la compañía está experimentando con conceptos en las direcciones social y de productividad, y que estaría «decepcionado» si 01.AI no lanzara una aplicación dentro de este calendario. año.
El objetivo final de la startup, según Lee, es convertirse en un ecosistema donde los desarrolladores externos puedan crear aplicaciones fácilmente. «El deber no es sólo impulsar buenos modelos de investigación, sino aún más importante facilitar el desarrollo de aplicaciones para que puedan existir aplicaciones convincentes», afirmó. «Al final del día. Es un juego de ecosistema”. El tiempo dirá si el esfuerzo de Lee en materia de IA dará sus frutos.