Los modelos de IA generativa integrales y altamente generalizables alguna vez fueron el nombre del juego, y podría decirse que todavía lo son. Pero cada vez más, a medida que los proveedores de nube, grandes y pequeños, se unen a la contienda generativa de la IA, estamos viendo una nueva cosecha de modelos centrados en los clientes potenciales con mayores recursos: la empresa.
Un ejemplo: Snowflake, la empresa de computación en la nube, presentó hoy Arctic LLM, un modelo de IA generativa que se describe como «de nivel empresarial». Disponible bajo una licencia Apache 2.0, Arctic LLM está optimizado para “cargas de trabajo empresariales”, incluida la generación de código de base de datos, dice Snowflake, y es gratuito para investigación y uso comercial.
«Creo que esta será la base que nos permitirá a Snowflake y a nuestros clientes crear productos de nivel empresarial y comenzar a hacer realidad la promesa y el valor de la IA», dijo el director ejecutivo Sridhar Ramaswamy en una rueda de prensa. “Deberíamos considerar esto como nuestro primer, pero gran, paso en el mundo de la IA generativa, y hay mucho más por venir”.
Un modelo empresarial
Mi colega Devin Coldewey escribió recientemente sobre cómo no se vislumbra un final para el ataque de los modelos generativos de IA. Le recomiendo que lea su artículo, pero la esencia es: los modelos son una manera fácil para que los proveedores generen entusiasmo por su I+D y también sirven como un embudo hacia sus ecosistemas de productos (por ejemplo, alojamiento de modelos, ajuste, etc.).
Arctic LLM no es diferente. El modelo insignia de Snowflake en una familia de modelos de IA generativa llamada Arctic, Arctic LLM, que tardó alrededor de tres meses, 1.000 GPU y 2 millones de dólares en entrenarse, llega inmediatamente después del DBRX de Databricks, un modelo de IA generativa que también se comercializa como optimizado para la empresa. espacio.
Snowflake hace una comparación directa entre Arctic LLM y DBRX en sus materiales de prensa, diciendo que Arctic LLM supera a DBRX en las dos tareas de codificación (Snowflake no especificó qué lenguajes de programación) y generación de SQL. La compañía dijo que Arctic LLM también es mejor en esas tareas que el Llama 2 70B de Meta (pero no el Llama 3 70B más reciente) y el Mixtral-8x7B de Mistral.
Snowflake también afirma que Arctic LLM logra un «rendimiento líder» en un punto de referencia popular de comprensión del lenguaje general, MMLU. Sin embargo, señalaré que si bien MMLU pretende evaluar la capacidad de los modelos generativos para razonar a través de problemas lógicos, incluye pruebas que pueden resolverse mediante la memorización, así que tómate ese punto con cautela.
«Arctic LLM aborda necesidades específicas dentro del sector empresarial», dijo Baris Gultekin, jefe de IA en Snowflake, a TechCrunch en una entrevista, «alejándose de las aplicaciones genéricas de IA, como componer poesía, para centrarse en desafíos orientados a la empresa, como el desarrollo de SQL co- pilotos y chatbots de alta calidad”.
Arctic LLM, al igual que DBRX y el modelo generativo de mayor rendimiento del momento de Google, Gemini 1.5 Pro, es una mezcla de arquitectura de expertos (MoE). Las arquitecturas MoE básicamente dividen las tareas de procesamiento de datos en subtareas y luego las delegan a modelos “expertos” especializados más pequeños. Entonces, si bien Arctic LLM contiene 480 mil millones de parámetros, solo activa 17 mil millones a la vez, suficiente para impulsar los 128 modelos expertos separados. (Los parámetros definen esencialmente la habilidad de un modelo de IA en un problema, como analizar y generar texto).
Snowflake afirma que este diseño eficiente le permitió entrenar Arctic LLM en conjuntos de datos web públicos abiertos (incluidos RefinedWeb, C4, RedPajama y StarCoder) a «aproximadamente una octava parte del costo de modelos similares».
corriendo por todas partes
Snowflake proporciona recursos como plantillas de codificación y una lista de fuentes de capacitación junto con Arctic LLM para guiar a los usuarios a través del proceso de poner en funcionamiento el modelo y ajustarlo para casos de uso particulares. Pero, reconociendo que probablemente sean tareas costosas y complejas para la mayoría de los desarrolladores (para ajustar o ejecutar Arctic LLM se requieren alrededor de ocho GPU), Snowflake también se compromete a hacer que Arctic LLM esté disponible en una variedad de hosts, incluidos Hugging Face, Microsoft Azure , Juntos, el servicio de alojamiento de modelos de AI y la plataforma de IA generativa empresarial Lamini.
Pero aquí está el problema: Arctic LLM estará disponible primero en Cortex, la plataforma de Snowflake para crear aplicaciones y servicios basados en inteligencia artificial y aprendizaje automático. Como era de esperar, la empresa lo presenta como la forma preferida de ejecutar Arctic LLM con “seguridad”, “gobernanza” y escalabilidad.
“Nuestro sueño aquí es, dentro de un año, tener una API que nuestros clientes puedan usar para que los usuarios comerciales puedan comunicarse directamente con los datos”, dijo Ramaswamy. “Habría Ha sido fácil para nosotros decir: ‘Oh, simplemente esperaremos algún modelo de código abierto y lo usaremos’. En cambio, estamos haciendo una inversión fundamental porque pensamos [it’s] Vamos a desbloquear más valor para nuestros clientes”.
Entonces me quedo preguntándome: ¿para quién es realmente Arctic LLM además de los clientes de Snowflake?
En un panorama lleno de modelos generativos “abiertos” que pueden ajustarse para prácticamente cualquier propósito, Arctic LLM no destaca de ninguna manera obvia. Su arquitectura podría aportar mejoras de eficiencia con respecto a algunas de las otras opciones que existen. Pero no estoy convencido de que sean lo suficientemente dramáticos como para desviar a las empresas de otros innumerables modelos generativos amigables para los negocios, bien conocidos y respaldados (por ejemplo, GPT-4).
También hay un punto en contra de Arctic LLM a considerar: su contexto relativamente pequeño.
En la IA generativa, la ventana de contexto se refiere a los datos de entrada (por ejemplo, texto) que un modelo considera antes de generar resultados (por ejemplo, más texto). Los modelos con ventanas de contexto pequeñas son propensos a olvidar el contenido incluso de conversaciones muy recientes, mientras que los modelos con contextos más grandes suelen evitar este problema.
El contexto de Arctic LLM está entre ~8.000 y ~24.000 palabras, dependiendo del método de ajuste fino, muy por debajo del de modelos como Claude 3 Opus de Anthropic y Gemini 1.5 Pro de Google.
Snowflake no lo menciona en el marketing, pero es casi seguro que Arctic LLM sufre las mismas limitaciones y deficiencias que otros modelos de IA generativa, es decir, alucinaciones (es decir, responder incorrectamente a las solicitudes con confianza). Esto se debe a que Arctic LLM, junto con todos los demás modelos de IA generativa que existen, es una máquina de probabilidad estadística que, nuevamente, tiene una pequeña ventana de contexto. Adivina, basándose en una gran cantidad de ejemplos, qué datos tiene más “sentido” para ubicarlos (por ejemplo, la palabra “ir” antes de “el mercado” en la oración “voy al mercado”). Inevitablemente adivinará mal, y eso es una «alucinación».
Como escribe Devin en su artículo, hasta el próximo gran avance técnico, lo único que podemos esperar en el dominio de la IA generativa es mejoras incrementales. Sin embargo, eso no impedirá que proveedores como Snowflake los defiendan como grandes logros y los comercialicen por todo lo que valen.