Shriyash Upadhyay y Etan Ginsberg, investigadores de IA de la Universidad de Pensilvania, opinan que muchas grandes empresas de IA están sacrificando la investigación básica en aras del desarrollo de modelos de IA potentes y competitivos. El dúo culpa a la dinámica del mercado: cuando las empresas recaudan fondos sustanciales, la mayoría generalmente se destina a esfuerzos para mantenerse por delante de sus rivales en lugar de estudiar los fundamentos.
“Durante nuestra investigación sobre LLM [at UPenn,] Observamos estas tendencias preocupantes en la industria de la IA”, dijeron Upadhyay y Ginsberg a TechCrunch en una entrevista por correo electrónico. «El desafío es hacer que la investigación en IA sea rentable».
Upadhyay y Ginsberg pensaron que la mejor manera de abordar esto podría ser fundando una empresa propia, una empresa cuyos productos se beneficien de la interpretabilidad. La misión de la empresa se alinearía naturalmente con la promoción de la investigación de interpretabilidad en lugar de la investigación de capacidades, plantearon la hipótesis, lo que conduciría a una investigación más sólida.
Esa empresa, Martian, surgió hoy del sigilo con 9 millones de dólares en financiación de inversores como NEA, Prosus Ventures, Carya Venture Partners y General Catalyst. Las ganancias se destinan al desarrollo de productos, a la realización de investigaciones sobre las operaciones internas de los modelos y al crecimiento del equipo de 10 empleados de Martian, dicen Upadhyay y Ginsberg.
El primer producto de Martian es un «enrutador de modelo», una herramienta que recibe un mensaje destinado a un modelo de lenguaje grande (LLM), por ejemplo GPT-4, y lo enruta automáticamente al «mejor» LLM. De forma predeterminada, el modelo de enrutador elige el LLM con el mejor tiempo de actividad, conjunto de habilidades (por ejemplo, resolución de problemas matemáticos) y relación costo-rendimiento para el mensaje en cuestión.
«La forma en que las empresas utilizan actualmente los LLM es elegir un único LLM para cada punto final al que envían todas sus solicitudes», dijeron Upadhyay y Ginsberg. “Pero dentro de una tarea como crear un sitio web, diferentes modelos se adaptarán mejor a una solicitud específica dependiendo del contexto que especifique el usuario (qué idioma, qué características, cuánto está dispuesto a pagar, etc.)… Al utilizar un equipo de modelos en una aplicación, una empresa puede lograr un mayor rendimiento y un menor costo que cualquier LLM podría lograr por sí solo”.
Hay algo de verdad en eso. Depender exclusivamente de un LLM de alto nivel como GPT-4 puede tener un costo prohibitivo para algunas empresas, si no para la mayoría. El director ejecutivo de Permutable.ai, una empresa de inteligencia de mercado, reveló recientemente que a la empresa le cuesta más de 1 millón de dólares al año procesar alrededor de 2 millones de artículos por día utilizando los modelos de alta gama de OpenAI.
No todas las tareas necesitan la potencia de los modelos más caros, pero puede resultar difícil construir un sistema que cambie de forma inteligente sobre la marcha. Ahí es donde entra en juego Martian y su capacidad para estimar el rendimiento de un modelo sin ejecutarlo.
«Martian puede dirigirse a modelos más baratos en solicitudes que funcionen de manera similar a los modelos más caros, y sólo dirigirse a modelos caros cuando sea necesario», agregaron. «El enrutador modelo indexa los nuevos modelos a medida que aparecen, incorporándolos a aplicaciones sin necesidad de fricción ni trabajo manual».
Ahora bien, el modelo de enrutador de Martian no es una tecnología nueva. Al menos otra startup, Credal, proporciona una herramienta de cambio automático de modelo. Por lo tanto, su repunte dependerá de la competitividad de los precios de Martian y de su capacidad para cumplir en escenarios comerciales de alto riesgo.
Upadhyay y Ginsberg afirman que ya ha habido cierta aceptación, incluso entre empresas “multimillonarias”.
«Construir un modelo de enrutador verdaderamente eficaz es extremadamente difícil porque requiere desarrollar una comprensión de cómo funcionan fundamentalmente estos modelos», dijeron. «Ese es el avance en el que fuimos pioneros».