{"id":888306,"date":"2023-11-17T01:17:10","date_gmt":"2023-11-17T01:17:10","guid":{"rendered":"https:\/\/magazineoffice.com\/la-herramienta-de-martian-cambia-automaticamente-entre-llm-para-reducir-costos\/"},"modified":"2023-11-17T01:17:14","modified_gmt":"2023-11-17T01:17:14","slug":"la-herramienta-de-martian-cambia-automaticamente-entre-llm-para-reducir-costos","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/la-herramienta-de-martian-cambia-automaticamente-entre-llm-para-reducir-costos\/","title":{"rendered":"La herramienta de Martian cambia autom\u00e1ticamente entre LLM para reducir costos"},"content":{"rendered":"


\n<\/p>\n

\n

Shriyash Upadhyay y Etan Ginsberg, investigadores de IA de la Universidad de Pensilvania, opinan que muchas grandes empresas de IA est\u00e1n sacrificando la investigaci\u00f3n b\u00e1sica en aras del desarrollo de modelos de IA potentes y competitivos. El d\u00fao culpa a la din\u00e1mica del mercado: cuando las empresas recaudan fondos sustanciales, la mayor\u00eda generalmente se destina a esfuerzos para mantenerse por delante de sus rivales en lugar de estudiar los fundamentos.<\/p>\n

\u201cDurante nuestra investigaci\u00f3n sobre LLM [at UPenn,] Observamos estas tendencias preocupantes en la industria de la IA\u201d, dijeron Upadhyay y Ginsberg a TechCrunch en una entrevista por correo electr\u00f3nico. \u00abEl desaf\u00edo es hacer que la investigaci\u00f3n en IA sea rentable\u00bb.<\/p>\n

Upadhyay y Ginsberg pensaron que la mejor manera de abordar esto podr\u00eda ser fundando una empresa propia, una empresa cuyos productos se beneficien de la interpretabilidad. La misi\u00f3n de la empresa se alinear\u00eda naturalmente con la promoci\u00f3n de la investigaci\u00f3n de interpretabilidad en lugar de la investigaci\u00f3n de capacidades, plantearon la hip\u00f3tesis, lo que conducir\u00eda a una investigaci\u00f3n m\u00e1s s\u00f3lida.<\/p>\n

Esa empresa, Martian, surgi\u00f3 hoy del sigilo con 9 millones de d\u00f3lares en financiaci\u00f3n de inversores como NEA, Prosus Ventures, Carya Venture Partners y General Catalyst. Las ganancias se destinan al desarrollo de productos, a la realizaci\u00f3n de investigaciones sobre las operaciones internas de los modelos y al crecimiento del equipo de 10 empleados de Martian, dicen Upadhyay y Ginsberg.<\/p>\n

El primer producto de Martian es un \u00abenrutador de modelo\u00bb, una herramienta que recibe un mensaje destinado a un modelo de lenguaje grande (LLM), por ejemplo GPT-4, y lo enruta autom\u00e1ticamente al \u00abmejor\u00bb LLM. De forma predeterminada, el modelo de enrutador elige el LLM con el mejor tiempo de actividad, conjunto de habilidades (por ejemplo, resoluci\u00f3n de problemas matem\u00e1ticos) y relaci\u00f3n costo-rendimiento para el mensaje en cuesti\u00f3n.<\/p>\n

\u00abLa forma en que las empresas utilizan actualmente los LLM es elegir un \u00fanico LLM para cada punto final al que env\u00edan todas sus solicitudes\u00bb, dijeron Upadhyay y Ginsberg. \u201cPero dentro de una tarea como crear un sitio web, diferentes modelos se adaptar\u00e1n mejor a una solicitud espec\u00edfica dependiendo del contexto que especifique el usuario (qu\u00e9 idioma, qu\u00e9 caracter\u00edsticas, cu\u00e1nto est\u00e1 dispuesto a pagar, etc.)\u2026 Al utilizar un equipo de modelos en una aplicaci\u00f3n, una empresa puede lograr un mayor rendimiento y un menor costo que cualquier LLM podr\u00eda lograr por s\u00ed solo\u201d.<\/p>\n

Hay algo de verdad en eso. Depender exclusivamente de un LLM de alto nivel como GPT-4 puede tener un costo prohibitivo para algunas empresas, si no para la mayor\u00eda. El director ejecutivo de Permutable.ai, una empresa de inteligencia de mercado, revel\u00f3 recientemente que a la empresa le cuesta m\u00e1s de 1 mill\u00f3n de d\u00f3lares al a\u00f1o procesar alrededor de 2 millones de art\u00edculos por d\u00eda utilizando los modelos de alta gama de OpenAI.<\/p>\n

No todas las tareas necesitan la potencia de los modelos m\u00e1s caros, pero puede resultar dif\u00edcil construir un sistema que cambie de forma inteligente sobre la marcha. Ah\u00ed es donde entra en juego Martian y su capacidad para estimar el rendimiento de un modelo sin ejecutarlo.<\/p>\n

\u00abMartian puede dirigirse a modelos m\u00e1s baratos en solicitudes que funcionen de manera similar a los modelos m\u00e1s caros, y s\u00f3lo dirigirse a modelos caros cuando sea necesario\u00bb, agregaron. \u00abEl enrutador modelo indexa los nuevos modelos a medida que aparecen, incorpor\u00e1ndolos a aplicaciones sin necesidad de fricci\u00f3n ni trabajo manual\u00bb.<\/p>\n

Ahora bien, el modelo de enrutador de Martian no es una tecnolog\u00eda nueva. Al menos otra startup, Credal, proporciona una herramienta de cambio autom\u00e1tico de modelo. Por lo tanto, su repunte depender\u00e1 de la competitividad de los precios de Martian y de su capacidad para cumplir en escenarios comerciales de alto riesgo.<\/p>\n

Upadhyay y Ginsberg afirman que ya ha habido cierta aceptaci\u00f3n, incluso entre empresas \u201cmultimillonarias\u201d.<\/p>\n

\u00abConstruir un modelo de enrutador verdaderamente eficaz es extremadamente dif\u00edcil porque requiere desarrollar una comprensi\u00f3n de c\u00f3mo funcionan fundamentalmente estos modelos\u00bb, dijeron. \u00abEse es el avance en el que fuimos pioneros\u00bb.<\/p>\n<\/p><\/div>\n


\n
Source link-48<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

Shriyash Upadhyay y Etan Ginsberg, investigadores de IA de la Universidad de Pensilvania, opinan que muchas grandes empresas de IA est\u00e1n sacrificando la investigaci\u00f3n b\u00e1sica en aras del desarrollo de…<\/p>\n","protected":false},"author":1,"featured_media":888307,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[21980],"tags":[18418,3531,7126,889,841,86655,50163,107,7391],"_links":{"self":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/888306"}],"collection":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/comments?post=888306"}],"version-history":[{"count":1,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/888306\/revisions"}],"predecessor-version":[{"id":888308,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/888306\/revisions\/888308"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media\/888307"}],"wp:attachment":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media?parent=888306"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/categories?post=888306"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/tags?post=888306"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}