La empresa de API Kong está lanzando su AI Gateway de código abierto, una extensión de su puerta de enlace API existente que permite a los desarrolladores y equipos de operaciones integrar sus aplicaciones con uno o más modelos de lenguaje grandes (LLM) y acceder a ellos a través de una única API. Además de esto, Kong está lanzando varias funciones específicas de IA, ingeniería rápida, gestión de credenciales y más.
«Creemos que la IA es un caso de uso adicional para las API», me dijo el cofundador y director de tecnología de Kong, Marco Palladino. “Las API están impulsadas por casos de uso: móviles, microservicios; la IA resulta ser la más reciente. Cuando miramos la IA, en realidad estamos viendo API por todas partes. Estamos analizando las API cuando se trata de consumir IA, estamos analizando las API para ajustar la IA y la IA misma. […] Entonces, cuanta más IA, más uso de API tendremos en el mundo”.
Palladino sostiene que, si bien prácticamente todas las organizaciones están analizando cómo utilizar la IA, también temen la filtración de datos. Él cree que con el tiempo estas empresas querrán ejecutar sus modelos localmente y tal vez utilizar la nube como alternativa. Por el momento, sin embargo, estas empresas también necesitan descubrir cómo gestionar las credenciales para acceder a los modelos basados en la nube, controlar y registrar el tráfico, gestionar cuotas, etc.
«Con nuestra puerta de enlace API, queríamos ofrecer una oferta que permitiera a los desarrolladores ser más productivos al desarrollar IA al poder aprovechar nuestra puerta de enlace para consumir uno o más proveedores de LLM sin tener que cambiar su código», señaló. La puerta de enlace actualmente admite los modelos Anthropic, Azure, Cohere, Meta’s LLaMA, Mistral y OpenAI.
Créditos de imagen: kong
El equipo de Kong sostiene que la mayoría de los demás proveedores de API actualmente administran las API de IA de la misma manera que cualquier otra API. Sin embargo, el equipo de Kong cree que al superponer estas características adicionales específicas de la IA a la API, se pueden habilitar nuevos casos de uso (o al menos hacer que los existentes sean más fáciles de implementar). Utilizando los transformadores de solicitud y respuesta de IA, que forman parte del nuevo AI Gateway, los desarrolladores pueden cambiar las indicaciones y sus resultados sobre la marcha para traducirlos automáticamente o eliminar información de identificación personal, por ejemplo.
La ingeniería rápida también está profundamente integrada en la puerta de enlace, lo que permite a las empresas hacer cumplir sus pautas además de estos modelos. Esto también significa que existe un punto central para gestionar estas pautas e indicaciones.
Han pasado casi nueve años desde el lanzamiento de Kong API Management Platform. En ese momento, la empresa que ahora es Kong todavía se conocía como Mashape, pero como me dijo el cofundador y director ejecutivo de Mashape/Kong, Augusto Marietti, en una entrevista a principios de esta semana, esto fue casi un último esfuerzo. «Mashape no iba a ninguna parte y luego Kong es el producto API número uno en GitHub», dijo. Marietti señaló que Kong tuvo un flujo de caja positivo en el último trimestre (y actualmente no está buscando financiamiento), por lo que funcionó bastante bien.
Ahora, Kong Gateway es el núcleo de la plataforma de la empresa y también lo que impulsa el nuevo AI Gateway. De hecho, los usuarios actuales de Kong sólo tienen que actualizar su instalación actual para obtener acceso a todas las nuevas funciones de IA.
A partir de ahora, estas nuevas funciones de IA están disponibles de forma gratuita. Con el tiempo, Kong espera lanzar también funciones premium pagas, pero el equipo enfatizó que ese no es el objetivo de esta versión actual.