En su conferencia GTC, Nvidia anunció hoy Nvidia NIM, una nueva plataforma de software diseñada para agilizar la implementación de modelos de IA personalizados y previamente entrenados en entornos de producción. NIM toma el trabajo de software que Nvidia ha realizado en torno a la inferencia y optimización de modelos y lo hace fácilmente accesible combinando un modelo determinado con un motor de inferencia optimizado y luego empaquetándolo en un contenedor, haciéndolo accesible como un microservicio.
Por lo general, a los desarrolladores les llevaría semanas, si no meses, enviar contenedores similares, argumenta Nvidia, y eso si la empresa tiene talento interno en inteligencia artificial. Con NIM, Nvidia apunta claramente a crear un ecosistema de contenedores preparados para IA que utilizan su hardware como capa fundamental con estos microservicios seleccionados como capa de software central para las empresas que desean acelerar su hoja de ruta de IA.
Actualmente, NIM incluye soporte para modelos de NVIDIA, A121, Adept, Cohere, Getty Images y Shutterstock, así como modelos abiertos de Google, Hugging Face, Meta, Microsoft, Mistral AI y Stability AI. Nvidia ya está trabajando con Amazon, Google y Microsoft para que estos microservicios NIM estén disponibles en SageMaker, Kubernetes Engine y Azure AI, respectivamente. También se integrarán en marcos como Deepset, LangChain y LlamaIndex.
Créditos de imagen: NVIDIA
“Creemos que la GPU Nvidia es el mejor lugar para realizar inferencias de estos modelos en […]y creemos que NVIDIA NIM es el mejor paquete de software, el mejor tiempo de ejecución, para que los desarrolladores puedan desarrollar aplicaciones empresariales y dejar que Nvidia haga el trabajo para producir estos modelos para ellos de la forma más cómoda posible. manera eficiente y de nivel empresarial, para que puedan hacer el resto de su trabajo”, dijo Manuvir Das, director de informática empresarial de Nvidia, durante una conferencia de prensa previa a los anuncios de hoy.
En cuanto al motor de inferencia, Nvidia utilizará Triton Inference Server, TensorRT y TensorRT-LLM. Algunos de los microservicios de Nvidia disponibles a través de NIM incluirán Riva para personalizar modelos de voz y traducción, cuOpt para optimizaciones de enrutamiento y el modelo Earth-2 para simulaciones meteorológicas y climáticas.
La compañía planea agregar capacidades adicionales con el tiempo, incluido, por ejemplo, hacer que el operador Nvidia RAG LLM esté disponible como NIM, lo que promete facilitar mucho la creación de chatbots de IA generativos que puedan extraer datos personalizados.
Esta no sería una conferencia de desarrolladores sin algunos anuncios de clientes y socios. Entre los usuarios actuales de NIM se encuentran Box, Cloudera, Cohesity, Datastax, Dropbox.
y NetApp.
“Las plataformas empresariales establecidas cuentan con una mina de oro de datos que pueden transformarse en copilotos de IA generativa”, afirmó Jensen Huang, fundador y director ejecutivo de NVIDIA. «Creados con nuestro ecosistema de socios, estos microservicios de IA en contenedores son los pilares para que las empresas de todos los sectores se conviertan en empresas de IA».