NVIDIA está aportando una enorme aceleración a las cargas de trabajo de IA en millones de PC con Windows 11 impulsadas por sus últimas GPU RTX.
Más de 100 millones de PC con Windows se beneficiarán del rendimiento acelerado de la IA de NVIDIA gracias a TensorRT-LLM para GPU RTX
Siguiendo con su anuncio anterior, NVIDIA ha revelado que TensorRT-LLM se agregará a Windows 11 y estará habilitado para más de 100 millones de usuarios de RTX cuando se lance con el último conjunto de controladores el 21 de noviembre. El anuncio se realizó durante Ignite de Microsoft, un evento clave que analiza el futuro de la IA y cómo transformará el ecosistema de Windows a medida que avanzamos.
TensorRT-LLM aumenta la IA para propietarios de GPU RTX 40 y RTX 30
Hoy, NVIDIA confirmó que la aceleración de IA TensorRT-LLM estará disponible para todas las computadoras de escritorio y portátiles RTX con más de 8 GB de VRAM. Además de TensorRT-LLM, NVIDIA y Microsoft también están incorporando mejoras de DirectML para impulsar modelos de IA populares como Stable Diffusion y Llama 2.
Tener una GPU NVIDIA RTX compatible con TensorRT-LLM significa que tendrá todos sus datos y proyectos disponibles localmente en lugar de guardarlos en la nube. Esto ahorraría tiempo y ofrecería resultados más precisos. RAG o Retrieval Augamanted Generation es una de las técnicas utilizadas para acelerar los resultados de la IA mediante el uso de una biblioteca localizada que se puede completar con el conjunto de datos que desea que revise el LLM y luego aprovechar las capacidades de comprensión del lenguaje de ese LLM para brindarle información precisa. resultados.
NVIDIA afirma un aumento de rendimiento 5 veces mayor con TensorRT-LLM v0.6.0, que estará disponible a finales de este mes. Además, también permitirá la compatibilidad con LLM adicionales como Mistral 7B y Nemotron 3 8B.
Para aquellos que quieran probar la última versión de TensorRT-LLM, estará disponible para su instalación en el enlace oficial de Github aquí y también podrán obtener los últimos modelos optimizados del recurso NGC de NVIDIA.
OpenAI mejorado en Windows con TensorRT-LLM de NVIDIA
Otra actualización clave está llegando a OpenAI, una API de chat basada en IA muy popular que tiene una amplia gama de aplicaciones, como ayudar con documentos, correo electrónico, resumir contenido web, análisis de datos y mucho más. Una vez más, el usuario debe cargar o ingresar los datos manualmente, por lo que el acceso a los datos locales es bastante limitado, especialmente si se trata de un conjunto de datos grande.
Para resolver esto, NVIDIA y Microsoft ofrecerán una interfaz API para ChatAPI de OpenAI a través de un nuevo contenedor que no solo agregará aceleración TensorRT-LLM en PC con Windows, sino que también permitirá a los usuarios acceder a un flujo de trabajo similar al que ejecutarían localmente en una PC con RTX. o en la nube. Por lo tanto, no es necesario cargar ningún conjunto de datos en ChatAPI, ya que todo el conjunto de datos estará disponible para ChatAPI como si estuviera disponible localmente.
El contenedor personalizado funcionará con casi cualquier LLM que haya sido optimizado para TensorRT-LLM. Algunos ejemplos de LLM optimizados incluyen Llama 2, Mistral, NV LLM) y pronto se agregarán más. También estará disponible en la página de NVIDIA GitHub.
Estos anuncios muestran que NVIDIA quiere acelerar la IA no sólo para las empresas sino también para el público general. Con la IA, el software es más importante que el hardware que lo ejecuta y desarrollos como TensorRT-LLM y llevarlo a millones de usuarios de RTX es definitivamente un gran negocio. El camino hacia la supremacía de la IA se calentará en los próximos años a medida que más competidores intenten atraer al público con sus enfoques únicos de la IA, pero por el momento, NVIDIA tiene la experiencia en hardware y software para allanarles el camino sin problemas.