NVIDIA anuncia su nueva iniciativa AI Foundry Services para acelerar aún más la IA, mientras que Microsoft Azure ofrece las últimas instancias de Hopper.
Los servicios de fundición de IA de NVIDIA y las instancias Hopper H100/H200 de Microsoft Azure impulsan la IA a nuevas alturas
Presione soltar: NVIDIA anunció un servicio de fundición de IA, una colección de modelos NVIDIA AI Foundation, el marco y las herramientas de NVIDIA NeMo y los servicios y supercomputación de IA en la nube DGX que brindan a las empresas una solución de extremo a extremo para crear y optimizar productos personalizados.
Modelos de IA generativa.
Utilizando el servicio de fundición de IA, Amdocs, un proveedor líder de software y servicios para proveedores de medios y comunicaciones, optimizará modelos de lenguajes grandes de nivel empresarial para las industrias de telecomunicaciones y medios para implementar de manera eficiente casos de uso de IA generativa en sus negocios, desde las experiencias de los clientes hasta operaciones y aprovisionamiento de red. Los LLM se ejecutarán en computación acelerada de NVIDIA como parte del marco Amdocs amAIz.
La colaboración se basa en la asociación Amdocs-Microsoft anunciada anteriormente, que permite a los proveedores de servicios adoptar estas aplicaciones en entornos seguros y confiables, incluidos los locales y la nube.
Nuevas instancias de GPU NVIDIA H100 y H200 Tensor Core llegarán a Microsoft Azure para acelerar las cargas de trabajo de IA
Mientras NVIDIA continúa colaborando con Microsoft para construir una infraestructura de IA de última generación, Microsoft está introduciendo máquinas virtuales adicionales basadas en H100 en Microsoft Azure para acelerar las cargas de trabajo de IA (de rango medio).
En su conferencia Ignite celebrada hoy en Seattle, Microsoft anunció su nueva serie de máquinas virtuales NC H100 v5 para Azure, las primeras instancias en la nube de la industria que cuentan con GPU NVIDIA H100 NVL. Esta oferta reúne un par de GPU H100 basadas en PCIe conectadas a través de NVIDIA NVLink, con casi 4 petaflops de computación AI y 188 GB de memoria HBM3 más rápida. La GPU NVIDIA H100 NVL puede ofrecer un rendimiento hasta 12 veces mayor en GPT-3 175B respecto a la generación anterior y es ideal para cargas de trabajo de inferencia y entrenamiento convencional.
Además, Microsoft anunció planes para agregar la GPU NVIDIA H200 Tensor Core a su flota de Azure el próximo año para admitir inferencia de modelos más grandes sin reducción de latencia. Esta nueva oferta está diseñada específicamente para acelerar las cargas de trabajo de IA más grandes, incluidos los LLM y los modelos de IA generativa. La GPU H200 ofrece aumentos espectaculares tanto en la capacidad de memoria como en el ancho de banda utilizando la memoria HBM3e de última generación.
En comparación con su predecesora, esta nueva GPU ofrecerá 141 GB de memoria HBM3e (1,8 veces más) y 4,8 TB/s de ancho de banda de memoria máximo (un aumento de 1,4 veces).
La computación en la nube se vuelve confidencial
Para ampliar aún más la disponibilidad de la computación de IA generativa acelerada por NVIDIA para los clientes de Azure, Microsoft anunció otra instancia impulsada por NVIDIA: la NCC H100 v5.
Estas máquinas virtuales (VM) confidenciales de Azure con GPU NVIDIA H100 Tensor Core permiten a los clientes de Azure proteger la confidencialidad e integridad de sus datos y aplicaciones en uso, en la memoria, mientras acceden a la aceleración insuperable de las GPU H100. Estas máquinas virtuales confidenciales mejoradas con GPU pronto estarán disponibles en versión preliminar privada.