NVIDIA revelará nuevos detalles de su Hopper GPU y Grace CPU durante la próxima iteración de Hot Chips (24) en la próxima semana. Ingenieros sénior de la empresa explicarán las innovaciones en computación acelerada para centros de datos y sistemas modernos para redes perimetrales con temas que se centran en la CPU Grace, la GPU Hopper, el conmutador NVLink y el módulo Jetson Orin.
NVIDIA revelará detalles sobre la GPU Hopper de próxima generación y la CPU Grace en Hot Chips 34
Hot Chips es un evento anual que reúne a arquitectos de sistemas y procesadores y permite que las empresas discutan detalles, como detalles técnicos o el rendimiento actual de sus productos. NVIDIA planea discutir el primer procesador basado en servidor de la compañía y la nueva tarjeta gráfica Hopper. El NVSwitch interconecta el chip y el sistema Jetson Orin de la empresa en un módulo o SoM.
Las cuatro presentaciones durante el evento de dos días ofrecerán una visión interna de cómo la plataforma de la empresa logrará un mayor rendimiento, eficiencia, escala y seguridad.
NVIDIA espera poder «demostrar una filosofía de diseño de innovación en toda la pila de chips, sistemas y software donde las GPU, CPU y DPU actúan como procesadores pares». Hasta ahora, la compañía ya ha creado una plataforma que opera trabajos de inteligencia artificial, análisis de datos y computación de alto rendimiento dentro de proveedores de servicios en la nube, centros de supercomputación, centros de datos corporativos y sistemas autónomos de inteligencia artificial.
Los centros de datos exigen clústeres flexibles de procesadores, tarjetas gráficas y otros aceleradores que transmiten conjuntos masivos de memoria para producir el rendimiento de eficiencia energética que requieren las cargas de trabajo actuales.
Jonathon Evans, un distinguido ingeniero y veterano de 15 años en NVIDIA, describirá NVIDIA NVLink-C2C. Conecta procesadores y tarjetas gráficas a 900 Gb/s con cinco veces la eficiencia energética del estándar PCIe Gen 5 existente, gracias a las transferencias de datos que consumen 1,3 picojulios por bit.
NVLink-C2C combina dos procesadores para crear la CPU NVIDIA Grace con 144 núcleos Arm Neoverse. Es una CPU construida para desentrañar las preocupaciones informáticas más importantes del mundo.
La CPU Grace utiliza memoria LPDDR5X para lograr la máxima eficiencia. El chip permite un terabyte por segundo de ancho de banda en su memoria mientras mantiene el consumo de energía para todo el complejo en 500 vatios.
NVLink-C2C también conecta los chips Grace CPU y Hopper GPU como pares de memoria compartida en NVIDIA Grace Hopper Superchip, lo que brinda la máxima aceleración para trabajos que requieren mucho rendimiento, como el entrenamiento de IA.
Cualquiera puede crear chiplets personalizados con NVLink-C2C para conectarse coherentemente a las GPU, CPU, DPU y SoC de NVIDIA, ampliando esta nueva clase de productos integrados. La interconexión admitirá los protocolos AMBA CHI y CXL utilizados por los procesadores Arm y x86.
NVIDIA NVSwitch fusiona numerosos servidores en una sola supercomputadora de IA mediante NVLink, las interconexiones funcionan a 900 gigabytes por segundo y por encima de siete veces el ancho de banda de PCIe 5.0.
NVSwitch permite a los usuarios vincular 32 sistemas NVIDIA DGX H100 en una supercomputadora de IA que ofrece un rendimiento máximo de IA.
Alexander Ishii y Ryan Wells, dos de los ingenieros veteranos de NVIDIA, explican cómo el conmutador permite a los usuarios crear sistemas con hasta 256 GPU para abordar cargas de trabajo exigentes, como entrenar modelos de IA con más de 1 billón de parámetros.
El conmutador incluye motores que aceleran las transferencias de datos mediante el protocolo de reducción de agregación jerárquica escalable de NVIDIA. SHARP es una capacidad informática en red que debutó en las redes NVIDIA Quantum InfiniBand. Puede duplicar el rendimiento de datos en aplicaciones de inteligencia artificial intensivas en comunicaciones.
Jack Choquette, un distinguido ingeniero senior con 14 años en la empresa, brindará un recorrido detallado por la GPU NVIDIA H100 Tensor Core, también conocida como Hopper.
El uso de las nuevas interconexiones para escalar a alturas sin precedentes llena muchas características de vanguardia que aumentan el rendimiento, la eficiencia y la protección del acelerador.
El nuevo Transformer Engine de Hopper y los Tensor Cores mejorados ofrecen una aceleración de 30 veces en comparación con la generación anterior en inferencia de IA con los modelos de redes neuronales más importantes del mundo. Y emplea el primer sistema de memoria HBM3 del mundo para ofrecer la friolera de tres terabytes de ancho de banda de memoria, el aumento generacional más significativo de NVIDIA.
Entre otras novedades:
- Hopper agrega soporte de virtualización para configuraciones de múltiples inquilinos y múltiples usuarios.
- Las nuevas instrucciones DPX aceleran los bucles recurrentes para aplicaciones de mapeo fino, ADN y análisis de proteínas.
- Soporte de paquetes Hopper para mayor seguridad con computación confidencial.
Choquette, uno de los principales diseñadores de chips de la consola Nintendo64 al principio de su carrera, también describirá las técnicas de computación paralela que subyacen a algunos de los avances de Hopper.
Michael Ditty, gerente de arquitectura con 17 años en la empresa, proporcionará nuevas especificaciones de rendimiento para NVIDIA Jetson AGX Orin, un motor de máquinas autónomas avanzadas, robótica e IA de vanguardia.
NVIDIA Jetson AGX Origin integra 12 núcleos Arm Cortex-A78 y una GPU de arquitectura NVIDIA Ampere para ofrecer hasta 275 billones de operaciones por segundo en trabajos de inferencia de IA.
El último módulo de producción incluye hasta 32 gigabytes de memoria y es parte de una familia compatible que se reduce a kits de desarrollo Jetson Nano de 5 W de tamaño de bolsillo.
Todos los chips nuevos son compatibles con la pila de software NVIDIA que acelera más de 700 aplicaciones y es utilizada por 2,5 millones de desarrolladores.
Basado en el modelo de programación CUDA, incluye docenas de SDK de NVIDIA para mercados verticales como automotriz (DRIVE) y atención médica (Clara), así como tecnologías como sistemas de recomendación (Merlin) e inteligencia artificial conversacional (Riva).
La plataforma NVIDIA AI está disponible en todos los principales fabricantes de sistemas y servicios en la nube.
Fuente de noticias: NVIDIA