NVIDIA acaba de presentar su nueva GPU Hopper H100 NVL con 94 GB de memoria HBM3, diseñada exclusivamente para ChatGPT.
NVIDIA anuncia su primera GPU ChatGPT oficial, la Hopper H100 NVL con 94 GB de memoria HBM3
Se dice que la tarjeta gráfica NVIDIA Hopper GPU H100 NVL PCIe cuenta con una interconexión NVLINK de doble GPU con cada chip con 94 GB de memoria HBM3e. La GPU puede procesar hasta 175 mil millones de parámetros de ChatGPT sobre la marcha. Cuatro de estas GPU en un solo servidor pueden ofrecer hasta 10 veces más velocidad en comparación con un servidor DGX A100 tradicional con hasta 8 GPU.
A diferencia de la configuración H100 SXM5, el H100 PCIe ofrece especificaciones reducidas, con 114 SM habilitados de los 144 SM completos de la GPU GH100 y 132 SM en el H100 SXM. El chip como tal ofrece 3200 FP8, 1600 TF16 y 48 TFLOP de potencia de cómputo FP64. También cuenta con 456 unidades de tensor y textura.
Debido a su potencia de cómputo máxima más baja, el H100 PCIe debería funcionar a relojes más bajos y, como tal, presenta un TDP de 350 W frente al doble TDP de 700 W de la variante SXM5. Pero la tarjeta PCIe conservará su memoria de 80 GB presentada en una interfaz de bus de 5120 bits pero en la variación HBM2e (>2 TB/s de ancho de banda).
Los TFLOP FP32 sin tensor para el H100 tienen una clasificación de 48 TFLOP, mientras que el MI210 tiene una potencia de cómputo FP32 con clasificación máxima de 45,3 TFLOP. Con operaciones Sparsity y Tensor, el H100 puede generar hasta 800 TFLOP de FP32 caballos de fuerza. El H100 también tiene capacidades de memoria más altas de 80 GB en comparación con los 64 GB del MI210. Por lo que parece, NVIDIA está cobrando una prima por sus mayores capacidades de IA/ML.