Nvidia anunció un nuevo producto de doble GPU, el H100 NVL, durante su discurso de apertura de GTC Spring 2023. Esto no traerá de vuelta los juegos SLI o multi-GPU, y no será una de las mejores tarjetas gráficas para juegos, sino que apunta al creciente mercado de IA. Según la información y las imágenes que ha publicado Nvidia, el H100 NVL (H100 NVLink) tendrá tres conectores NVLink en la parte superior, con las dos tarjetas adyacentes insertadas en ranuras PCIe separadas.
Es un cambio de ritmo interesante, aparentemente para acomodar servidores que no son compatibles con la opción SXM de Nvidia, con un enfoque en el rendimiento de la inferencia en lugar del entrenamiento. Las conexiones NVLink deberían ayudar a proporcionar el ancho de banda faltante que NVSwitch ofrece en las soluciones SXM, y también existen otras diferencias notables.
Tome las especificaciones. Las soluciones H100 anteriores, tanto SXM como PCIe, venían con 80 GB de memoria HBM3, pero el paquete real contiene seis pilas, cada una con 16 GB de memoria. No está claro si una pila está completamente deshabilitada o si es para ECC o algún otro propósito. Lo que sí sabemos es que el H100 NVL vendrá con 94 GB por GPU y 188 GB HBM3 en total. Suponemos que los 2 GB «faltantes» por GPU son para ECC ahora.
La potencia es ligeramente superior a la del H100 PCIe, de 350 a 400 vatios por GPU (configurable), un aumento de 50 W. Mientras tanto, el rendimiento total termina siendo efectivamente el doble del H100 SXM: 134 teraflops de FP64, 1979 teraflops de TF32 y 7916 teraflops FP8 (así como 7916 teraflops INT8).
Básicamente, parece el mismo diseño de núcleo del H100 PCIe, que también es compatible con NVLink, pero potencialmente ahora con más núcleos de GPU habilitados y con un 17,5 % más de memoria. El ancho de banda de la memoria también es un poco más alto que el H100 PCIe, a 3,9 TB/s por GPU y 7,8 TB/s combinados (frente a 2 TB/s para el H100 PCIe y 3,35 TB/s en el H100 SXM).
Como se trata de una solución de tarjeta dual, con cada tarjeta ocupando un espacio de 2 ranuras, Nvidia solo admite de 2 a 4 pares de tarjetas H100 NVL para sistemas asociados y certificados. ¿Cuánto costaría un solo par? ¿Se podrán comprar por separado? Eso está por verse, aunque a veces se puede encontrar un solo H100 PCIe por alrededor de $ 28,000 (se abre en una pestaña nueva). Así que $80,000 por un par de H100 NVL no parece descartable.