NVIDIA Hopper H100 con núcleo Tensor de 4.ª generación es el doble de rápido reloj por reloj, la frecuencia ofrece una ganancia de rendimiento del 30 %

NVIDIA está analizando aún más su GPU Hopper H100 en Hot Chips 34, lo que nos da una idea de lo que la arquitectura Tensor Core de 4.ª generación tiene para ofrecer.

La GPU NVIDIA Kepler GK110 es equivalente a un solo GPC en la GPU Hopper H100, los núcleos tensoriales de cuarta generación son hasta 2 veces más rápidos

Si bien AMD está adoptando el enfoque MCM en sus GPU HPC, NVIDIA decidió quedarse con el diseño monolítico por ahora. Su Hopper H100, como tal, es una de las GPU más grandes fabricadas con el nodo de proceso 4N de TSMC, un diseño optimizado y fabricado exclusivamente para NVIDIA.

La GPU H100 es un chip monstruoso que viene con la última tecnología de 4 nm e incorpora 80 mil millones de transistores junto con la tecnología de memoria HBM3 de última generación. El H100 se basa en la placa PCB PG520 que tiene más de 30 VRM de potencia y un intercalador integral masivo que utiliza la tecnología CoWoS de TSMC para combinar la GPU Hopper H100 con un diseño HBM3 de 6 pilas. Algunas de las principales tecnologías de la GPU Hopper H100 incluyen:

• 132 SM (rendimiento 2x por reloj)
• Núcleos de tensor de cuarta generación
• Grupos de bloques de subprocesos
• GPU de instancias múltiples de segunda generación
• Informática confidencial
• Interfaz PCIe Gen 5.0
• La primera DRAM HBM3 del mundo
• Caché L2 de 50 MB más grande
• NVLink de cuarta generación (900 GB/s de ancho de banda total)
• Nuevo soporte SHARP
• Red NVLink

De las seis pilas, se mantienen dos pilas para garantizar la integridad del rendimiento. Pero el nuevo estándar HBM3 permite capacidades de hasta 80 GB a velocidades de 3 TB/s que son una locura. A modo de comparación, la tarjeta gráfica para juegos más rápida actual, la RTX 3090 Ti, ofrece solo 1 TB/s de ancho de banda y capacidades de VRAM de 24 GB. Aparte de eso, la GPU Hopper H100 también incluye el último formato de datos FP8 y, a través de su nueva conexión SXM, ayuda a acomodar el diseño de potencia de 700 W alrededor del cual está diseñado el chip. También ofrece el doble de las tasas de FMA de FP32 y FP64 y caché L1 de 256 KB (memoria compartida).

Resumen de las especificaciones de la GPU NVIDIA Hopper H100

Entonces, en cuanto a las especificaciones, la GPU NVIDIA Hopper GH100 se compone de un diseño de chip masivo de 144 SM (multiprocesador de transmisión) que se presenta en un total de 8 GPC. Estos GPC tienen un total de 9 TPC que se componen además de 2 unidades SM cada uno. Esto nos da 18 SM por GPC y 144 en la configuración completa de 8 GPC. Cada SM está compuesto por hasta 128 unidades FP32 lo que nos debería dar un total de 18.432 núcleos CUDA.

Las siguientes son algunas de las configuraciones que puede esperar del chip H100:

La implementación completa de la GPU GH100 incluye las siguientes unidades:

• 8 GPC, 72 TPC (9 TPC/GPC), 2 SM/TPC, 144 SM por GPU completa
• 128 FP32 CUDA Cores por SM, 18432 FP32 CUDA Cores por GPU completa
• 4 núcleos tensoriales de cuarta generación por SM, 576 por GPU completa
• 6 pilas HBM3 o HBM2e, 12 controladores de memoria de 512 bits
• 60 MB de caché L2
• NVLink de cuarta generación y PCIe Gen 5

La GPU NVIDIA H100 con factor de forma de placa SXM5 incluye las siguientes unidades:

• 8 GPC, 66 TPC, 2 SM/TPC, 132 SM por GPU
• 128 núcleos FP32 CUDA por SM, 16896 núcleos FP32 CUDA por GPU
• 4 Tensor Cores de cuarta generación por SM, 528 por GPU
• 80 GB HBM3, 5 pilas HBM3, 10 controladores de memoria de 512 bits
• 50 MB de caché L2
• NVLink de cuarta generación y PCIe Gen 5

Este es un aumento de 2.25x sobre la configuración completa de GPU GA100. NVIDIA también está aprovechando más núcleos FP64, FP16 y Tensor dentro de su GPU Hopper, lo que aumentaría enormemente el rendimiento. Y eso va a ser una necesidad para competir con el Ponte Vecchio de Intel, que también se espera que presente 1:1 FP64. NVIDIA afirma que los núcleos Tensor de 4.ª generación en Hopper ofrecen el doble de rendimiento con el mismo reloj.

El siguiente desglose del rendimiento de NVIDIA Hopper H100 muestra que los SM adicionales representan solo un aumento del rendimiento del 20 %. El principal beneficio proviene de los Tensor Cores de cuarta generación y el FP8 calcula la ruta. Una frecuencia más alta también agrega un aumento decente del 30% a la mezcla.

Una comparación interesante que señala el escalado de GPU muestra que un solo GPC en una GPU Hopper H100 es equivalente a una GPU Kepler GK110, un chip HPC insignia de 2012. El Kepler GK110 albergaba un total de 15 SM, mientras que la GPU Hopper H110 incluye 132 SM. e incluso un GPC singular en la GPU Hopper presenta 18 SM, un 20 % más que la totalidad de los SM en el buque insignia de Kepler.

La memoria caché es otro espacio en el que NVIDIA ha prestado mucha atención, llevándola a 48 MB en la GPU Hopper GH100. Este es un aumento del 20 % con respecto a los 50 MB de caché que se incluyen en la GPU Ampere GA100 y 3 veces el tamaño de la GPU insignia Aldebaran MCM de AMD, la MI250X.

Redondeando las cifras de rendimiento, la GPU Hopper GH100 de NVIDIA ofrecerá 4000 TFLOP de FP8, 2000 TFLOP de FP16, 1000 TFLOP de TF32 y 60 TFLOP de FP64 de rendimiento informático. Estas cifras que rompen récords diezman a todos los demás aceleradores de HPC que lo precedieron. A modo de comparación, esto es 3,3 veces más rápido que la propia GPU A100 de NVIDIA y un 28 % más rápido que el Instinct MI250X de AMD en el cómputo FP64. En computación FP16, la GPU H100 es 3 veces más rápida que la A100 y 5,2 veces más rápida que la MI250X, que es literalmente una locura.

La variante PCIe, que es un modelo reducido, se incluyó recientemente en Japón por más de $ 30,000 USD, por lo que uno puede imaginar que la variante SXM con una configuración más robusta costará fácilmente alrededor de $ 50 mil.

Especificaciones de NVIDIA Ampere GA100 GPU Tesla A100: