{"id":117453,"date":"2022-08-24T17:49:01","date_gmt":"2022-08-24T17:49:01","guid":{"rendered":"https:\/\/magazineoffice.com\/nvidia-hopper-h100-con-nucleo-tensor-de-4-a-generacion-es-el-doble-de-rapido-reloj-por-reloj-la-frecuencia-ofrece-una-ganancia-de-rendimiento-del-30\/"},"modified":"2022-08-24T17:49:05","modified_gmt":"2022-08-24T17:49:05","slug":"nvidia-hopper-h100-con-nucleo-tensor-de-4-a-generacion-es-el-doble-de-rapido-reloj-por-reloj-la-frecuencia-ofrece-una-ganancia-de-rendimiento-del-30","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/nvidia-hopper-h100-con-nucleo-tensor-de-4-a-generacion-es-el-doble-de-rapido-reloj-por-reloj-la-frecuencia-ofrece-una-ganancia-de-rendimiento-del-30\/","title":{"rendered":"NVIDIA Hopper H100 con n\u00facleo Tensor de 4.\u00aa generaci\u00f3n es el doble de r\u00e1pido reloj por reloj, la frecuencia ofrece una ganancia de rendimiento del 30 %"},"content":{"rendered":"


\n<\/p>\n

\n

NVIDIA est\u00e1 analizando a\u00fan m\u00e1s su GPU Hopper H100 en Hot Chips 34, lo que nos da una idea de lo que la arquitectura Tensor Core de 4.\u00aa generaci\u00f3n tiene para ofrecer.<\/p>\n

La GPU NVIDIA Kepler GK110 es equivalente a un solo GPC en la GPU Hopper H100, los n\u00facleos tensoriales de cuarta generaci\u00f3n son hasta 2 veces m\u00e1s r\u00e1pidos<\/h2>\n

Si bien AMD est\u00e1 adoptando el enfoque MCM en sus GPU HPC, NVIDIA decidi\u00f3 quedarse con el dise\u00f1o monol\u00edtico por ahora. Su Hopper H100, como tal, es una de las GPU m\u00e1s grandes fabricadas con el nodo de proceso 4N de TSMC, un dise\u00f1o optimizado y fabricado exclusivamente para NVIDIA.<\/p>\n

\n<\/figure>\n

La GPU H100 es un chip monstruoso que viene con la \u00faltima tecnolog\u00eda de 4 nm e incorpora 80 mil millones de transistores junto con la tecnolog\u00eda de memoria HBM3 de \u00faltima generaci\u00f3n. El H100 se basa en la placa PCB PG520 que tiene m\u00e1s de 30 VRM de potencia y un intercalador integral masivo que utiliza la tecnolog\u00eda CoWoS de TSMC para combinar la GPU Hopper H100 con un dise\u00f1o HBM3 de 6 pilas. Algunas de las principales tecnolog\u00edas de la GPU Hopper H100 incluyen:<\/p>\n

    \n
  • 132 SM (rendimiento 2x por reloj)<\/li>\n
  • N\u00facleos de tensor de cuarta generaci\u00f3n<\/li>\n
  • Grupos de bloques de subprocesos<\/li>\n
  • GPU de instancias m\u00faltiples de segunda generaci\u00f3n<\/li>\n
  • Inform\u00e1tica confidencial<\/li>\n
  • Interfaz PCIe Gen 5.0<\/li>\n
  • La primera DRAM HBM3 del mundo<\/li>\n
  • Cach\u00e9 L2 de 50 MB m\u00e1s grande<\/li>\n
  • NVLink de cuarta generaci\u00f3n (900 GB\/s de ancho de banda total)<\/li>\n
  • Nuevo soporte SHARP<\/li>\n
  • Red NVLink<\/li>\n<\/ul>\n

    De las seis pilas, se mantienen dos pilas para garantizar la integridad del rendimiento. Pero el nuevo est\u00e1ndar HBM3 permite capacidades de hasta 80 GB a velocidades de 3 TB\/s que son una locura. A modo de comparaci\u00f3n, la tarjeta gr\u00e1fica para juegos m\u00e1s r\u00e1pida actual, la RTX 3090 Ti, ofrece solo 1 TB\/s de ancho de banda y capacidades de VRAM de 24 GB. Aparte de eso, la GPU Hopper H100 tambi\u00e9n incluye el \u00faltimo formato de datos FP8 y, a trav\u00e9s de su nueva conexi\u00f3n SXM, ayuda a acomodar el dise\u00f1o de potencia de 700 W alrededor del cual est\u00e1 dise\u00f1ado el chip. Tambi\u00e9n ofrece el doble de las tasas de FMA de FP32 y FP64 y cach\u00e9 L1 de 256 KB (memoria compartida).<\/p>\n

    Resumen de las especificaciones de la GPU NVIDIA Hopper H100<\/strong><\/p>\n

    Entonces, en cuanto a las especificaciones, la GPU NVIDIA Hopper GH100 se compone de un dise\u00f1o de chip masivo de 144 SM (multiprocesador de transmisi\u00f3n) que se presenta en un total de 8 GPC. Estos GPC tienen un total de 9 TPC que se componen adem\u00e1s de 2 unidades SM cada uno. Esto nos da 18 SM por GPC y 144 en la configuraci\u00f3n completa de 8 GPC. Cada SM est\u00e1 compuesto por hasta 128 unidades FP32 lo que nos deber\u00eda dar un total de 18.432 n\u00facleos CUDA.<\/p>\n

    <\/figure>\n

    Las siguientes son algunas de las configuraciones que puede esperar del chip H100:<\/p>\n

    La implementaci\u00f3n completa de la GPU GH100 incluye las siguientes unidades:<\/strong><\/p>\n

      \n
    • 8 GPC, 72 TPC (9 TPC\/GPC), 2 SM\/TPC, 144 SM por GPU completa<\/li>\n
    • 128 FP32 CUDA Cores por SM, 18432 FP32 CUDA Cores por GPU completa<\/li>\n
    • 4 n\u00facleos tensoriales de cuarta generaci\u00f3n por SM, 576 por GPU completa<\/li>\n
    • 6 pilas HBM3 o HBM2e, 12 controladores de memoria de 512 bits<\/li>\n
    • 60 MB de cach\u00e9 L2<\/li>\n
    • NVLink de cuarta generaci\u00f3n y PCIe Gen 5<\/li>\n<\/ul>\n

      La GPU NVIDIA H100 con factor de forma de placa SXM5 incluye las siguientes unidades:<\/strong><\/p>\n

        \n
      • 8 GPC, 66 TPC, 2 SM\/TPC, 132 SM por GPU<\/li>\n
      • 128 n\u00facleos FP32 CUDA por SM, 16896 n\u00facleos FP32 CUDA por GPU<\/li>\n
      • 4 Tensor Cores de cuarta generaci\u00f3n por SM, 528 por GPU<\/li>\n
      • 80 GB HBM3, 5 pilas HBM3, 10 controladores de memoria de 512 bits<\/li>\n
      • 50 MB de cach\u00e9 L2<\/li>\n
      • NVLink de cuarta generaci\u00f3n y PCIe Gen 5<\/li>\n<\/ul>\n

        Este es un aumento de 2.25x sobre la configuraci\u00f3n completa de GPU GA100. NVIDIA tambi\u00e9n est\u00e1 aprovechando m\u00e1s n\u00facleos FP64, FP16 y Tensor dentro de su GPU Hopper, lo que aumentar\u00eda enormemente el rendimiento. Y eso va a ser una necesidad para competir con el Ponte Vecchio de Intel, que tambi\u00e9n se espera que presente 1:1 FP64. NVIDIA afirma que los n\u00facleos Tensor de 4.\u00aa generaci\u00f3n en Hopper ofrecen el doble de rendimiento con el mismo reloj.<\/p>\n

        \"La<\/figure>\n

        El siguiente desglose del rendimiento de NVIDIA Hopper H100 muestra que los SM adicionales representan solo un aumento del rendimiento del 20 %. El principal beneficio proviene de los Tensor Cores de cuarta generaci\u00f3n y el FP8 calcula la ruta. Una frecuencia m\u00e1s alta tambi\u00e9n agrega un aumento decente del 30% a la mezcla.<\/p>\n

        \"NVIDIA<\/figure>\n

        Una comparaci\u00f3n interesante que se\u00f1ala el escalado de GPU muestra que un solo GPC en una GPU Hopper H100 es equivalente a una GPU Kepler GK110, un chip HPC insignia de 2012. El Kepler GK110 albergaba un total de 15 SM, mientras que la GPU Hopper H110 incluye 132 SM. e incluso un GPC singular en la GPU Hopper presenta 18 SM, un 20 % m\u00e1s que la totalidad de los SM en el buque insignia de Kepler.<\/p>\n

        \"\"<\/figure>\n

        La memoria cach\u00e9 es otro espacio en el que NVIDIA ha prestado mucha atenci\u00f3n, llev\u00e1ndola a 48 MB en la GPU Hopper GH100. Este es un aumento del 20 % con respecto a los 50 MB de cach\u00e9 que se incluyen en la GPU Ampere GA100 y 3 veces el tama\u00f1o de la GPU insignia Aldebaran MCM de AMD, la MI250X.<\/p>\n

        Redondeando las cifras de rendimiento, la GPU Hopper GH100 de NVIDIA ofrecer\u00e1 4000 TFLOP de FP8, 2000 TFLOP de FP16, 1000 TFLOP de TF32 y 60 TFLOP de FP64 de rendimiento inform\u00e1tico. Estas cifras que rompen r\u00e9cords diezman a todos los dem\u00e1s aceleradores de HPC que lo precedieron. A modo de comparaci\u00f3n, esto es 3,3 veces m\u00e1s r\u00e1pido que la propia GPU A100 de NVIDIA y un 28 % m\u00e1s r\u00e1pido que el Instinct MI250X de AMD en el c\u00f3mputo FP64. En computaci\u00f3n FP16, la GPU H100 es 3 veces m\u00e1s r\u00e1pida que la A100 y 5,2 veces m\u00e1s r\u00e1pida que la MI250X, que es literalmente una locura.<\/p>\n

        La variante PCIe, que es un modelo reducido, se incluy\u00f3 recientemente en Jap\u00f3n por m\u00e1s de $ 30,000 USD, por lo que uno puede imaginar que la variante SXM con una configuraci\u00f3n m\u00e1s robusta costar\u00e1 f\u00e1cilmente alrededor de $ 50 mil.<\/p>\n

        Especificaciones de NVIDIA Ampere GA100 GPU Tesla A100:<\/h2>\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
        Tarjeta gr\u00e1fica NVIDIA Tesla<\/th>\nNVIDIA H100 (SMX5)<\/th>\nNVIDIA H100 (PCIe)<\/th>\nNVIDIA A100 (SXM4)<\/th>\nNVIDIA A100 (PCIe4)<\/th>\nTesla V100S (PCIe)<\/th>\nTesla V100 (SXM2)<\/th>\nTesla P100 (SXM2)<\/th>\ntesla p100
        (PCI-Express)<\/th>\n        		tesla m40
        (PCI-Express)<\/th>\n        		tesla k40
        (PCI-Express)<\/th>\n<\/tr>\n<\/thead>\n
        GPU<\/td>\nGH100 (Tolva)<\/td>\nGH100 (Tolva)<\/td>\nGA100 (amperios)<\/td>\nGA100 (amperios)<\/td>\nGV100 (Voltaje)<\/td>\nGV100 (Voltaje)<\/td>\nGP100 (Pascales)<\/td>\nGP100 (Pascales)<\/td>\nGM200 (Maxwell)<\/td>\nGK110 (Kepler)<\/td>\n<\/tr>\n
        Nodo de proceso<\/td>\n4 nm<\/td>\n4 nm<\/td>\n7 nm<\/td>\n7 nm<\/td>\n12nm<\/td>\n12nm<\/td>\n16nm<\/td>\n16nm<\/td>\n28nm<\/td>\n28nm<\/td>\n<\/tr>\n
        transistores<\/td>\n80 mil millones<\/td>\n80 mil millones<\/td>\n54,2 mil millones<\/td>\n54,2 mil millones<\/td>\n21.1 mil millones<\/td>\n21.1 mil millones<\/td>\n15,3 mil millones<\/td>\n15,3 mil millones<\/td>\n8 mil millones<\/td>\n7.1 mil millones<\/td>\n<\/tr>\n
        Tama\u00f1o de matriz de GPU<\/td>\n814 mm2<\/td>\n814 mm2<\/td>\n826mm2<\/td>\n826mm2<\/td>\n815 mm2<\/td>\n815 mm2<\/td>\n610 mm2<\/td>\n610 mm2<\/td>\n601 mm2<\/td>\n551 mm2<\/td>\n<\/tr>\n
        SMS<\/td>\n132<\/td>\n114<\/td>\n108<\/td>\n108<\/td>\n80<\/td>\n80<\/td>\n56<\/td>\n56<\/td>\n24<\/td>\n15<\/td>\n<\/tr>\n
        TPC<\/td>\n66<\/td>\n57<\/td>\n54<\/td>\n54<\/td>\n40<\/td>\n40<\/td>\n28<\/td>\n28<\/td>\n24<\/td>\n15<\/td>\n<\/tr>\n
        N\u00facleos CUDA FP32 por SM<\/td>\n128<\/td>\n128<\/td>\n64<\/td>\n64<\/td>\n64<\/td>\n64<\/td>\n64<\/td>\n64<\/td>\n128<\/td>\n192<\/td>\n<\/tr>\n
        N\u00facleos CUDA FP64 \/ SM<\/td>\n128<\/td>\n128<\/td>\n32<\/td>\n32<\/td>\n32<\/td>\n32<\/td>\n32<\/td>\n32<\/td>\n4<\/td>\n64<\/td>\n<\/tr>\n
        N\u00facleos CUDA FP32<\/td>\n16896<\/td>\n14592<\/td>\n6912<\/td>\n6912<\/td>\n5120<\/td>\n5120<\/td>\n3584<\/td>\n3584<\/td>\n3072<\/td>\n2880<\/td>\n<\/tr>\n
        N\u00facleos CUDA FP64<\/td>\n16896<\/td>\n14592<\/td>\n3456<\/td>\n3456<\/td>\n2560<\/td>\n2560<\/td>\n1792<\/td>\n1792<\/td>\n96<\/td>\n960<\/td>\n<\/tr>\n
        N\u00facleos tensoriales<\/td>\n528<\/td>\n456<\/td>\n432<\/td>\n432<\/td>\n640<\/td>\n640<\/td>\nN \/ A<\/td>\nN \/ A<\/td>\nN \/ A<\/td>\nN \/ A<\/td>\n<\/tr>\n
        Unidades de textura<\/td>\n528<\/td>\n456<\/td>\n432<\/td>\n432<\/td>\n320<\/td>\n320<\/td>\n224<\/td>\n224<\/td>\n192<\/td>\n240<\/td>\n<\/tr>\n
        Reloj de impulso<\/td>\nPor determinar<\/td>\nPor determinar<\/td>\n1410 MHz<\/td>\n1410 MHz<\/td>\n1601 MHz<\/td>\n1530 MHz<\/td>\n1480 MHz<\/td>\n1329MHz<\/td>\n1114 MHz<\/td>\n875 MHz<\/td>\n<\/tr>\n
        TOP (DNN\/AI)<\/td>\n2000 TOP
        4000 TOP<\/td>\n        		1600 TOP
        3200 TOP<\/td>\n        		1248 tapas
        2496 TOP con escasez<\/td>\n        		1248 tapas
        2496 TOP con escasez<\/td>\n        		130 TOP<\/td>\n125 TOPS<\/td>\nN \/ A<\/td>\nN \/ A<\/td>\nN \/ A<\/td>\nN \/ A<\/td>\n<\/tr>\n
        C\u00f3mputo FP16<\/td>\n2000 TFLOP<\/td>\n1600 TFLOP<\/td>\n312 TFLOP
        624 TFLOP con escasez<\/td>\n        		312 TFLOP
        624 TFLOP con escasez<\/td>\n        		32,8 TFLOP<\/td>\n30,4 TFLOP<\/td>\n21,2 TFLOP<\/td>\n18,7 TFLOP<\/td>\nN \/ A<\/td>\nN \/ A<\/td>\n<\/tr>\n
        C\u00f3mputo FP32<\/td>\n1000 TFLOP<\/td>\n800 TFLOP<\/td>\n156 TFLOP
        (19,5 TFLOP est\u00e1ndar)<\/td>\n        		156 TFLOP
        (19,5 TFLOP est\u00e1ndar)<\/td>\n        		16.4 TFLOP<\/td>\n15,7 TFLOP<\/td>\n10,6 TFLOP<\/td>\n10,0 TFLOP<\/td>\n6.8 TFLOP<\/td>\n5.04 TFLOP<\/td>\n<\/tr>\n
        C\u00f3mputo FP64<\/td>\n60 TFLOP<\/td>\n48 TFLOP<\/td>\n19,5 TFLOP
        (9,7 TFLOP est\u00e1ndar)<\/td>\n        		19,5 TFLOP
        (9,7 TFLOP est\u00e1ndar)<\/td>\n        		8.2 TFLOP<\/td>\n7,80 TFLOP<\/td>\n5,30 TFLOP<\/td>\n4.7 TFLOP<\/td>\n0,2 TFLOP<\/td>\n1,68 TFLOP<\/td>\n<\/tr>\n
        interfaz de memoria<\/td>\nHBM3 de 5120 bits<\/td>\nHBM2e de 5120 bits<\/td>\nHBM2e de 6144 bits<\/td>\nHBM2e de 6144 bits<\/td>\nHBM2 de 4096 bits<\/td>\nHBM2 de 4096 bits<\/td>\nHBM2 de 4096 bits<\/td>\nHBM2 de 4096 bits<\/td>\nGDDR5 de 384 bits<\/td>\nGDDR5 de 384 bits<\/td>\n<\/tr>\n
        Tama\u00f1o de la memoria<\/td>\nHasta 80 GB HBM3 a 3,0 Gbps<\/td>\nHasta 80 GB HBM2e a 2,0 Gbps<\/td>\nHasta 40 GB HBM2 a 1,6 TB\/s
        Hasta 80 GB HBM2 a 1,6 TB\/s<\/td>\n        		Hasta 40 GB HBM2 a 1,6 TB\/s
        Hasta 80 GB HBM2 a 2,0 TB\/s<\/td>\n        		16 GB HBM2 a 1134 GB\/s<\/td>\n16 GB HBM2 a 900 GB\/s<\/td>\n16 GB HBM2 a 732 GB\/s<\/td>\n16 GB HBM2 a 732 GB\/s
        12 GB HBM2 a 549 GB\/s<\/td>\n        		24 GB GDDR5 a 288 GB\/s<\/td>\n12 GB GDDR5 a 288 GB\/s<\/td>\n<\/tr>\n
        Tama\u00f1o de cach\u00e9 L2<\/td>\n51200 KB<\/td>\n51200 KB<\/td>\n40960KB<\/td>\n40960KB<\/td>\n6144KB<\/td>\n6144KB<\/td>\n4096KB<\/td>\n4096KB<\/td>\n3072KB<\/td>\n1536KB<\/td>\n<\/tr>\n
        TDP<\/td>\n700W<\/td>\n350W<\/td>\n400W<\/td>\n250W<\/td>\n250W<\/td>\n300W<\/td>\n300W<\/td>\n250W<\/td>\n250W<\/td>\n235W<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

        <\/p>\n

        \n

        Productos mencionados en esta publicaci\u00f3n.<\/h2>\n

        \t\t\n\t<\/div>\n<\/p><\/div>\n