{"id":761331,"date":"2023-08-07T09:13:43","date_gmt":"2023-08-07T09:13:43","guid":{"rendered":"https:\/\/magazineoffice.com\/gpu-h100-de-nvidia-y-the-ai-frenzy-un-resumen-de-la-situacion-actual\/"},"modified":"2023-08-07T09:14:02","modified_gmt":"2023-08-07T09:14:02","slug":"gpu-h100-de-nvidia-y-the-ai-frenzy-un-resumen-de-la-situacion-actual","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/gpu-h100-de-nvidia-y-the-ai-frenzy-un-resumen-de-la-situacion-actual\/","title":{"rendered":"GPU H100 de NVIDIA y The AI \u200b\u200bFrenzy; un resumen de la situaci\u00f3n actual"},"content":{"rendered":"


\n<\/p>\n

\n

Todos somos muy conscientes de NVIDIA y la \u00abmina de oro\u00bb de la IA que recientemente ha conquistado a todos. En medio de todo, se encuentran las GPU H100 AI de Team Green, que son simplemente la pieza de hardware para IA m\u00e1s buscada en este momento y todos intentan tener una para satisfacer sus necesidades de IA.<\/p>\n

NVIDIA H100 GPU es el mejor chip para IA en este momento y todos quieren m\u00e1s de esos<\/h2>\n

Este art\u00edculo no es particularmente nuevo, pero destaca a los lectores sobre la situaci\u00f3n actual de la industria de la IA y c\u00f3mo las empresas est\u00e1n girando en torno a las GPU H100 para su \u00abfuturo\u00bb.<\/p>\n

Antes de entrar en el meollo del art\u00edculo, dar un resumen se convierte en una necesidad. Entonces, a principios de 2022, todo iba bien con los desarrollos habituales. Sin embargo, con la llegada de noviembre, surgi\u00f3 una aplicaci\u00f3n revolucionaria llamada \u00abChatGPT\u00bb, que sent\u00f3 las bases del bombo de la IA. Si bien no podemos categorizar a \u00abChatGPT\u00bb como el fundador del auge de la IA, ciertamente podemos decir que actu\u00f3 como un catalizador. Con \u00e9l surgieron competidores como Microsoft y Google, que se vieron obligados a participar en una carrera de IA para lanzar aplicaciones de IA generativa.<\/p>\n

Podr\u00edas decir, \u00bfd\u00f3nde entra NVIDIA aqu\u00ed? La columna vertebral de la IA generativa implica largos per\u00edodos de entrenamiento LLM (Modelo de lenguaje grande), y las GPU de IA de NVIDIA entran en juego aqu\u00ed. No vamos a entrar en especificaciones t\u00e9cnicas y detalles f\u00e1cticos, ya que eso hace que las cosas sean aburridas y no divertidas de leer. Sin embargo, si desea conocer los detalles, presentamos una tabla a continuaci\u00f3n, que destaca cada lanzamiento de GPU AI de NVIDIA, que se remonta a los modelos Tesla.<\/p>\n

GPU NVIDIA HPC\/IA<\/h2>\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
Tarjeta gr\u00e1fica NVIDIA Tesla<\/th>\nNVIDIA H100 (SMX5)<\/th>\nNVIDIA H100 (PCIe)<\/th>\nNVIDIA A100 (SXM4)<\/th>\nNVIDIA A100 (PCIe4)<\/th>\nTesla V100S (PCIe)<\/th>\nTesla V100 (SXM2)<\/th>\nTesla P100 (SXM2)<\/th>\ntesla p100
(PCI-Express)<\/th>\n		tesla m40
(PCI-Express)<\/th>\n		tesla k40
(PCI-Express)<\/th>\n<\/tr>\n<\/thead>\n
GPU<\/td>\nGH100 (Tolva)<\/td>\nGH100 (Tolva)<\/td>\nGA100 (amperios)<\/td>\nGA100 (amperios)<\/td>\nGV100 (Voltaje)<\/td>\nGV100 (Voltaje)<\/td>\nGP100 (Pascales)<\/td>\nGP100 (Pascales)<\/td>\nGM200 (Maxwell)<\/td>\nGK110 (Kepler)<\/td>\n<\/tr>\n
Nodo de proceso<\/td>\n4 nm<\/td>\n4 nm<\/td>\n7 nm<\/td>\n7 nm<\/td>\n12nm<\/td>\n12nm<\/td>\n16nm<\/td>\n16nm<\/td>\n28nm<\/td>\n28nm<\/td>\n<\/tr>\n
transistores<\/td>\n80 mil millones<\/td>\n80 mil millones<\/td>\n54,2 mil millones<\/td>\n54,2 mil millones<\/td>\n21.1 mil millones<\/td>\n21.1 mil millones<\/td>\n15,3 mil millones<\/td>\n15,3 mil millones<\/td>\n8 mil millones<\/td>\n7.1 mil millones<\/td>\n<\/tr>\n
Tama\u00f1o de matriz de GPU<\/td>\n814 mm2<\/td>\n814 mm2<\/td>\n826mm2<\/td>\n826mm2<\/td>\n815 mm2<\/td>\n815 mm2<\/td>\n610 mm2<\/td>\n610 mm2<\/td>\n601 mm2<\/td>\n551 mm2<\/td>\n<\/tr>\n
SMS<\/td>\n132<\/td>\n114<\/td>\n108<\/td>\n108<\/td>\n80<\/td>\n80<\/td>\n56<\/td>\n56<\/td>\n24<\/td>\n15<\/td>\n<\/tr>\n
TPC<\/td>\n66<\/td>\n57<\/td>\n54<\/td>\n54<\/td>\n40<\/td>\n40<\/td>\n28<\/td>\n28<\/td>\n24<\/td>\n15<\/td>\n<\/tr>\n
N\u00facleos CUDA FP32 por SM<\/td>\n128<\/td>\n128<\/td>\n64<\/td>\n64<\/td>\n64<\/td>\n64<\/td>\n64<\/td>\n64<\/td>\n128<\/td>\n192<\/td>\n<\/tr>\n
N\u00facleos CUDA FP64 \/ SM<\/td>\n128<\/td>\n128<\/td>\n32<\/td>\n32<\/td>\n32<\/td>\n32<\/td>\n32<\/td>\n32<\/td>\n4<\/td>\n64<\/td>\n<\/tr>\n
N\u00facleos CUDA FP32<\/td>\n16896<\/td>\n14592<\/td>\n6912<\/td>\n6912<\/td>\n5120<\/td>\n5120<\/td>\n3584<\/td>\n3584<\/td>\n3072<\/td>\n2880<\/td>\n<\/tr>\n
N\u00facleos CUDA FP64<\/td>\n16896<\/td>\n14592<\/td>\n3456<\/td>\n3456<\/td>\n2560<\/td>\n2560<\/td>\n1792<\/td>\n1792<\/td>\n96<\/td>\n960<\/td>\n<\/tr>\n
N\u00facleos tensoriales<\/td>\n528<\/td>\n456<\/td>\n432<\/td>\n432<\/td>\n640<\/td>\n640<\/td>\nN \/ A<\/td>\nN \/ A<\/td>\nN \/ A<\/td>\nN \/ A<\/td>\n<\/tr>\n
Unidades de textura<\/td>\n528<\/td>\n456<\/td>\n432<\/td>\n432<\/td>\n320<\/td>\n320<\/td>\n224<\/td>\n224<\/td>\n192<\/td>\n240<\/td>\n<\/tr>\n
Reloj de impulso<\/td>\nPor determinar<\/td>\nPor determinar<\/td>\n1410 MHz<\/td>\n1410 MHz<\/td>\n1601 MHz<\/td>\n1530 MHz<\/td>\n1480 MHz<\/td>\n1329MHz<\/td>\n1114 MHz<\/td>\n875 MHz<\/td>\n<\/tr>\n
TOP (DNN\/AI)<\/td>\n3958 tops<\/td>\n3200 TOP<\/td>\n1248 tapas
2496 TOP con escasez<\/td>\n		1248 tapas
2496 TOP con escasez<\/td>\n		130 TOP<\/td>\n125 TOPS<\/td>\nN \/ A<\/td>\nN \/ A<\/td>\nN \/ A<\/td>\nN \/ A<\/td>\n<\/tr>\n
C\u00f3mputo FP16<\/td>\n1979 TFLOP<\/td>\n1600 TFLOP<\/td>\n312 TFLOP
624 TFLOP con escasez<\/td>\n		312 TFLOP
624 TFLOP con escasez<\/td>\n		32,8 TFLOP<\/td>\n30,4 TFLOP<\/td>\n21,2 TFLOP<\/td>\n18,7 TFLOP<\/td>\nN \/ A<\/td>\nN \/ A<\/td>\n<\/tr>\n
C\u00f3mputo FP32<\/td>\n67 TFLOP<\/td>\n800 TFLOP<\/td>\n156 TFLOP
(19,5 TFLOP est\u00e1ndar)<\/td>\n		156 TFLOP
(19,5 TFLOP est\u00e1ndar)<\/td>\n		16.4 TFLOP<\/td>\n15,7 TFLOP<\/td>\n10,6 TFLOP<\/td>\n10,0 TFLOP<\/td>\n6.8 TFLOP<\/td>\n5.04 TFLOP<\/td>\n<\/tr>\n
C\u00f3mputo FP64<\/td>\n34 TFLOP<\/td>\n48 TFLOP<\/td>\n19,5 TFLOP
(9,7 TFLOP est\u00e1ndar)<\/td>\n		19,5 TFLOP
(9,7 TFLOP est\u00e1ndar)<\/td>\n		8.2 TFLOP<\/td>\n7,80 TFLOP<\/td>\n5,30 TFLOP<\/td>\n4.7 TFLOP<\/td>\n0,2 TFLOP<\/td>\n1,68 TFLOP<\/td>\n<\/tr>\n
interfaz de memoria<\/td>\nHBM3 de 5120 bits<\/td>\nHBM2e de 5120 bits<\/td>\nHBM2e de 6144 bits<\/td>\nHBM2e de 6144 bits<\/td>\nHBM2 de 4096 bits<\/td>\nHBM2 de 4096 bits<\/td>\nHBM2 de 4096 bits<\/td>\nHBM2 de 4096 bits<\/td>\nGDDR5 de 384 bits<\/td>\nGDDR5 de 384 bits<\/td>\n<\/tr>\n
Tama\u00f1o de la memoria<\/td>\nHasta 80 GB HBM3 a 3,0 Gbps<\/td>\nHasta 80 GB HBM2e a 2,0 Gbps<\/td>\nHasta 40 GB HBM2 a 1,6 TB\/s
Hasta 80 GB HBM2 a 1,6 TB\/s<\/td>\n		Hasta 40 GB HBM2 a 1,6 TB\/s
Hasta 80 GB HBM2 a 2,0 TB\/s<\/td>\n		16 GB HBM2 a 1134 GB\/s<\/td>\n16 GB HBM2 a 900 GB\/s<\/td>\n16 GB HBM2 a 732 GB\/s<\/td>\n16 GB HBM2 a 732 GB\/s
12 GB HBM2 a 549 GB\/s<\/td>\n		24 GB GDDR5 a 288 GB\/s<\/td>\n12 GB GDDR5 a 288 GB\/s<\/td>\n<\/tr>\n
Tama\u00f1o de cach\u00e9 L2<\/td>\n51200 KB<\/td>\n51200 KB<\/td>\n40960KB<\/td>\n40960KB<\/td>\n6144KB<\/td>\n6144KB<\/td>\n4096KB<\/td>\n4096KB<\/td>\n3072KB<\/td>\n1536KB<\/td>\n<\/tr>\n
TDP<\/td>\n700W<\/td>\n350W<\/td>\n400W<\/td>\n250W<\/td>\n250W<\/td>\n300W<\/td>\n300W<\/td>\n250W<\/td>\n250W<\/td>\n235W<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

<\/p>\n

La pregunta a\u00fan no se responde aqu\u00ed, \u00bfpor qu\u00e9 los H100? Bueno, estamos llegando all\u00ed. El H100 de NVIDIA es la oferta de gama m\u00e1s alta de la empresa y proporciona inmensas capacidades inform\u00e1ticas. Se podr\u00eda argumentar que el aumento en el rendimiento genera costos m\u00e1s altos, pero las empresas tienden a ordenar grandes vol\u00famenes, y el \u00abrendimiento por vatio\u00bb es la prioridad aqu\u00ed. En comparaci\u00f3n con el A100, el Hopper \u00abH100\u00bb ofrece 3,5 veces m\u00e1s inferencia de 16 bits y 2,3 veces m\u00e1s rendimiento de entrenamiento de 16 bits, lo que lo convierte en la elecci\u00f3n obvia.<\/p>\n

\n
\n
\n
<\/div>\n
\"perf-main-final-625x264\"\/<\/div>\n<\/div>\n<\/div>\n<\/figure>\n

As\u00ed que ahora, esperamos que la superioridad de la GPU H100 sea evidente aqu\u00ed. Ahora, pasando a nuestro siguiente segmento, \u00bfpor qu\u00e9 hay escasez? La respuesta a esto involucra varios aspectos, el primero son los grandes vol\u00famenes de H100 necesarios para entrenar un solo modelo. Un hecho sorprendente es que el modelo de IA GPT-4 de OpenAI requer\u00eda alrededor de 10 000 a 25 000 GPU A100 (en ese momento, las H100 no se lanzaron).<\/p>\n

Las nuevas empresas modernas de IA, como Inflection AI y CoreWeave, han adquirido cantidades enormes de H100, con un valor total contabilizado en miles de millones de d\u00f3lares. Esto demuestra que una sola empresa requiere grandes vol\u00famenes, incluso para entrenar un modelo de IA de b\u00e1sico a decente, por lo que la demanda ha sido tremenda.<\/p>\n

\"GPU<\/figure>\n

Si cuestiona el enfoque de NVIDIA, se puede decir: \u00abNVIDIA podr\u00eda aumentar la producci\u00f3n para hacer frente a la demanda\u00bb. Decir esto es mucho m\u00e1s f\u00e1cil que implementarlo realmente. A diferencia de las GPU para juegos, las GPU NVIDIA AI requieren procesos extensos, con la mayor parte de la fabricaci\u00f3n asignada al gigante de semiconductores taiwan\u00e9s TSMC. TSMC es el proveedor exclusivo de la GPU AI de NVIDIA y lidera todas las etapas, desde la adquisici\u00f3n de obleas hasta el empaquetado avanzado.<\/p>\n

Las GPU H100 se basan en el proceso 4N de TSMC, una versi\u00f3n renovada de la familia de 5 nm. NVIDIA es el principal cliente de este proceso, ya que Apple lo utiliz\u00f3 anteriormente para su conjunto de chips bi\u00f3nico A15, pero A16 Bionic lo reemplaz\u00f3. De todos los pasos relevantes, la producci\u00f3n de la memoria HBM es la m\u00e1s complicada, ya que involucra equipos sofisticados que actualmente utilizan algunos fabricantes.<\/p>\n

\n
\"\"<\/div>
CoWos Packaging utilizado en NVIDIA H100<\/figcaption><\/figure>\n

Los proveedores de HBM incluyen a SK Hynix, Micron y Samsung, mientras que TSMC ha limitado sus proveedores y no sabemos qui\u00e9nes son. Sin embargo, aparte de HBM, TSMC tambi\u00e9n enfrenta problemas para mantener la capacidad CoWoS (Chip-on-Wafer-on-Substrate), un proceso de empaquetado 2.5D y una etapa crucial en el desarrollo de H100. TSMC no puede igualar la demanda de NVIDIA, debido a que la acumulaci\u00f3n de pedidos ha alcanzado nuevas alturas, retras\u00e1ndose hasta diciembre.<\/p>\n

\n

Entonces, cuando las personas usan la palabra escasez de GPU, se refieren a la escasez o la acumulaci\u00f3n de alg\u00fan componente en la placa, no a la GPU en s\u00ed. Es solo una fabricaci\u00f3n mundial limitada de estas cosas… pero pronosticamos lo que la gente quiere y lo que el mundo puede construir.<\/p>\n

-Charlie Doyle, vicepresidente y gerente general de DGX de NVIDIA (a trav\u00e9s de Computerbase.de)<\/p>\n<\/blockquote>\n

Hemos omitido muchos detalles, pero entrar en detalles se desviar\u00e1 de nuestro objetivo principal, que es detallar la situaci\u00f3n a un usuario promedio. Si bien, por ahora, no creemos que la escasez pueda reducirse y, a su vez, se espera que aumente. Sin embargo, podr\u00edamos ver un cambio de panorama aqu\u00ed despu\u00e9s de la decisi\u00f3n de AMD de consolidar su posici\u00f3n en el mercado de IA.<\/p>\n

DigiTimes informa que \u00abTSMC parece ser particularmente optimista sobre la demanda de la pr\u00f3xima serie Instinct MI300 de AMD, diciendo que ser\u00e1 la mitad de la producci\u00f3n total de chips empaquetados CoWoS de Nvidia\u00bb. Puede distribuir la carga de trabajo entre las empresas. A\u00fan as\u00ed, a juzgar por las pol\u00edticas codiciosas del Team Green en el pasado, algo como esto requerir\u00eda una oferta severa de AMD.<\/p>\n

Resumiendo nuestra charla, las GPU H100 de NVIDIA est\u00e1n llevando la moda de la IA a nuevas alturas, raz\u00f3n por la cual las rodea este frenes\u00ed. Nuestro objetivo era concluir nuestra charla dando a los lectores una idea general de todo el escenario. Cr\u00e9ditos a GPU Utilis por la idea detr\u00e1s de este art\u00edculo; aseg\u00farese de mirar su informe tambi\u00e9n.<\/p>\n

Fuente de noticias: GPU Utilis<\/p>\n

\n

\t\t\t\tComparte esta historia<\/p>\n

<\/svg> Facebook<\/p>\n

<\/svg> Gorjeo<\/p>\n<\/p><\/div>\n<\/p><\/div>\n


\n
Source link-29 <\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

Todos somos muy conscientes de NVIDIA y la \u00abmina de oro\u00bb de la IA que recientemente ha conquistado a todos. En medio de todo, se encuentran las GPU H100 AI…<\/p>\n","protected":false},"author":1,"featured_media":761332,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[21980],"tags":[5649,26070,4256,38730,843,4167,5213],"_links":{"self":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/761331"}],"collection":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/comments?post=761331"}],"version-history":[{"count":1,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/761331\/revisions"}],"predecessor-version":[{"id":761333,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/761331\/revisions\/761333"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media\/761332"}],"wp:attachment":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media?parent=761331"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/categories?post=761331"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/tags?post=761331"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}