GPU H100 de NVIDIA y The AI ​​Frenzy; un resumen de la situación actual

Todos somos muy conscientes de NVIDIA y la «mina de oro» de la IA que recientemente ha conquistado a todos. En medio de todo, se encuentran las GPU H100 AI de Team Green, que son simplemente la pieza de hardware para IA más buscada en este momento y todos intentan tener una para satisfacer sus necesidades de IA.

NVIDIA H100 GPU es el mejor chip para IA en este momento y todos quieren más de esos

Este artículo no es particularmente nuevo, pero destaca a los lectores sobre la situación actual de la industria de la IA y cómo las empresas están girando en torno a las GPU H100 para su «futuro».

Antes de entrar en el meollo del artículo, dar un resumen se convierte en una necesidad. Entonces, a principios de 2022, todo iba bien con los desarrollos habituales. Sin embargo, con la llegada de noviembre, surgió una aplicación revolucionaria llamada «ChatGPT», que sentó las bases del bombo de la IA. Si bien no podemos categorizar a «ChatGPT» como el fundador del auge de la IA, ciertamente podemos decir que actuó como un catalizador. Con él surgieron competidores como Microsoft y Google, que se vieron obligados a participar en una carrera de IA para lanzar aplicaciones de IA generativa.

Podrías decir, ¿dónde entra NVIDIA aquí? La columna vertebral de la IA generativa implica largos períodos de entrenamiento LLM (Modelo de lenguaje grande), y las GPU de IA de NVIDIA entran en juego aquí. No vamos a entrar en especificaciones técnicas y detalles fácticos, ya que eso hace que las cosas sean aburridas y no divertidas de leer. Sin embargo, si desea conocer los detalles, presentamos una tabla a continuación, que destaca cada lanzamiento de GPU AI de NVIDIA, que se remonta a los modelos Tesla.

GPU NVIDIA HPC/IA

La pregunta aún no se responde aquí, ¿por qué los H100? Bueno, estamos llegando allí. El H100 de NVIDIA es la oferta de gama más alta de la empresa y proporciona inmensas capacidades informáticas. Se podría argumentar que el aumento en el rendimiento genera costos más altos, pero las empresas tienden a ordenar grandes volúmenes, y el «rendimiento por vatio» es la prioridad aquí. En comparación con el A100, el Hopper «H100» ofrece 3,5 veces más inferencia de 16 bits y 2,3 veces más rendimiento de entrenamiento de 16 bits, lo que lo convierte en la elección obvia.

Así que ahora, esperamos que la superioridad de la GPU H100 sea evidente aquí. Ahora, pasando a nuestro siguiente segmento, ¿por qué hay escasez? La respuesta a esto involucra varios aspectos, el primero son los grandes volúmenes de H100 necesarios para entrenar un solo modelo. Un hecho sorprendente es que el modelo de IA GPT-4 de OpenAI requería alrededor de 10 000 a 25 000 GPU A100 (en ese momento, las H100 no se lanzaron).

Las nuevas empresas modernas de IA, como Inflection AI y CoreWeave, han adquirido cantidades enormes de H100, con un valor total contabilizado en miles de millones de dólares. Esto demuestra que una sola empresa requiere grandes volúmenes, incluso para entrenar un modelo de IA de básico a decente, por lo que la demanda ha sido tremenda.

Si cuestiona el enfoque de NVIDIA, se puede decir: «NVIDIA podría aumentar la producción para hacer frente a la demanda». Decir esto es mucho más fácil que implementarlo realmente. A diferencia de las GPU para juegos, las GPU NVIDIA AI requieren procesos extensos, con la mayor parte de la fabricación asignada al gigante de semiconductores taiwanés TSMC. TSMC es el proveedor exclusivo de la GPU AI de NVIDIA y lidera todas las etapas, desde la adquisición de obleas hasta el empaquetado avanzado.

Las GPU H100 se basan en el proceso 4N de TSMC, una versión renovada de la familia de 5 nm. NVIDIA es el principal cliente de este proceso, ya que Apple lo utilizó anteriormente para su conjunto de chips biónico A15, pero A16 Bionic lo reemplazó. De todos los pasos relevantes, la producción de la memoria HBM es la más complicada, ya que involucra equipos sofisticados que actualmente utilizan algunos fabricantes.

Los proveedores de HBM incluyen a SK Hynix, Micron y Samsung, mientras que TSMC ha limitado sus proveedores y no sabemos quiénes son. Sin embargo, aparte de HBM, TSMC también enfrenta problemas para mantener la capacidad CoWoS (Chip-on-Wafer-on-Substrate), un proceso de empaquetado 2.5D y una etapa crucial en el desarrollo de H100. TSMC no puede igualar la demanda de NVIDIA, debido a que la acumulación de pedidos ha alcanzado nuevas alturas, retrasándose hasta diciembre.

Entonces, cuando las personas usan la palabra escasez de GPU, se refieren a la escasez o la acumulación de algún componente en la placa, no a la GPU en sí. Es solo una fabricación mundial limitada de estas cosas… pero pronosticamos lo que la gente quiere y lo que el mundo puede construir.

-Charlie Doyle, vicepresidente y gerente general de DGX de NVIDIA (a través de Computerbase.de)

Hemos omitido muchos detalles, pero entrar en detalles se desviará de nuestro objetivo principal, que es detallar la situación a un usuario promedio. Si bien, por ahora, no creemos que la escasez pueda reducirse y, a su vez, se espera que aumente. Sin embargo, podríamos ver un cambio de panorama aquí después de la decisión de AMD de consolidar su posición en el mercado de IA.

DigiTimes informa que «TSMC parece ser particularmente optimista sobre la demanda de la próxima serie Instinct MI300 de AMD, diciendo que será la mitad de la producción total de chips empaquetados CoWoS de Nvidia». Puede distribuir la carga de trabajo entre las empresas. Aún así, a juzgar por las políticas codiciosas del Team Green en el pasado, algo como esto requeriría una oferta severa de AMD.

Resumiendo nuestra charla, las GPU H100 de NVIDIA están llevando la moda de la IA a nuevas alturas, razón por la cual las rodea este frenesí. Nuestro objetivo era concluir nuestra charla dando a los lectores una idea general de todo el escenario. Créditos a GPU Utilis por la idea detrás de este artículo; asegúrese de mirar su informe también.

Fuente de noticias: GPU Utilis