La GPU Instinct MI300X de AMD será el chip con mayor consumo de energía cuando se lance, consumiendo cerca de 1 KW de energía.
La GPU AMD Instinct MI300X es un chip potente y que consume mucha energía, consume 750 W de potencia
La GPU NVIDIA H100 ha sido el chip de centro de datos que más energía consume desde su lanzamiento, con un consumo de energía nominal de hasta 700 W. Pero eso cambia con el Instinct MI300X, que consumirá aún más energía.
En las notas a pie de página de la presentación de AMD Instinct MI300X, se dice que el acelerador de GPU OAM consume 750 W de potencia. A modo de comparación, las GPU Instinct MI250X basadas en la arquitectura de GPU CDNA 2 consumían entre 500 y 560 vatios de potencia. Por lo tanto, los requisitos de energía aumentaron entre un 34 y un 50 % en una sola generación. Al mismo tiempo, este aumento de potencia era de esperar teniendo en cuenta el diseño del propio chip y el rendimiento que ofrece. El chip ofrece un aumento de rendimiento de 8x en las cargas de trabajo de IA y es 5 veces más eficiente.
Se espera que la GPU AMD Instinct MI300X presente 304 unidades de cómputo CDNA 3 frente a las 220 unidades de cómputo que presenta el MI250X. Eso es un aumento del 38%. Además, el chip incluye memoria HBM3 en capacidades de 192 GB. Eso es un 50 % más que la memoria HBM2e de 128 GB utilizada por el MI250X y, dado que estamos hablando de HBM3, también veremos velocidades de transferencia mucho más rápidas.
Una gran ventaja de la GPU Instinct MI300X y su enorme VRAM de 192 GB es que puede ejecutar modelos de lenguaje grandes en menos GPU que la competencia. El Instinct MI300X puede ejecutar hasta 540 mil millones de LLM de parámetros con una cantidad menor de GPU que los chips H100 de 80 GB de la competencia.
Estos requisitos de energía continúan aumentando a medida que las GPU y los aceleradores HPC se vuelven cada vez más potentes. Una hoja de ruta reciente de Gigabyte Server muestra cómo las CPU, GPU y APU se están acercando a la barrera de potencia de 1000 W. Sin duda, AMD tiene el chip que consume más energía de todos, pero el equipo rojo también ha invertido en una gran cantidad de tecnologías de empaquetado y chiplet que les permiten reducir significativamente los requisitos de energía.
Durante la conferencia ISSCC 2023, la directora ejecutiva de AMD, la Dra. Lisa Su, declaró que si no se adoptaran nuevos diseños, la computación Zettascale habría requerido un reactor nuclear para satisfacer su demanda de energía y eso es solo para un sistema. Dicho esto, las GPU MI300X también estarán disponibles en variantes conservadoras con requisitos de energía más bajos, especialmente en factores de forma PCIe. Aún no se han anunciado, pero se espera que lleguen en 2024.