AMD anunció una gama de nuevos productos hoy en su evento de estreno de tecnología de inteligencia artificial y centro de datos aquí en San Francisco, California. La compañía finalmente compartió más detalles sobre sus procesadores Instinct MI300A que cuentan con núcleos de CPU y GPU apilados en 3D en el mismo paquete con HBM, y un nuevo modelo MI300X solo de GPU que trae ocho aceleradores en una plataforma que maneja un increíble 1.5TB de HBM3 memoria.
La compañía también hizo anuncios sobre sus procesadores EPYC Bergamo de 5 nm para aplicaciones nativas en la nube y sus procesadores EPYC Genoa-X con hasta 1,1 GB de caché L3. Estos tres productos ya están disponibles, pero AMD también tiene sus procesadores EPYC Sienna para empresas de telecomunicaciones y el borde llegará en la segunda mitad de 2023.
En combinación con la cartera de AMD de redes y DPU Alveo y Pensando, AMD tiene una pila completa de productos diseñados para cargas de trabajo de IA, lo que lo coloca en competencia directa con el líder del mercado Nvidia, su principal competidor en productos de aceleración de IA, e Intel, que también ofrece varios productos de IA. -soluciones de aceleración en una amplia gama de productos.
Este artículo se centra en las noticias sobre el MI300, pero agregaremos enlaces a nuestro otro contenido en breve. Acabamos de recibir la información de AMD, por lo que este artículo se actualizará a medida que agreguemos más detalles.
AMD instinto MI300
Imagen 1 de 2
El Instinct MI300A es una APU de centro de datos que combina un total de 13 chiplets, muchos de ellos apilados en 3D, para crear un paquete de un solo chip con veinticuatro núcleos de CPU Zen 4 fusionados con un motor de gráficos CDNA 3 y ocho pilas de memoria HBM3. totalizando 128GB. En general, el chip pesa 146 mil millones de transistores, lo que lo convierte en el chip más grande que AMD ha presionado para producir. Los nueve troqueles de cómputo, una combinación de CPU y GPU de 5nm, están apilados en 3D sobre cuatro troqueles base de 6nm que son intercaladores activos que manejan la memoria y el tráfico de E/S, entre otras funciones. El instinto MI300 impulsará la supercomputadora El Capitan de dos exaflops, que está programada para ser la más rápida del mundo cuando esté en línea a finales de este año.
Imagen 1 de 2
AMD anunció hoy una variante solo de GPU, el MI300X, y presentó varias demostraciones de su rendimiento. El MI300X solo de GPU está optimizado para modelos de lenguaje grande (LLM) y viene equipado solo con mosaicos de GPU CDNA3 combinados con 192 GB de memoria HBM3.
La voluminosa capacidad de memoria, repartida en chips HBM3 de 24 GB, permite que el chip ejecute LLM de hasta 80 000 millones de parámetros, lo que, según AMD, es un récord para una sola GPU. El chip ofrece 5,2 TB/s de ancho de banda de memoria en ocho canales y 896 GB/s de Infinity Fabric Bandwidth. El MI300X ofrece una densidad HBM 2,4 veces mayor que la Nvidia H100 y un ancho de banda HBM 1,6 veces mayor que la H100, lo que significa que AMD puede ejecutar modelos más grandes que los chips de Nvidia.
El chip está forjado a partir de 12 chipsets diferentes en una combinación de nodos de 5nm (GPU) y 6nm (matriz de E/S), que incluyen ocho GPU y varias matrices de E/S, para un total de 153 mil millones de transistores.
Imagen 1 de 2
El MI300A puede ejecutarse en varios modos diferentes, pero el modo principal consta de un solo dominio de memoria y un dominio NUMA, lo que proporciona una memoria de acceso uniforme para todos los núcleos de CPU y GPU. Mientras tanto, el MI300X usa una memoria coherente entre todos sus clústeres de GPU. La conclusión clave es que la memoria coherente con la caché reduce el movimiento de datos entre la CPU y la GPU, que a menudo consume más energía que el propio cálculo, lo que reduce la latencia y mejora el rendimiento y la eficiencia energética.
AMD realizó una demostración de un modelo Falcon-40B de 40 mil millones de parámetros que se ejecuta en una sola GPU MI300X, pero no se proporcionaron métricas de rendimiento. En cambio, el LLM escribió un poema sobre San Francisco, la ubicación del evento de AMD. AMD dice que esta es la primera vez que un modelo tan grande se ejecuta en una sola GPU.
Imagen 1 de 2
AMD también anunció la plataforma AMD Instinct, que combina ocho GPU MI300X en una sola placa base de servidor con 1,5 TB de memoria HBM3 total. Esta plataforma es compatible con OCP, en contraste con las plataformas MGX patentadas de Nvidia. AMD dice que este diseño de código abierto acelerará la implementación.
MI300A, el modelo CPU+GPU, está probando ahora. El MI300X y la plataforma Instinct de 8 GPU se probarán en el tercer trimestre y se lanzarán en el cuarto trimestre. Todavía estamos investigando para obtener más detalles. Estén atentos para obtener más información en las próximas horas.