Las APU Instinct MI300A de AMD ofrecen una mejora sustancial del rendimiento en cargas de trabajo HPC en comparación con las GPU discretas tradicionales.

Dejando a un lado las GPU discretas, las APU Instinct MI300A de AMD potenciarán las cargas de trabajo HPC con un rendimiento de hasta 4 veces

El AMD Instinct MI300A es la realización de la plataforma «Exascale APU» que se presentó hace años. La idea era empaquetar una GPU de alto rendimiento junto con una CPU de alto rendimiento en el mismo paquete que aprovecha un grupo de memoria unificado. Para HPC, estos diseños de aceleradores/coprocesadores brindan mayores ventajas de rendimiento por vatio, pero requieren una gran cantidad de portabilidad, ajuste y mantenimiento de aplicaciones con millones de líneas de código, lo que puede ser un poco complicado. Sin embargo, parece que los investigadores han utilizado dos modelos de programación populares, OpenMP y OpenACC, para aprovechar al máximo la APU gigante de próxima generación de AMD.

Para este trabajo de investigación, titulado «Transferencia de aplicaciones HPC a AMD Instinct MI300A usando memoria unificada y OpenMP», se utiliza el marco OpenFOAM, que es una biblioteca C++ de código abierto:

• Proporcionamos un modelo del modelo de programación de APU y demostramos la facilidad y flexibilidad de portar códigos en MI300A con OpenMP.
• Elaboramos nuestro método para la aceleración incremental de la producción y ampliamente utilizado en el código de la industria: OpenFOAM.

Dado que el acelerador AMD Instinct MI300A utiliza una interfaz HBM unificada, elimina la necesidad de replicación de datos y no requiere una distinción de programación entre los espacios de memoria del host y del dispositivo. Además, el paquete de software ROCm de AMD proporciona optimizaciones adicionales que ayudan a combinar todos los segmentos de la APU en un paquete coherente y heterogéneo. Como un pequeño resumen de las APU Instinct MI300A de AMD:

• Primer paquete integrado de CPU+GPU
• Apuntando al mercado de supercomputadoras a exaescala
• AMD MI300A (CPU + GPU integradas)
• 153 mil millones de transistores
• Hasta 24 Zen 4 núcleos
• Arquitectura de GPU CDNA 3
• Hasta 192 GB de memoria HBM3
• Hasta 8 chiplets + 8 pilas de memoria (proceso de 5 nm + 6 nm)

Como resultado, el rendimiento obtiene un gran beneficio. En la evaluación utilizando el punto de referencia de motocicletas HPC de OpenFOAM, la APU AMD Instinct MI300A se probó con las GPU AMD Instinct MI210, NVIDIA A100 de 80 GB y NVIDIA H100 (80 GB). Las GPU AMD se ejecutaban en la pila ROCm 6.0 y las GPU NVIDIA se ejecutaban en la pila CUDA 12.2.2. El punto de referencia se configuró para ejecutarse durante 20 pasos de tiempo y el tiempo promedio de ejecución por paso de tiempo (segundos) se tomó como figura de mérito (FOM). Las tres configuraciones, además del Instinct MI300A, usaban una CPU discreta, por lo que se configuró una CPU con socket con administración de memoria heterogénea para permitir que las GPU direccionen la memoria del sistema y ejecuten el punto de referencia.

Al llegar a las pruebas, los resultados se normalizaron para el sistema NVIDIA H100, que ofrecía el mejor rendimiento de GPU discreta entre los tres chips discretos, pero la APU Instinct MI300A terminó con una ganancia 4 veces mayor que la NVIDIA H100 y una ganancia 5 veces mayor que el acelerador Instinct MI210. .

• En las GPU, más del 65% del tiempo se dedica a migraciones de páginas: actualizar tablas de GPU y copiar datos entre el host y el dispositivo.
• En la APU, la memoria física unificada compartida entre los núcleos de la CPU y las unidades de cómputo de la GPU elimina por completo la sobrecarga de las migraciones de páginas, lo que resulta en un aumento significativo del rendimiento.

También se descubrió que el AMD Instinct MI300A con un paquete de CPU Zen 4 singular era dos veces más rápido que una CPU Zen 4 de un solo socket que se ejecutaba con una solución de GPU discreta. La sobrecarga de la APU MI300A con múltiples procesos mejoró aún más el rendimiento al doble (prueba con 3-6 núcleos de CPU por APU), lo cual es mucho mejor que la falta de escalabilidad en una configuración dGPU+dCPU.

Como resultado, parece que las capacidades informáticas de la APU AMD Instinct MI300A no tendrán comparación en el segmento HPC. NVIDIA ha dado un paso atrás respecto del rendimiento tradicional de HPC en su línea Blackwell de próxima generación, ya que la IA parece ser la principal moda en estos días y, aunque AMD va a abordar eso con sus aceleradores MI300X y sus futuras actualizaciones, parece que el segmento HPC traerá a AMD a lo más destacado.

Fuente de noticias: nicolas malaya

AMD ha anunciado Nscale como el primer proveedor de nube del mundo centrado en la tecnología AMD impulsado por el gigante de la IA, Instinct MI300X.

Las GPU AMD Instinct MI300X encuentran su hogar en Nscale, el primer proveedor de servicios en la nube de IA centrado en AMD del mundo

Presione soltar: Hoy se marca el lanzamiento oficial de Nscale como uno de los primeros proveedores de servicios en la nube centrados en la tecnología AMD del mundo, impulsado por el acelerador de GPU con IA Instinct MI300X. Nscale es una nube de GPU integrada verticalmente surgida de Arkon Energy, un centro de datos y negocio de alojamiento de 300 MW en América del Norte.

Ubicado estratégicamente en el norte de Noruega, el sitio N1 Glomfjord de Nscale se beneficia de una de las energías renovables de menor costo del mundo, lo que convierte al sitio N1 Glomfjord en uno de los centros de capacitación en LLM e IA más rentables del mundo.

Características y beneficios clave de Nscale Cloud:

• Nube vertical de IA: Nscale posee y opera toda la pila de IA, desde sus centros de datos modulares hasta sus clústeres de computación de alto rendimiento, lo que le permite optimizar cada capa de la pila para lograr rendimiento y rentabilidad.
• Construido para la sostenibilidad: ubicado en el norte de Noruega, Nscale funciona con energía 100 % renovable y aprovecha las soluciones de refrigeración natural para ofrecer servicios informáticos de GPU sostenibles.
• La mejor economía de su clase: la integración vertical de Nscale y la energía renovable de bajo costo le permiten ofrecer una de las soluciones informáticas GPU más asequibles del mercado.
• Experiencia de usuario inigualable: Nscale, diseñado específicamente para la IA, agiliza la instalación, configuración y gestión de clústeres de supercomputación basados ​​en la nube para acelerar la I+D de la IA.

Al utilizar el ancho de banda de memoria mejorado y la capacidad de los aceleradores AMD Instinct MI300X, y la amplia experiencia de Nscale trabajando con hardware y el ecosistema abierto probado AMD ROCm, Nscale puede ofrecer a los clientes un precio, rendimiento y eficiencia impresionantes para las cargas de trabajo LLM y GenAI más exigentes.

El servicio Nscale está preparado para atraer a una amplia gama de usuarios, desde nuevas empresas hasta grandes empresas, que buscan aprovechar la inteligencia artificial avanzada, el aprendizaje profundo y el análisis de big data, pero se han visto obstaculizados por los altos costos y las preocupaciones ambientales asociadas con la nube de GPU tradicional. servicios.

Nscale no es sólo un proveedor de servicios sino un socio de innovación. Con sus soluciones GPU sólidas y asequibles, su objetivo es acelerar el desarrollo de tecnologías e investigaciones innovadoras que pueden conducir a avances significativos en diversos campos.

AMD parece estar preparando una actualización de 4 nm de sus aceleradores de IA MI300, conocidos como MI350, que está prevista para finales de este año.

El acelerador AMD MI350 AI contará con una arquitectura actualizada de 4 nm y se lanzará más adelante este año

La línea actual MI300 de AMD consta de los aceleradores MI300X optimizados para IA y MI300A optimizados para computación, pero parece que la compañía está planeando expandir su cartera. Recientemente vimos la aparición del MI388X, que podría ser una variante compatible con las exportaciones para China, pero AMD declaró que se le impidió realizar envíos. El MI388X probablemente sería otra oferta de CDNA 3 que utilizaría una tecnología de proceso de 5 nm y 6 nm, pero parece que AMD tiene planeada una actualización adecuada para su familia Instinct para finales de este año.

Según un informe de TrendForce, parece que AMD podría estar lanzando una nueva pieza conocida como Instinct MI350 que utilizará una arquitectura CDNA 3 actualizada utilizando el nodo de proceso de 4 nm de TSMC. Si bien los detalles sobre el Instinct MI350 son escasos, recientemente la propia AMD se burló de que ofrecerán capacidades HBM3E más altas en futuras actualizaciones de la serie Instinct MI300. Por lo tanto, mayores capacidades de HBM junto con una arquitectura optimizada en el nodo de 4 nm pueden generar ganancias decentes.

Además, TrendForce señala que la extensión de los controles de exportación ahora incluye no solo los chips AI previamente restringidos de NVIDIA y AMD, como las series NVIDIA A100/H100, AMD MI250/300, NVIDIA A800, H800, L40, L40S y RTX4090, pero también sus sucesores de próxima generación, como las series H200, B100, B200, GB200 y MI350 de AMD. En respuesta, los fabricantes de HPC han desarrollado rápidamente productos que cumplen con los nuevos estándares TPP y PD, como el H20/L20/L2 ajustado de NVIDIA, que siguen siendo elegibles para la exportación.

fuerza de tendencia

Videocardz también pudo detectar una lista de AMD Singapur que confirma la línea de aceleradores Instinct MI350. El producto ya ha sido enviado para preparación y optimización del silicio.

Cabe recordar que AMD competirá contra NVIDIA e Intel en el espacio de la IA. Las GPU Blackwell B100 están en producción y B100/B200 se lanzarán a los clientes pronto. Mientras tanto, Intel también anunció sus aceleradores Gaudi 3 que ofrecen computación de IA hasta un 50% más rápida en comparación con las GPU NVIDIA H100. Entonces el espacio se está calentando. En los puntos de referencia recientes de MLPerf, NVIDIA e Intel fueron los únicos que presentaron sus puntos de referencia de rendimiento de IA, mientras que AMD perdió el centro de atención al no enviar ningún número.

TrendForce también ha compartido la lista completa de productos afectados por la última versión de los controles de exportación de Estados Unidos contra China. Estos incluyen varias GPU actuales y futuras, incluidas las series Instinct MI388X y MI350 de AMD.

Productos controlados de exportación de EE. UU. (Restringidos para China / A partir del 29 de marzo):

Proveedor	Producto	Proceso tecnológico	Fecha de lanzamiento
Nvidia	GB200	4 nm (TSMC)	2S 2024
Nvidia	B200	4 nm (TSMC)	2S 2024
Nvidia	B100	4 nm (TSMC)	2S 2024
Nvidia	H200	4 nm (TSMC)	11/2023
Nvidia	H100	4 nm (TSMC)	03/2022
Nvidia	H800	4 nm (TSMC)	03/2022
Nvidia	L40/L40S	5 nm (TSMC)	10/2022
Nvidia	RTX 4090	5 nm (TSMC)	10/2022
Nvidia	A100	7 nm (TSMC)	05/2020
Nvidia	A800	7 nm (TSMC)	05/2020
AMD	MI250	6 nm (TSMC)	11/2021
AMD	MI250X	6 nm (TSMC)	11/2021
AMD	MI300/MI309	5 nm (TSMC)	11/2021
AMD	MI300X/MI388X	5 nm/6 nm (TSMC)	12/2023
AMD	MI350	4 nm (TSMC)	2S 2024

AMD también ha confirmado su acelerador de IA MI400 de próxima generación, que debería lanzarse en 2025 y presentar una arquitectura más capaz y adaptada a la era de la IA. AMD también está trabajando en su paquete de software ROCm y ha hecho que ciertos bloques sean de código abierto para ajustar su rendimiento para cargas de trabajo de IA.

Aceleradores AMD Radeon Instinct

Nombre del acelerador	AMD Instinto MI400	AMD Instinto MI350X	AMD Instinto MI300X	AMD Instinto MI300A	AMD Instinto MI250X	AMD Instinto MI250	AMD Instinto MI210	AMD Instinto MI100	AMD Radeon Instinto MI60	AMD Radeon Instinto MI50	AMD Radeon Instinto MI25	AMD Radeon Instinto MI8	AMD Radeon Instinto MI6
Arquitectura de CPU	Zen 5 (APU exaescala)	N / A	N / A	Zen 4 (APU exaescala)	N / A	N / A	N / A	N / A	N / A	N / A	N / A	N / A	N / A
Arquitectura de GPU	ADNC 4	¿CDN 3+?	Aqua Vanjaram (CDNA 3)	Aqua Vanjaram (CDNA 3)	Aldebarán (CDNA 2)	Aldebarán (CDNA 2)	Aldebarán (CDNA 2)	Arcturus (CDNA 1)	Vega 20	Vega 20	Vega 10	Fiyi XT	Polaris 10
Nodo de proceso GPU	4nm	4nm	5nm+6nm	5nm+6nm	6nm	6nm	6nm	FinFET de 7 nm	FinFET de 7 nm	FinFET de 7 nm	FinFET de 14 nm	28nm	FinFET de 14 nm
Chiplets de GPU	Por determinar	Por determinar	8 (MCM)	8 (MCM)	2 (MCM) 1 (por troquel)	2 (MCM) 1 (por troquel)	2 (MCM) 1 (por troquel)	1 (monolítico)	1 (monolítico)	1 (monolítico)	1 (monolítico)	1 (monolítico)	1 (monolítico)
Núcleos de GPU	Por determinar	Por determinar	19.456	14.592	14.080	13.312	6656	7680	4096	3840	4096	4096	2304
Velocidad de reloj de la GPU	Por determinar	Por determinar	2100MHz	2100MHz	1700MHz	1700MHz	1700MHz	1500MHz	1800MHz	1725MHz	1500MHz	1000MHz	1237MHz
Computación INT8	Por determinar	Por determinar	2614 TOPS	1961 TOPS	383 TOP	362 TOPS	181 TOPS	92.3 TOPS	N / A	N / A	N / A	N / A	N / A
Computación FP16	Por determinar	Por determinar	1.3 PFLOP	980,6 TFLOP	383 TFLOP	362 TFLOP	181 TFLOP	185 TFLOP	29,5 TFLOP	26,5 TFLOP	24,6 TFLOP	8.2 TFLOP	5.7 TFLOP
Computación FP32	Por determinar	Por determinar	163,4 TFLOP	122,6 TFLOP	95,7 TFLOP	90,5 TFLOP	45,3 TFLOP	23.1 TFLOP	14,7 TFLOP	13.3 TFLOP	12.3 TFLOP	8.2 TFLOP	5.7 TFLOP
Computación FP64	Por determinar	Por determinar	81,7 TFLOP	61,3 TFLOP	47,9 TFLOP	45,3 TFLOP	22,6 TFLOP	11,5 TFLOP	7.4 TFLOP	6.6 TFLOP	768 GFLOP	512 GFLOP	384 GFLOP
VRAM	Por determinar	HBM3e	192GB HBM3	128GB HBM3	128GB HBM2e	128GB HBM2e	64GB HBM2e	32GB HBM2	32GB HBM2	16GB HBM2	16GB HBM2	4GB HBM1	16GB GDDR5
Caché infinito	Por determinar	Por determinar	256 megas	256 megas	N / A	N / A	N / A	N / A	N / A	N / A	N / A	N / A	N / A
Reloj de la memoria	Por determinar	Por determinar	5,2 Gbit/s	5,2 Gbit/s	3,2 Gbps	3,2 Gbps	3,2 Gbps	1200MHz	1000MHz	1000MHz	945MHz	500MHz	1750MHz
Autobús de memoria	Por determinar	Por determinar	8192 bits	8192 bits	8192 bits	8192 bits	4096 bits	autobús de 4096 bits	autobús de 4096 bits	autobús de 4096 bits	autobús de 2048 bits	autobús de 4096 bits	autobús de 256 bits
ancho de banda de memoria	Por determinar	Por determinar	5,3 TB/s	5,3 TB/s	3,2 TB/s	3,2 TB/s	1,6 TB/s	1,23 TB/s	1TB/s	1TB/s	484GB/s	512GB/s	224GB/s
Factor de forma	Por determinar	Por determinar	OAM	Zócalo APU SH5	OAM	OAM	Tarjeta de doble ranura	Ranura doble, longitud completa	Ranura doble, longitud completa	Ranura doble, longitud completa	Ranura doble, longitud completa	Ranura doble, longitud media	Ranura única, longitud completa
Enfriamiento	Por determinar	Por determinar	Enfriamiento pasivo	Enfriamiento pasivo	Enfriamiento pasivo	Enfriamiento pasivo	Enfriamiento pasivo	Enfriamiento pasivo	Enfriamiento pasivo	Enfriamiento pasivo	Enfriamiento pasivo	Enfriamiento pasivo	Enfriamiento pasivo
TDP (máx.)	Por determinar	Por determinar	750W	760W	560W	500W	300W	300W	300W	300W	300W	175W	150W

AMD ha incluido un misterioso acelerador de IA Instinct MI388X en una nueva presentación ante la SEC, lo que muestra que el Equipo Rojo podría tener más planes con esta línea.

Acelerador de IA AMD Prepping Instinct MI388X: ¿Versión HBM3e para GPU CDNA 3?

Tom’s Hardware informa que han detectado la presencia de un nuevo acelerador AMD AI no anunciado en la última presentación 10k de la SEC, que es un informe presentado por una empresa que cotiza en bolsa que revela sus cifras financieras junto con las actividades actuales y futuras de la empresa. Estos documentos suelen revelar el lanzamiento de productos no revelados. En el caso de AMD, la empresa busca volver a crear otro acelerador de IA, siendo potencialmente el más rápido de todos.

AMD ha mencionado explícitamente que los productos en la presentación no se pueden exportar a China debido a las regulaciones estadounidenses, lo que deja al MI388X como una variante «compatible con China» fuera de la ecuación. La presentación también menciona la existencia de las GPU con IA Instinct MI250, MI300X y MI300A de AMD, lo que muestra que, por ahora, su cartera de aceleradores se limita únicamente a estos modelos.

En octubre de 2023, el BIS [U.S. govt. Bureau of Industry and Security] «Emitimos nuevos requisitos para ciertos elementos informáticos avanzados que se aplican a la exportación de productos clasificados ECCN 3A090 o 4A090 a una parte con sede en, o con una matriz última con sede en, cualquiera de los grupos de países D1, D4 o D5, incluida China», afirmó. de AMD lee.

«Estos controles nos impiden enviar nuestros circuitos integrados AMD Instinct MI250, MI300X, MI300A, MI388X y nuestros FPGA Versal VC2802, VE2802 a China.o a clientes fuera de los Estados Unidos cuya matriz última tenga su sede en un país D5 (incluida China), sin licencia.

– Presentación regulatoria de 10k de AMD a través de la SEC

Es la primera vez que vemos emerger el Instinct MI388X; por lo tanto, desconocemos las especificaciones del acelerador, pero si seguimos la jerarquía del esquema de nombres, podríamos esperar que el MI388X encabece la lista. Podría ser el último intento de AMD antes de realizar la transición a la nueva serie MI400 en 2025. AMD ha insinuado aceleradores MI300 actualizados con más capacidades HBM y la posibilidad de utilizar troqueles HBM3e más rápidos.

O podría simplemente ser algo en los planes, y es posible que no veamos su lanzamiento, similar a la GPU Instinct MI309 AI de AMD, diseñada para los mercados chinos pero que no vio la luz debido a las regulaciones estadounidenses.

Lenovo ha expresado un tremendo optimismo sobre el acelerador de IA Instinct MI300X de AMD, afirmando que lograría una adopción masiva.

El presidente de Lenovo cree que con menores tiempos de entrega, AMD podría potencialmente ganar impulso en los mercados

En una entrevista con CRN, el presidente norteamericano de Lenovo, Ryan McCurdy, habló un poco sobre el estado actual de los mercados de IA y el gran papel que desempeñarán las PC con IA en la remodelación del mercado de consumo. Ryan cree que los próximos mercados de PC verán un repunte económico saludable, gracias al ciclo de actualización de Windows 11 y a cómo las capacidades de inteligencia artificial en los sistemas locales han comenzado a atraer el interés de los consumidores. El debut de Lenovo de máquinas específicas de IA en CES 2024 mostró las intenciones de la empresa para seguir adelante. Con esto, la empresa cree que puede superar al mercado, dado que la demanda de los consumidores ha alcanzado nuevos máximos.

Además de los avances en el segmento de PC con IA, Ryan McCurdy también habló un poco sobre los mercados de hardware informático y el papel importante que han desempeñado NVIDIA y AMD para colocarlo en la posición en la que se encuentra actualmente.

Cuando se le preguntó si considera que la última oferta Instinct MI300X de AMD es superior a la contraparte de NVIDIA en términos de popularidad, Ryan reveló que Team Red tiene una ventaja aquí ya que su producto está más disponible y tiene tiempos de entrega significativamente menores.

No comentaré sobre un producto inédito, pero creo que la asociación ilustra el punto más importante, que es que la industria está buscando una amplia gama de opciones. Obviamente, cuando hay algún tipo de plazo de entrega, especialmente de seis meses, nueve meses y 12 meses, hay interés en que esta increíble tecnología esté disponible más ampliamente.

Sin embargo, Lenovo se compromete a ofrecer a sus clientes todas las opciones, ya sea NVIDIA, AMD o Intel, ya que creen que limitarse a un único proveedor significa limitar los mercados. Ryan dice que los consumidores están interesados ​​en todos los productos disponibles en los mercados, ya que existe una «base de usuarios-clientes finales hambrientos», que promueve una amplia gama de soluciones de inteligencia artificial.

Esto ciertamente significa que uno debe anticipar la demanda de hardware de IA en el próximo período, pero esta vez la competencia será más feroz y no unilateral. Los analistas y expertos de la industria han declarado que AMD está enviando grandes cantidades de sus aceleradores de IA Instinct MI300X y se espera que capture el 7% del mercado, lo que, aunque está a kilómetros de distancia de NVIDIA, sigue siendo un comienzo decente.

Fuente de noticias: CRN

La época de la «fiebre del oro» de AMD en los mercados de IA podría finalmente llegar, ya que la industria informa que la empresa enfrenta una demanda masiva de sus aceleradores de IA de vanguardia MI300X.

Empresas tecnológicas gigantes como Microsoft han expresado sus intenciones de emplear los aceleradores de IA AMD Instinct MI300X, abordando el monopolio de NVIDIA

Cuando observamos el curso de los acontecimientos en los mercados de IA, la presencia de AMD no se veía por ningún lado y todos han estado «animando» a NVIDIA desde principios de 2023. Sin embargo, los esfuerzos del Equipo Rojo para captar la atención del mercado finalmente podrían dar resultado. , ya que se informa que la empresa enviará grandes cantidades de aceleradores de IA MI300X, con la expectativa de que por sí sola aseguraría un suministro del 7% de los mercados de IA, estableciendo un hito considerable para la empresa.

Ahora, quizás te preguntes qué ha causado esta repentina inclinación hacia el acelerador insignia Instinct de AMD. Bueno, la respuesta es simple. La cadena de suministro de NVIDIA se ha agotado en mayor medida, ya que la empresa ha estado involucrada en la fabricación y entrega de grandes volúmenes de sus productos de IA.

Esto ha provocado una enorme acumulación de pedidos, lo que ha provocado retrasos para las empresas de tecnología que desean el rendimiento informático más rápido. Si bien la compañía está tratando de abordar esto tanto como sea posible, trabajando con firmas como TSMC y Synopsys que están utilizando la nueva tecnología CuLitho, parece que todavía hay una demanda bastante grande, y uno de los factores más importantes es el costo que con el No se espera que las GPU Blackwell que se anunciaron hoy bajen en absoluto.

Por otro lado, AMD promete una oferta mucho más robusta y una mejor relación precio-rendimiento, razón por la cual el MI300X ha ganado una inmensa popularidad y ha sido la máxima prioridad para los profesionales del sector. Así es como se resume el rendimiento del AMD MI300X en comparación con el H100 de NVIDIA:

• Capacidad de memoria 2,4 veces mayor
• Ancho de banda de memoria 1,6 veces mayor
• 1,3X TFLOPS del FP8
• 1,3X TFLOPS FP16
• Hasta un 20 % más rápido que el H100 (Llama 2 70B) en una comparación 1 contra 1
• Hasta un 20 % más rápido que el H100 (FlashAttention 2) en comparación 1 contra 1
• Hasta un 40% más rápido que H100 (Llama 2 70B) en servidor 8v8
• Hasta un 60 % más rápido que el H100 (Bloom 176B) en un servidor 8v8

Se espera que las empresas de IA de AMD ganen impulso a medida que empresas como Microsoft, Meta y otras estén probando las opciones de IA del Team Red. Se espera que la compañía envíe pronto grandes cantidades del MI300X, lo que podría inclinar la balanza a favor de AMD, dado que brindan con éxito el rendimiento que prometieron. Se avecinan tiempos emocionantes para quienes participan en la carrera de la IA.

Fuente de noticias: MyDrivers

Una encuesta realizada recientemente ha revelado que una gran parte de los profesionales de la inteligencia artificial están buscando cambiar de las GPU NVIDIA a las GPU AMD Instinct MI300X.

El Instinct MI300X de AMD puede ser la puerta de entrada de la empresa a la actual «fiebre del oro» de la IA, ya que atrae un gran interés

Jeff Tatarchuk, que trabaja en onda tensor, encuestó recientemente a 82 ingenieros y profesionales de IA, afirmando que alrededor del 50% de ellos expresaron su confianza en utilizar la GPU AMD Instinct MI300X, considerando que ofrece una mejor relación precio-rendimiento, además de tener una amplia disponibilidad en comparación con sus homólogos como NVIDIA. H100. Aparte de eso, Jeff también dice que TensorWave empleará los aceleradores de IA MI300X, lo cual es otra noticia prometedora para Team Red, considerando que su línea Instinct, en general, no ha visto el nivel de adopción en comparación con otros como NVIDIA.

En una encuesta realizada recientemente entre 82 ingenieros y profesionales de IA, se indicó que el 50% de los encuestados están considerando activamente usar la GPU AMD Instinct MI300X.

Las tres razones principales para considerar el AMD MI300X son disponibilidad, costo y rendimiento, en ese orden.

Nosotros… pic.twitter.com/ZckHBj6b20

—Jeff Tatarchuk (@jtatarchuk) 8 de marzo de 2024

Para un resumen rápido de la GPU MI300X Instinct AI, está diseñada únicamente en la arquitectura CDNA 3 y están sucediendo muchas cosas. Alberga una combinación de IP de 5 nm y 6 nm, que se combinan para ofrecer hasta 153 mil millones de transistores (MI300X). La memoria es otra área donde se ha observado una gran mejora: el MI300X cuenta con un 50 % más de capacidad HBM3 que su predecesor, el MI250X (128 GB). Así es como se compara con el H100 de NVIDIA:

• Capacidad de memoria 2,4 veces mayor
• Ancho de banda de memoria 1,6 veces mayor
• 1,3X TFLOPS del FP8
• 1,3X TFLOPS FP16
• Hasta un 20 % más rápido que el H100 (Llama 2 70B) en una comparación 1 contra 1
• Hasta un 20 % más rápido que el H100 (FlashAttention 2) en comparación 1 contra 1
• Hasta un 40% más rápido que H100 (Llama 2 70B) en servidor 8v8
• Hasta un 60 % más rápido que el H100 (Bloom 176B) en un servidor 8v8

Recientemente informamos cómo el acelerador insignia Instinct AI de AMD ha estado causando «dolores de cabeza» a los competidores del mercado. Esto se debe no sólo a que las ganancias de rendimiento con el MI300X son enormes, sino que AMD ha cronometrado su lanzamiento perfectamente, ya que NVIDIA actualmente está estancada con el «peso» de los pedidos pendientes, lo que ha obstaculizado su crecimiento en la obtención de nuevos clientes. Si bien el Equipo Rojo no tuvo el comienzo que quería, parece que el próximo período podría resultar fructífero para la empresa, potencialmente enfrentando a los competidores del mercado.

Fuente de noticias: Jeff Tatarchuk