Esto no es un consejo de inversión. El autor no tiene posición en ninguna de las acciones mencionadas. Wccftech.com tiene una política de divulgación y ética.

Después de mantener y aprovechar con éxito una estrecha relación con una de las principales empresas de software de inteligencia artificial del mundo, OpenAI, el gigante tecnológico Microsoft ahora apunta al extremo del hardware del pastel informático. En una llamada con analistas ayer, el vicepresidente de computación en la nube e inteligencia artificial de Microsoft, Scott Guthrie, compartió que su empresa presentará los productos de computación acelerada de AMD a los clientes para su plataforma de computación en la nube Azure y anunciará variantes personalizadas de los chips internos Cobalt 100 de Microsoft en un próxima conferencia.

Los comentarios de Guthrie marcan los últimos desarrollos en la industria de semiconductores para computadoras personales y centros de datos diseñados por Arm, donde todos los jugadores de mega tecnología compiten con sus productos de una forma u otra.

Microsoft se prepara para ofrecer productos asequibles de inteligencia artificial de Azure a los clientes a través de los chips de AMD

En la conferencia de analistas, Guthrie promocionó los chips para centros de datos basados ​​en Arm de Microsoft. Microsoft, al igual que Google, Amazon y Meta, matriz de Facebook, ha desarrollado sus procesadores personalizados para manejar cargas de trabajo de centros de datos. Según el ejecutivo de Microsoft, en comparación con otros productos basados ​​en ARM en el mercado, el chip de Microsoft puede ofrecer un aumento de rendimiento de hasta un 40%.

Después del I/O de Google de esta semana, la conferencia Build de Microsoft le permitirá mostrar los últimos productos y tecnologías en su plato para la inteligencia artificial. Los anuncios incluirán los procesadores Cobalt, y se espera que Microsoft destaque variantes personalizadas e inéditas de los chips de 128 núcleos.

Además, Guthrie agregó que AMD también sería parte de la conferencia Microsoft Build. A diferencia de NVIDIA, que enfrenta limitaciones a la hora de diseñar procesadores, AMD puede vender CPU y GPU. Esto le permite ofrecer una cartera de productos diversificada en el mercado de la inteligencia artificial, y el producto estrella de la empresa en este frente es el acelerador MI300X.

La MI300X es una tarjeta gráfica con los típicos núcleos de sombreado y otras características específicas del diseño de una GPU. Compite con las últimas GPU de IA de NVIDIA, concretamente los productos H100, y Microsoft utilizará las GPU de AMD para potenciar los clústeres de los clientes de Azure.

Junto con Cobalt, Microsoft también hizo otro llamativo anuncio de chips en noviembre de 2023. Su otro conjunto de chips personalizados son los procesadores Maia. Estos están diseñados para satisfacer específicamente las necesidades de las cargas de trabajo de IA y ofrecen una potencia informática bastante considerable a través de 105 mil millones de transistores.

Si bien AMD no vende procesadores de IA exclusivos, ofrece soporte con sus procesadores Ryzen. El software Ryzen AI de AMD aumenta las CPU y permite a los desarrolladores ejecutar aprendizaje automático y otros modelos informáticos en los chips. Un acelerador Alveo V80 lanzado recientemente busca reforzar la cartera de computación de IA de AMD.

Junto con AWS de Amazon y Cloud de Google, la plataforma de computación en la nube Azure de Microsoft es una de las más grandes del mundo. Ofrece a las empresas una variedad de herramientas para satisfacer sus necesidades informáticas y de análisis de datos, y esta demanda ha estado en el centro de la prisa de Wall Street por comprar acciones de inteligencia artificial.

Las próximas ganancias de NVIDIA para su primer trimestre proporcionarán una actualización sobre el estado actual del mercado de la IA. Sus GPU son los chips de IA más buscados en la industria, y han visto a fabricantes como TSMC luchar por mantenerse al día con la demanda.

AMD ha anunciado Nscale como el primer proveedor de nube del mundo centrado en la tecnología AMD impulsado por el gigante de la IA, Instinct MI300X.

Las GPU AMD Instinct MI300X encuentran su hogar en Nscale, el primer proveedor de servicios en la nube de IA centrado en AMD del mundo

Presione soltar: Hoy se marca el lanzamiento oficial de Nscale como uno de los primeros proveedores de servicios en la nube centrados en la tecnología AMD del mundo, impulsado por el acelerador de GPU con IA Instinct MI300X. Nscale es una nube de GPU integrada verticalmente surgida de Arkon Energy, un centro de datos y negocio de alojamiento de 300 MW en América del Norte.

Ubicado estratégicamente en el norte de Noruega, el sitio N1 Glomfjord de Nscale se beneficia de una de las energías renovables de menor costo del mundo, lo que convierte al sitio N1 Glomfjord en uno de los centros de capacitación en LLM e IA más rentables del mundo.

Características y beneficios clave de Nscale Cloud:

• Nube vertical de IA: Nscale posee y opera toda la pila de IA, desde sus centros de datos modulares hasta sus clústeres de computación de alto rendimiento, lo que le permite optimizar cada capa de la pila para lograr rendimiento y rentabilidad.
• Construido para la sostenibilidad: ubicado en el norte de Noruega, Nscale funciona con energía 100 % renovable y aprovecha las soluciones de refrigeración natural para ofrecer servicios informáticos de GPU sostenibles.
• La mejor economía de su clase: la integración vertical de Nscale y la energía renovable de bajo costo le permiten ofrecer una de las soluciones informáticas GPU más asequibles del mercado.
• Experiencia de usuario inigualable: Nscale, diseñado específicamente para la IA, agiliza la instalación, configuración y gestión de clústeres de supercomputación basados ​​en la nube para acelerar la I+D de la IA.

Al utilizar el ancho de banda de memoria mejorado y la capacidad de los aceleradores AMD Instinct MI300X, y la amplia experiencia de Nscale trabajando con hardware y el ecosistema abierto probado AMD ROCm, Nscale puede ofrecer a los clientes un precio, rendimiento y eficiencia impresionantes para las cargas de trabajo LLM y GenAI más exigentes.

El servicio Nscale está preparado para atraer a una amplia gama de usuarios, desde nuevas empresas hasta grandes empresas, que buscan aprovechar la inteligencia artificial avanzada, el aprendizaje profundo y el análisis de big data, pero se han visto obstaculizados por los altos costos y las preocupaciones ambientales asociadas con la nube de GPU tradicional. servicios.

Nscale no es sólo un proveedor de servicios sino un socio de innovación. Con sus soluciones GPU sólidas y asequibles, su objetivo es acelerar el desarrollo de tecnologías e investigaciones innovadoras que pueden conducir a avances significativos en diversos campos.

La startup de IA TensorWave cree que el acelerador Instinct MI300X de AMD es una opción mucho mejor que competidores como el H100 de NVIDIA.

La disponibilidad del acelerador Instinct MI300X de AMD, junto con la mejor relación precio-rendimiento, lo coloca por delante de NVIDIA, según el CEO de AI Startup

AMD ha ganado una gran popularidad en sólo seis meses, y la empresa ha recibido pedidos masivos de la industria para su acelerador insignia Instinct. Si bien el Instinct MI300X existe desde hace un tiempo en los mercados, el factor que lo ha convertido en una opción más atractiva es cómo AMD ha garantizado una disponibilidad más constante del acelerador, sin mencionar las «oleadas» de actualizaciones que hemos presenciado dentro de AMD. ecosistema de software, que ha llevado el rendimiento a un nivel completamente nuevo.

El CEO de TensorWave, Jeff Tatarchuk, ve el acelerador Instinct MI300X de AMD como una opción muy superior a los H100 de NVIDIA. Dice que están «disponibles para comprar», a diferencia de NVIDIA, que todavía sufre retrasos en los pedidos de sus GPU con IA.

TensorWave está trabajando para proporcionar su amplio arsenal del acelerador de IA MI300X de AMD de 20.000 unidades para arrendamiento a una fracción del costo del precio del SKU original. Además, la empresa planea acelerar rápidamente la adopción de AMD en los mercados a través de anuncios generalizados y garantizar a sus consumidores que AMD es la opción más viable en los tiempos modernos.

Aparte del interés de TensorWave, recientemente informamos sobre cómo el MI300X está causando dolores de cabeza a los competidores. Si bien el acelerador no ha recibido el nivel de atención que NVIDIA logró con su línea Hopper, ciertamente creemos que el futuro es brillante para AMD.

NVIDIA hizo un gran trabajo al establecer una imagen en el mercado. Aún así, en el departamento de rendimiento, según una investigación generalizada, MI300X domina en varios aspectos, ya sea en capacidades de memoria o potencia de cálculo, lo que muestra que AMD podría estar en una posición competitiva en el futuro, dado que logran hacer crecer el ecosistema como un entero.

Con el debut de Blackwell de NVIDIA, la industria se está poniendo del lado de la firma en estos momentos. Aún así, si los aceleradores de próxima generación de AMD, los MI400, logran superar a Blackwell en todos los departamentos, AMD bien podría estar en una carrera alcista en el mercado de la IA en los próximos años.

Fuente de noticias: El Registro

Lenovo ha expresado un tremendo optimismo sobre el acelerador de IA Instinct MI300X de AMD, afirmando que lograría una adopción masiva.

El presidente de Lenovo cree que con menores tiempos de entrega, AMD podría potencialmente ganar impulso en los mercados

En una entrevista con CRN, el presidente norteamericano de Lenovo, Ryan McCurdy, habló un poco sobre el estado actual de los mercados de IA y el gran papel que desempeñarán las PC con IA en la remodelación del mercado de consumo. Ryan cree que los próximos mercados de PC verán un repunte económico saludable, gracias al ciclo de actualización de Windows 11 y a cómo las capacidades de inteligencia artificial en los sistemas locales han comenzado a atraer el interés de los consumidores. El debut de Lenovo de máquinas específicas de IA en CES 2024 mostró las intenciones de la empresa para seguir adelante. Con esto, la empresa cree que puede superar al mercado, dado que la demanda de los consumidores ha alcanzado nuevos máximos.

Además de los avances en el segmento de PC con IA, Ryan McCurdy también habló un poco sobre los mercados de hardware informático y el papel importante que han desempeñado NVIDIA y AMD para colocarlo en la posición en la que se encuentra actualmente.

Cuando se le preguntó si considera que la última oferta Instinct MI300X de AMD es superior a la contraparte de NVIDIA en términos de popularidad, Ryan reveló que Team Red tiene una ventaja aquí ya que su producto está más disponible y tiene tiempos de entrega significativamente menores.

No comentaré sobre un producto inédito, pero creo que la asociación ilustra el punto más importante, que es que la industria está buscando una amplia gama de opciones. Obviamente, cuando hay algún tipo de plazo de entrega, especialmente de seis meses, nueve meses y 12 meses, hay interés en que esta increíble tecnología esté disponible más ampliamente.

Sin embargo, Lenovo se compromete a ofrecer a sus clientes todas las opciones, ya sea NVIDIA, AMD o Intel, ya que creen que limitarse a un único proveedor significa limitar los mercados. Ryan dice que los consumidores están interesados ​​en todos los productos disponibles en los mercados, ya que existe una «base de usuarios-clientes finales hambrientos», que promueve una amplia gama de soluciones de inteligencia artificial.

Esto ciertamente significa que uno debe anticipar la demanda de hardware de IA en el próximo período, pero esta vez la competencia será más feroz y no unilateral. Los analistas y expertos de la industria han declarado que AMD está enviando grandes cantidades de sus aceleradores de IA Instinct MI300X y se espera que capture el 7% del mercado, lo que, aunque está a kilómetros de distancia de NVIDIA, sigue siendo un comienzo decente.

Fuente de noticias: CRN

La época de la «fiebre del oro» de AMD en los mercados de IA podría finalmente llegar, ya que la industria informa que la empresa enfrenta una demanda masiva de sus aceleradores de IA de vanguardia MI300X.

Empresas tecnológicas gigantes como Microsoft han expresado sus intenciones de emplear los aceleradores de IA AMD Instinct MI300X, abordando el monopolio de NVIDIA

Cuando observamos el curso de los acontecimientos en los mercados de IA, la presencia de AMD no se veía por ningún lado y todos han estado «animando» a NVIDIA desde principios de 2023. Sin embargo, los esfuerzos del Equipo Rojo para captar la atención del mercado finalmente podrían dar resultado. , ya que se informa que la empresa enviará grandes cantidades de aceleradores de IA MI300X, con la expectativa de que por sí sola aseguraría un suministro del 7% de los mercados de IA, estableciendo un hito considerable para la empresa.

Ahora, quizás te preguntes qué ha causado esta repentina inclinación hacia el acelerador insignia Instinct de AMD. Bueno, la respuesta es simple. La cadena de suministro de NVIDIA se ha agotado en mayor medida, ya que la empresa ha estado involucrada en la fabricación y entrega de grandes volúmenes de sus productos de IA.

Esto ha provocado una enorme acumulación de pedidos, lo que ha provocado retrasos para las empresas de tecnología que desean el rendimiento informático más rápido. Si bien la compañía está tratando de abordar esto tanto como sea posible, trabajando con firmas como TSMC y Synopsys que están utilizando la nueva tecnología CuLitho, parece que todavía hay una demanda bastante grande, y uno de los factores más importantes es el costo que con el No se espera que las GPU Blackwell que se anunciaron hoy bajen en absoluto.

Por otro lado, AMD promete una oferta mucho más robusta y una mejor relación precio-rendimiento, razón por la cual el MI300X ha ganado una inmensa popularidad y ha sido la máxima prioridad para los profesionales del sector. Así es como se resume el rendimiento del AMD MI300X en comparación con el H100 de NVIDIA:

• Capacidad de memoria 2,4 veces mayor
• Ancho de banda de memoria 1,6 veces mayor
• 1,3X TFLOPS del FP8
• 1,3X TFLOPS FP16
• Hasta un 20 % más rápido que el H100 (Llama 2 70B) en una comparación 1 contra 1
• Hasta un 20 % más rápido que el H100 (FlashAttention 2) en comparación 1 contra 1
• Hasta un 40% más rápido que H100 (Llama 2 70B) en servidor 8v8
• Hasta un 60 % más rápido que el H100 (Bloom 176B) en un servidor 8v8

Se espera que las empresas de IA de AMD ganen impulso a medida que empresas como Microsoft, Meta y otras estén probando las opciones de IA del Team Red. Se espera que la compañía envíe pronto grandes cantidades del MI300X, lo que podría inclinar la balanza a favor de AMD, dado que brindan con éxito el rendimiento que prometieron. Se avecinan tiempos emocionantes para quienes participan en la carrera de la IA.

Fuente de noticias: MyDrivers

Una encuesta realizada recientemente ha revelado que una gran parte de los profesionales de la inteligencia artificial están buscando cambiar de las GPU NVIDIA a las GPU AMD Instinct MI300X.

El Instinct MI300X de AMD puede ser la puerta de entrada de la empresa a la actual «fiebre del oro» de la IA, ya que atrae un gran interés

Jeff Tatarchuk, que trabaja en onda tensor, encuestó recientemente a 82 ingenieros y profesionales de IA, afirmando que alrededor del 50% de ellos expresaron su confianza en utilizar la GPU AMD Instinct MI300X, considerando que ofrece una mejor relación precio-rendimiento, además de tener una amplia disponibilidad en comparación con sus homólogos como NVIDIA. H100. Aparte de eso, Jeff también dice que TensorWave empleará los aceleradores de IA MI300X, lo cual es otra noticia prometedora para Team Red, considerando que su línea Instinct, en general, no ha visto el nivel de adopción en comparación con otros como NVIDIA.

En una encuesta realizada recientemente entre 82 ingenieros y profesionales de IA, se indicó que el 50% de los encuestados están considerando activamente usar la GPU AMD Instinct MI300X.

Las tres razones principales para considerar el AMD MI300X son disponibilidad, costo y rendimiento, en ese orden.

Nosotros… pic.twitter.com/ZckHBj6b20

—Jeff Tatarchuk (@jtatarchuk) 8 de marzo de 2024

Para un resumen rápido de la GPU MI300X Instinct AI, está diseñada únicamente en la arquitectura CDNA 3 y están sucediendo muchas cosas. Alberga una combinación de IP de 5 nm y 6 nm, que se combinan para ofrecer hasta 153 mil millones de transistores (MI300X). La memoria es otra área donde se ha observado una gran mejora: el MI300X cuenta con un 50 % más de capacidad HBM3 que su predecesor, el MI250X (128 GB). Así es como se compara con el H100 de NVIDIA:

• Capacidad de memoria 2,4 veces mayor
• Ancho de banda de memoria 1,6 veces mayor
• 1,3X TFLOPS del FP8
• 1,3X TFLOPS FP16
• Hasta un 20 % más rápido que el H100 (Llama 2 70B) en una comparación 1 contra 1
• Hasta un 20 % más rápido que el H100 (FlashAttention 2) en comparación 1 contra 1
• Hasta un 40% más rápido que H100 (Llama 2 70B) en servidor 8v8
• Hasta un 60 % más rápido que el H100 (Bloom 176B) en un servidor 8v8

Recientemente informamos cómo el acelerador insignia Instinct AI de AMD ha estado causando «dolores de cabeza» a los competidores del mercado. Esto se debe no sólo a que las ganancias de rendimiento con el MI300X son enormes, sino que AMD ha cronometrado su lanzamiento perfectamente, ya que NVIDIA actualmente está estancada con el «peso» de los pedidos pendientes, lo que ha obstaculizado su crecimiento en la obtención de nuevos clientes. Si bien el Equipo Rojo no tuvo el comienzo que quería, parece que el próximo período podría resultar fructífero para la empresa, potencialmente enfrentando a los competidores del mercado.

Fuente de noticias: Jeff Tatarchuk

Los aceleradores Instinct MI300X lanzados recientemente por AMD han arrasado en el mercado de la IA, ya que están causando «dolores de cabeza» a los competidores debido a su atractivo en la industria.

La GPU con IA Instinct MI300X de AMD elimina a la contraparte de NVIDIA en rendimiento y potencialmente también en adopción en el mercado

La GPU con IA Instinct MI300X de AMD se lanzó hace casi un mes y, en términos de ganancia de rendimiento, destruyó a sus competidores en una extensa evaluación comparativa realizada por el propio Team Red. El acelerador Instinct MI300X ha sido diseñado únicamente en la arquitectura CDNA 3 y están sucediendo muchas cosas. Albergará una combinación de IP de 5 nm y 6 nm, todas combinadas para ofrecer hasta 153 mil millones de transistores (MI300X). La memoria es otra área donde se ha observado una gran mejora: el MI300X cuenta con un 50 % más de capacidad HBM3 que su predecesor, el MI250X (128 GB). Así es como se compara con el H100 de NVIDIA:

• Capacidad de memoria 2,4 veces mayor
• Ancho de banda de memoria 1,6 veces mayor
• 1,3X TFLOPS del FP8
• 1,3X TFLOPS FP16
• Hasta un 20 % más rápido que el H100 (Llama 2 70B) en una comparación 1 contra 1
• Hasta un 20 % más rápido que el H100 (FlashAttention 2) en comparación 1 contra 1
• Hasta un 40% más rápido que H100 (Llama 2 70B) en servidor 8v8
• Hasta un 60 % más rápido que el H100 (Bloom 176B) en un servidor 8v8

> rocm-smi

como pan recién horneado, 8x MI300X está en línea

Si está desarrollando LLM abiertos y está bloqueado en computación, lmk. Todos deberían tener acceso a esta tecnología mágica llamada LLM.

es decir, el siguiente lote de @LaminiAI Los módulos de LLM están aquí. pic.twitter.com/NjRAYjxehp

—Sharon Zhou (@realSharonZhou) 19 de enero de 2024

Taiwan Economic Daily informa que la GPU de IA Instinct MI300X de AMD se ha enviado a los clientes, junto con LaminiAI, una startup de IA respaldada por el soporte de AMD. verificando la integracion del nuevo acelerador en su cartera.

Fuentes dentro de la cadena de suministro citan que la nueva GPU Instinct de AMD ha logrado ganar protagonismo en los mercados, arrebatando el interés captado por los competidores. Esto se debe a que no sólo las ganancias de rendimiento con el MI300X son enormes, sino que AMD ha cronometrado su lanzamiento perfectamente, ya que NVIDIA actualmente está estancada con el «peso» de los pedidos pendientes, lo que ha obstaculizado su crecimiento a la hora de ganar nuevos clientes.

Se espera que los mercados de IA crezcan rápidamente en los próximos años, y la directora ejecutiva de AMD, Lisa Su, los categoriza como la próxima gran novedad en la industria tecnológica. AMD cree que el segmento de IA tiene el potencial de crecer hasta la friolera de 400 mil millones de dólares para 2027 y, de hecho, la empresa se ha posicionado para capitalizar este enorme crecimiento. De manera similar, el director ejecutivo de NVIDIA, Jensen Huang, calificó 2023 como el «primer año de la IA», afirmando que todavía tenemos mucho que ver en el futuro, ya que la informática de IA se está expandiendo a nuevos dominios, como la industria móvil y la automotriz.

El futuro es realmente interesante, no sólo para las empresas involucradas en la carrera de la IA, sino también con el crecimiento de los mercados de clientes y consumidores. Sin embargo, parece que con el tiempo la competencia será más estricta que nunca y 2024 no le dará a NVIDIA el «pase fácil» a la mina de oro de la IA, ya que esta vez el Equipo Rojo ha vuelto más fuerte.

Fuente de noticias: Diario Económico de Taiwán

AMD ha respondido a las cifras del H100 TensorRT-LLM de NVIDIA con el MI300X una vez más liderando las pruebas de IA cuando se ejecuta software optimizado.

AMD y NVIDIA están inmersos en una feroz batalla en la que ambos fabricantes de GPU afirman que la IA es superior entre sí utilizando pilas de software optimizadas para los chips H100 y MI300X.

Hace dos días, NVIDIA publicó nuevos puntos de referencia de sus GPU Hopper H100 para mostrar que sus chips funcionan mucho mejor que lo mostrado por AMD durante su evento «Advancing AI». El equipo rojo comparó su nueva GPU Instinct MI300X con el chip Hopper H100, que ya tiene más de un año pero sigue siendo la opción más popular en la industria de la IA. Los puntos de referencia utilizados por AMD no utilizaban bibliotecas optimizadas como TensorRT-LLM, que proporciona un gran impulso a los chips de IA de NVIDIA.

El uso de TensorRT-LLM dio como resultado que la GPU Hopper H100 obtuviera un aumento de rendimiento de casi un 50% sobre la GPU Instinct MI300X de AMD. Ahora, AMD está disparando con todos los cilindros a NVIDIA al mostrar cómo el MI300X aún conserva un rendimiento más rápido que el H100 incluso cuando el Hopper H100 está ejecutando su pila de software optimizada. Según AMD, los números publicados por NVIDIA:

1. Usé TensorRT-LLM en H100 en lugar de vLLM usado en los puntos de referencia de AMD
2. Rendimiento comparado del tipo de datos FP16 en GPU AMD Instinct MI300X con el tipo de datos FP8 en H100
3. Se invirtieron los datos de rendimiento publicados por AMD de números de latencia relativa a rendimiento absoluto.

Entonces AMD decidió hacer una comparación más justa y con las últimas cifras, vemos que el Instinct MI300X ejecutándose en vLLM ofrece un rendimiento un 30% más rápido que el Hopper H100 ejecutándose en TensorRT-LLM.

1. MI300X a H100 usando vLLM para ambos.
   1. En nuestro evento de lanzamiento a principios de diciembre, destacamos una ventaja de rendimiento de 1,4 veces para MI300X frente a H100 utilizando un tipo de datos y una configuración de biblioteca equivalentes. Con las últimas optimizaciones que hemos realizado, esta ventaja de rendimiento ha aumentado a 2,1 veces.
   2. Seleccionamos vLLM en función de la amplia adopción por parte de la comunidad de usuarios y desarrolladores y es compatible con GPU AMD y Nvidia.
2. MI300X usando vLLM vs H100 usando TensorRT-LLM optimizado de Nvidia
   1. Incluso cuando usamos TensorRT-LLM para H100 como lo describió nuestro competidor, y vLLM para MI300X, aún mostramos una mejora de 1,3 veces en la latencia.
3. Resultados de latencia medidos para el conjunto de datos MI300X FP16 frente a H100 utilizando el conjunto de datos TensorRT-LLM y FP8.
   1. MI300X continúa demostrando una ventaja de rendimiento al medir la latencia absoluta, incluso cuando se utilizan FP8 y TensorRT-LLM de menor precisión para H100 frente a vLLM y el tipo de datos FP16 de mayor precisión para MI300X.
   2. Usamos el tipo de datos FP16 debido a su popularidad y, hoy en día, vLLM no es compatible con FP8.

Estos resultados muestran nuevamente que MI300X usando FP16 es comparable a H100 con sus mejores configuraciones de rendimiento recomendadas por Nvidia incluso cuando se usa FP8 y TensorRT-LLM.

a través de AMD

Seguramente, estos números de ida y vuelta son algo inesperado, pero dada la importancia que se ha vuelto la IA para empresas como AMD, NVIDIA e Intel, podemos esperar ver más ejemplos de este tipo compartidos en el futuro. Incluso Intel ha declarado recientemente que toda la industria está motivada para poner fin al dominio CUDA de NVIDIA en la industria. El hecho en este momento es que NVIDIA tiene años de experiencia en software en el segmento de IA y, si bien Instinct MI300X ofrece algunas especificaciones bestiales, pronto competirá con una solución Hopper aún más rápida en forma de H200 y las próximas GPU Blackwell B100 en 2024.

Intel también está listo para lanzar sus aceleradores Gaudí 3 en 2024, lo que calentaría aún más el espacio de la IA, pero en cierto modo, esta competencia generaría una industria de la IA vibrante y más animada donde cada proveedor continúa innovando y sobresaliendo sobre el otro, ofreciendo a los clientes mejores capacidades y un rendimiento aún más rápido. NVIDIA, a pesar de no tener competencia durante años, ha seguido innovando en este segmento, y con AMD e Intel aumentando su producción y software de IA, podemos esperar que respondan con su propio hardware/software aún mejor.

NVIDIA ha lanzado un nuevo conjunto de puntos de referencia para su GPU H100 AI y la comparó con la MI300X recientemente presentada por AMD. El propósito de estos últimos puntos de referencia es mostrar cómo el H100 ofrece un rendimiento más rápido que la competencia utilizando el software adecuado, lo que no fue el caso durante la reciente presentación de su competidor.

NVIDIA pone a AMD en el asiento trasero: la GPU Hopper H100 de un año de antigüedad ofrece un rendimiento un 47 % más rápido que AMD MI300X en condiciones de evaluación comparativas adecuadas

Durante la presentación «Advancing AI», AMD lanzó su GPU Instinct MI300X, que pretende ser el comienzo de su viaje en IA en el segmento de centros de datos. La presentación incluyó varios números y puntos de referencia en los que la compañía comparó el MI300X con la GPU H100 de NVIDIA. AMD afirma que el MI300X ofrece un rendimiento hasta un 20% más rápido que el H100 cuando se compara con una sola GPU y hasta un 60% más rápido que el H100 cuando se compara un servidor de 8 GPU. NVIDIA no tarda en responder a estas pruebas y ha destacado que los resultados están lejos de la verdad.

La GPU NVIDIA H100 se lanzó en 2022 y ha experimentado varias mejoras en el lado del software. Las mejoras más recientes de TensorRT-LLM han impulsado un rendimiento aún mayor en cargas de trabajo específicas de IA junto con optimizaciones a nivel de kernel. NVIDIA afirma que todo esto permite que las GPU H100 AI ejecuten modelos como Llama 2 70B utilizando operaciones FP8. A continuación se muestran las cifras de rendimiento de la GPU con IA en Llama 2 70B presentadas por AMD durante el evento:

• MI300X hasta un 40% más rápido que H100 (Llama 2 70B) en servidor 8v8
• MI300X hasta un 20 % más rápido que H100 (Llama 2 70B) en una comparación 1 contra 1

AMD ejecutó los números utilizando sus bibliotecas optimizadas dentro de la suite ROCm 6.0 al comparar el Instinct MI300X con el Hopper H100. Sin embargo, no ocurrió lo mismo con la GPU NVIDIA H100, que no se probó con software optimizado como TensorRT-LLM. En los puntos de referencia publicados por NVIDIA, la compañía muestra el rendimiento real medido de un único servidor DGX H100 con hasta 8 GPU H100 ejecutando el modelo Llama 2 70B en el Lote 1.

Notas a pie de página:

Las afirmaciones implícitas de AMD para H100 se miden según la configuración tomada de la nota al pie de página de la presentación de lanzamiento de AMD #MI300-38. Utilizando el software de inferencia vLLM v.02.2.2 con el sistema NVIDIA DGX H100, Llama 2 70B realiza una consulta con una longitud de secuencia de entrada de 2048 y una longitud de secuencia de salida de 128. Afirmaron un rendimiento relativo en comparación con DGX H100 con un sistema 8x GPU MI300X.

Para los datos medidos de NVIDIA, DGX H100 con 8 GPU NVIDIA H100 Tensor Core con 80 GB HBM3 con NVIDIA TensorRT-LLM disponible públicamente, v0.5.0 para el lote 1 y v0.6.1 para mediciones de umbral de latencia. Los detalles de la carga de trabajo son los mismos que en la nota al pie #MI300-38.

Los resultados muestran que, en comparación con lo que AMD mostró durante su evento, el servidor DGX H100 es 2 veces más rápido cuando utiliza flujos de trabajo de software optimizados. El servidor también es un 47% más rápido que la solución AMD MI300X de 8 GPU.

DGX H100 puede procesar una única inferencia en 1,7 segundos utilizando un tamaño de lote de uno; en otras palabras, una solicitud de inferencia a la vez. Un tamaño de lote de uno da como resultado el tiempo de respuesta más rápido posible para entregar un modelo. Para optimizar tanto el tiempo de respuesta como el rendimiento del centro de datos, los servicios en la nube establecen un tiempo de respuesta fijo para un servicio en particular. Esto les permite combinar múltiples solicitudes de inferencia en «lotes» más grandes y aumentar las inferencias generales por segundo del servidor. Los puntos de referencia estándar de la industria como MLPerf también miden el rendimiento con esta métrica de tiempo de respuesta fijo.

Pequeñas compensaciones en el tiempo de respuesta pueden generar factores x en la cantidad de solicitudes de inferencia que un servidor puede procesar en tiempo real. Utilizando un tiempo de respuesta fijo de 2,5 segundos, un servidor DGX H100 de 8 GPU puede procesar más de cinco inferencias Llama 2 70B por segundo, en comparación con menos de una por segundo con el lote uno.

a través de NVIDIA

El uso que hace NVIDIA de estos nuevos puntos de referencia es correcto en el sentido de que AMD también utilizó software optimizado para evaluar el rendimiento de sus GPU, así que ¿por qué no hacer lo mismo al probar el hardware de NVIDIA? La pila de software de NVIDIA en torno al ecosistema CUDA y ahora al mercado emergente de IA es sólida y requiere años de esfuerzo y desarrollo, mientras que ROCm 6.0 de AMD es nuevo y aún no se ha probado en un escenario de la vida real. Dicho esto, AMD ha cerrado una gran cantidad de acuerdos con empresas importantes como Microsoft, META y otras que ven sus GPU MI300X como una alternativa a las soluciones de IA de NVIDIA.

Se espera que Instinct MI300X y MI300A aumenten para el primer semestre de 2024, que es aproximadamente al mismo tiempo que NVIDIA presentará una GPU Hopper H200 aún más rápida, seguida de Blackwell B100 en el segundo semestre de 2024. Por lo tanto, parece que se espera que la competencia en el espacio de la IA aumente. aún más acalorado.