AMD responde a los resultados de H100 TensorRT-LLM de NVIDIA y una vez más muestra que la GPU MI300X es líder con un rendimiento un 30 % mejor utilizando una pila de software de IA optimizada

AMD ha respondido a las cifras del H100 TensorRT-LLM de NVIDIA con el MI300X una vez más liderando las pruebas de IA cuando se ejecuta software optimizado.

AMD y NVIDIA están inmersos en una feroz batalla en la que ambos fabricantes de GPU afirman que la IA es superior entre sí utilizando pilas de software optimizadas para los chips H100 y MI300X.

Hace dos días, NVIDIA publicó nuevos puntos de referencia de sus GPU Hopper H100 para mostrar que sus chips funcionan mucho mejor que lo mostrado por AMD durante su evento «Advancing AI». El equipo rojo comparó su nueva GPU Instinct MI300X con el chip Hopper H100, que ya tiene más de un año pero sigue siendo la opción más popular en la industria de la IA. Los puntos de referencia utilizados por AMD no utilizaban bibliotecas optimizadas como TensorRT-LLM, que proporciona un gran impulso a los chips de IA de NVIDIA.

El uso de TensorRT-LLM dio como resultado que la GPU Hopper H100 obtuviera un aumento de rendimiento de casi un 50% sobre la GPU Instinct MI300X de AMD. Ahora, AMD está disparando con todos los cilindros a NVIDIA al mostrar cómo el MI300X aún conserva un rendimiento más rápido que el H100 incluso cuando el Hopper H100 está ejecutando su pila de software optimizada. Según AMD, los números publicados por NVIDIA:

1. Usé TensorRT-LLM en H100 en lugar de vLLM usado en los puntos de referencia de AMD
2. Rendimiento comparado del tipo de datos FP16 en GPU AMD Instinct MI300X con el tipo de datos FP8 en H100
3. Se invirtieron los datos de rendimiento publicados por AMD de números de latencia relativa a rendimiento absoluto.

Entonces AMD decidió hacer una comparación más justa y con las últimas cifras, vemos que el Instinct MI300X ejecutándose en vLLM ofrece un rendimiento un 30% más rápido que el Hopper H100 ejecutándose en TensorRT-LLM.

1. MI300X a H100 usando vLLM para ambos.
   1. En nuestro evento de lanzamiento a principios de diciembre, destacamos una ventaja de rendimiento de 1,4 veces para MI300X frente a H100 utilizando un tipo de datos y una configuración de biblioteca equivalentes. Con las últimas optimizaciones que hemos realizado, esta ventaja de rendimiento ha aumentado a 2,1 veces.
   2. Seleccionamos vLLM en función de la amplia adopción por parte de la comunidad de usuarios y desarrolladores y es compatible con GPU AMD y Nvidia.
2. MI300X usando vLLM vs H100 usando TensorRT-LLM optimizado de Nvidia
   1. Incluso cuando usamos TensorRT-LLM para H100 como lo describió nuestro competidor, y vLLM para MI300X, aún mostramos una mejora de 1,3 veces en la latencia.
3. Resultados de latencia medidos para el conjunto de datos MI300X FP16 frente a H100 utilizando el conjunto de datos TensorRT-LLM y FP8.
   1. MI300X continúa demostrando una ventaja de rendimiento al medir la latencia absoluta, incluso cuando se utilizan FP8 y TensorRT-LLM de menor precisión para H100 frente a vLLM y el tipo de datos FP16 de mayor precisión para MI300X.
   2. Usamos el tipo de datos FP16 debido a su popularidad y, hoy en día, vLLM no es compatible con FP8.

Estos resultados muestran nuevamente que MI300X usando FP16 es comparable a H100 con sus mejores configuraciones de rendimiento recomendadas por Nvidia incluso cuando se usa FP8 y TensorRT-LLM.

a través de AMD

Seguramente, estos números de ida y vuelta son algo inesperado, pero dada la importancia que se ha vuelto la IA para empresas como AMD, NVIDIA e Intel, podemos esperar ver más ejemplos de este tipo compartidos en el futuro. Incluso Intel ha declarado recientemente que toda la industria está motivada para poner fin al dominio CUDA de NVIDIA en la industria. El hecho en este momento es que NVIDIA tiene años de experiencia en software en el segmento de IA y, si bien Instinct MI300X ofrece algunas especificaciones bestiales, pronto competirá con una solución Hopper aún más rápida en forma de H200 y las próximas GPU Blackwell B100 en 2024.

Intel también está listo para lanzar sus aceleradores Gaudí 3 en 2024, lo que calentaría aún más el espacio de la IA, pero en cierto modo, esta competencia generaría una industria de la IA vibrante y más animada donde cada proveedor continúa innovando y sobresaliendo sobre el otro, ofreciendo a los clientes mejores capacidades y un rendimiento aún más rápido. NVIDIA, a pesar de no tener competencia durante años, ha seguido innovando en este segmento, y con AMD e Intel aumentando su producción y software de IA, podemos esperar que respondan con su propio hardware/software aún mejor.