{"id":929667,"date":"2023-12-16T11:47:43","date_gmt":"2023-12-16T11:47:43","guid":{"rendered":"https:\/\/magazineoffice.com\/amd-responde-a-los-resultados-de-h100-tensorrt-llm-de-nvidia-y-una-vez-mas-muestra-que-la-gpu-mi300x-es-lider-con-un-rendimiento-un-30-mejor-utilizando-una-pila-de-software-de-ia-optimizada\/"},"modified":"2023-12-16T11:47:46","modified_gmt":"2023-12-16T11:47:46","slug":"amd-responde-a-los-resultados-de-h100-tensorrt-llm-de-nvidia-y-una-vez-mas-muestra-que-la-gpu-mi300x-es-lider-con-un-rendimiento-un-30-mejor-utilizando-una-pila-de-software-de-ia-optimizada","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/amd-responde-a-los-resultados-de-h100-tensorrt-llm-de-nvidia-y-una-vez-mas-muestra-que-la-gpu-mi300x-es-lider-con-un-rendimiento-un-30-mejor-utilizando-una-pila-de-software-de-ia-optimizada\/","title":{"rendered":"AMD responde a los resultados de H100 TensorRT-LLM de NVIDIA y una vez m\u00e1s muestra que la GPU MI300X es l\u00edder con un rendimiento un 30 % mejor utilizando una pila de software de IA optimizada"},"content":{"rendered":"
\n<\/p>\n
\n
AMD ha respondido a las cifras del H100 TensorRT-LLM de NVIDIA con el MI300X una vez m\u00e1s liderando las pruebas de IA cuando se ejecuta software optimizado.<\/p>\n
AMD y NVIDIA est\u00e1n inmersos en una feroz batalla en la que ambos fabricantes de GPU afirman que la IA es superior entre s\u00ed utilizando pilas de software optimizadas para los chips H100 y MI300X.<\/h2>\n
Hace dos d\u00edas, NVIDIA public\u00f3 nuevos puntos de referencia de sus GPU Hopper H100 para mostrar que sus chips funcionan mucho mejor que lo mostrado por AMD durante su evento \u00abAdvancing AI\u00bb. El equipo rojo compar\u00f3 su nueva GPU Instinct MI300X con el chip Hopper H100, que ya tiene m\u00e1s de un a\u00f1o pero sigue siendo la opci\u00f3n m\u00e1s popular en la industria de la IA. Los puntos de referencia utilizados por AMD no utilizaban bibliotecas optimizadas como TensorRT-LLM, que proporciona un gran impulso a los chips de IA de NVIDIA.<\/p>\n\n
<\/div>Fuente de la imagen: AMD<\/figcaption><\/figure>\n
El uso de TensorRT-LLM dio como resultado que la GPU Hopper H100 obtuviera un aumento de rendimiento de casi un 50% sobre la GPU Instinct MI300X de AMD. Ahora, AMD est\u00e1 disparando con todos los cilindros a NVIDIA al mostrar c\u00f3mo el MI300X a\u00fan conserva un rendimiento m\u00e1s r\u00e1pido que el H100 incluso cuando el Hopper H100 est\u00e1 ejecutando su pila de software optimizada. Seg\u00fan AMD, los n\u00fameros publicados por NVIDIA:<\/p>\n
\n
Us\u00e9 TensorRT-LLM en H100 en lugar de vLLM usado en los puntos de referencia de AMD<\/li>\n
Rendimiento comparado del tipo de datos FP16 en GPU AMD Instinct MI300X con el tipo de datos FP8 en H100<\/li>\n
Se invirtieron los datos de rendimiento publicados por AMD de n\u00fameros de latencia relativa a rendimiento absoluto.<\/li>\n<\/ol>\n
Entonces AMD decidi\u00f3 hacer una comparaci\u00f3n m\u00e1s justa y con las \u00faltimas cifras, vemos que el Instinct MI300X ejecut\u00e1ndose en vLLM ofrece un rendimiento un 30% m\u00e1s r\u00e1pido que el Hopper H100 ejecut\u00e1ndose en TensorRT-LLM.<\/p>\n
\n\n
MI300X a H100 usando vLLM para ambos.\n\n
En nuestro evento de lanzamiento a principios de diciembre, destacamos una ventaja de rendimiento de 1,4 veces para MI300X frente a H100 utilizando un tipo de datos y una configuraci\u00f3n de biblioteca equivalentes. Con las \u00faltimas optimizaciones que hemos realizado, esta ventaja de rendimiento ha aumentado a 2,1 veces.<\/li>\n
Seleccionamos vLLM en funci\u00f3n de la amplia adopci\u00f3n por parte de la comunidad de usuarios y desarrolladores y es compatible con GPU AMD y Nvidia.<\/li>\n<\/ol>\n<\/li>\n
MI300X usando vLLM vs H100 usando TensorRT-LLM optimizado de Nvidia\n\n
Incluso cuando usamos TensorRT-LLM para H100 como lo describi\u00f3 nuestro competidor, y vLLM para MI300X, a\u00fan mostramos una mejora de 1,3 veces en la latencia.<\/li>\n<\/ol>\n<\/li>\n
Resultados de latencia medidos para el conjunto de datos MI300X FP16 frente a H100 utilizando el conjunto de datos TensorRT-LLM y FP8.\n\n
MI300X contin\u00faa demostrando una ventaja de rendimiento al medir la latencia absoluta, incluso cuando se utilizan FP8 y TensorRT-LLM de menor precisi\u00f3n para H100 frente a vLLM y el tipo de datos FP16 de mayor precisi\u00f3n para MI300X.<\/li>\n
Usamos el tipo de datos FP16 debido a su popularidad y, hoy en d\u00eda, vLLM no es compatible con FP8.<\/li>\n<\/ol>\n<\/li>\n<\/ol>\n
Estos resultados muestran nuevamente que MI300X usando FP16 es comparable a H100 con sus mejores configuraciones de rendimiento recomendadas por Nvidia incluso cuando se usa FP8 y TensorRT-LLM.<\/p>\n
a trav\u00e9s de AMD<\/p>\n<\/blockquote>\n
Seguramente, estos n\u00fameros de ida y vuelta son algo inesperado, pero dada la importancia que se ha vuelto la IA para empresas como AMD, NVIDIA e Intel, podemos esperar ver m\u00e1s ejemplos de este tipo compartidos en el futuro. Incluso Intel ha declarado recientemente que toda la industria est\u00e1 motivada para poner fin al dominio CUDA de NVIDIA en la industria. El hecho en este momento es que NVIDIA tiene a\u00f1os de experiencia en software en el segmento de IA y, si bien Instinct MI300X ofrece algunas especificaciones bestiales, pronto competir\u00e1 con una soluci\u00f3n Hopper a\u00fan m\u00e1s r\u00e1pida en forma de H200 y las pr\u00f3ximas GPU Blackwell B100 en 2024.<\/p>\n\n
<\/div>TSMC lidera la carrera de la IA al producir chips de IA de pr\u00f3xima generaci\u00f3n para NVIDIA y AMD. (Fuente de la imagen: Wccftech)<\/figcaption><\/figure>\n
Intel tambi\u00e9n est\u00e1 listo para lanzar sus aceleradores Gaud\u00ed 3 en 2024, lo que calentar\u00eda a\u00fan m\u00e1s el espacio de la IA, pero en cierto modo, esta competencia generar\u00eda una industria de la IA vibrante y m\u00e1s animada donde cada proveedor contin\u00faa innovando y sobresaliendo sobre el otro, ofreciendo a los clientes mejores capacidades y un rendimiento a\u00fan m\u00e1s r\u00e1pido. NVIDIA, a pesar de no tener competencia durante a\u00f1os, ha seguido innovando en este segmento, y con AMD e Intel aumentando su producci\u00f3n y software de IA, podemos esperar que respondan con su propio hardware\/software a\u00fan mejor.<\/p>\n
![\"TSMC](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2023\/09\/NVIDIA-AMD-TSMC.png\")
<\/div>