Las GPU AMD Instinct, como la MI250, han recibido un gran impulso en el rendimiento de la IA, acerc\u00e1ndolas a los chips de NVIDIA.<\/p>\n
AMD se acerca a las velocidades de entrenamiento LLM AI de NVIDIA con las versiones PyTorch 2.0 y ROCm 5.4, Instinct MI250 casi a la par con A100<\/h2>\n
En una publicaci\u00f3n de blog de MosaicML, el proveedor de software mostr\u00f3 c\u00f3mo PyTorch 2.0 y ROCM 5.4 ayudan a aumentar el rendimiento de las GPU de los centros de datos de AMD, como la serie Instinct, sin cambios en el c\u00f3digo. El proveedor de software ofrece soporte mejorado para capacitaci\u00f3n ML y LLM en una amplia gama de soluciones de NVIDIA y AMD que admiten precisi\u00f3n de 16 bits (FP16 \/ BF16). Los lanzamientos recientes han permitido que MosaicML obtenga un rendimiento a\u00fan mejor de los aceleradores AMD Instinct con el uso de su LLM Foundry Stack.<\/p>\n Los aspectos m\u00e1s destacados de los resultados fueron los siguientes:<\/p>\n Si bien la GPU Instinct MI250 de AMD ofreci\u00f3 una ligera ventaja sobre las GPU NVIDIA A100 en t\u00e9rminos de FLOP FP16 (sin escasez), capacidad de memoria y ancho de banda de la memoria, debe tenerse en cuenta que MI250 solo puede escalar hasta 4 aceleradores, mientras que las GPU NVIDIA A100 pueden escalar hasta 8 GPU en un solo sistema.<\/p>\n Echando un vistazo m\u00e1s profundo, tanto el hardware de AMD como el de NVIDIA pudieron lanzar cargas de trabajo de entrenamiento de IA con fundici\u00f3n LLM con facilidad. El rendimiento se evalu\u00f3 en dos cargas de trabajo de entrenamiento, primero fue el rendimiento general (Tokens\/Seg\/GPU) y el otro fue el rendimiento general (TFLOP\/Sec\/GPU).<\/p>\n El rendimiento de entrenamiento de IA se realiz\u00f3 en una gama de modelos de 1 mil millones a 13 mil millones de par\u00e1metros. Las pruebas mostraron que el AMD Instinct MI250 entreg\u00f3 el 80 % del rendimiento del A100 de 40 GB de NVIDIA y el 73 % del rendimiento de la variante de 80 GB. NVIDIA mantuvo su posici\u00f3n de liderazgo en todos los puntos de referencia, pero debe mencionarse que tambi\u00e9n ten\u00edan el doble de GPU funcionando en las pruebas. Adem\u00e1s, se menciona que se esperan m\u00e1s mejoras en el lado del entrenamiento para los aceleradores AMD Instinct en el futuro.<\/p>\n AMD ya est\u00e1 preparando sus aceleradores Instinct MI300 de pr\u00f3xima generaci\u00f3n para cargas de trabajo de HPC e IA. La compa\u00f1\u00eda demostr\u00f3 c\u00f3mo el chip manej\u00f3 un modelo LLM con 40 mil millones de par\u00e1metros en una sola soluci\u00f3n. El MI300 tambi\u00e9n escalar\u00e1 en hasta 8 configuraciones de GPU y APU. El chip competir\u00e1 contra el H100 de NVIDIA y cualquier cosa en la que el equipo verde haya estado trabajando para su lanzamiento el pr\u00f3ximo a\u00f1o. El MI300 ofrecer\u00e1 la mayor capacidad de memoria en cualquier GPU con 192 GB HBM3 y un ancho de banda mucho mayor que la soluci\u00f3n de NVIDIA. Ser\u00e1 interesante ver si estos avances de software en el frente de AMD ser\u00e1n suficientes para capturar la participaci\u00f3n de mercado de m\u00e1s del 90% que NVIDIA ha adquirido dentro del espacio de IA.<\/p>\n\n
![\"\"](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2023\/07\/AMD-Instinct-MI250-vs-NVIDIA-A100-AI-GPU-LLM-Model-Performance-_2.png\")
<\/figure>\n![](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2023\/06\/Z790-300x250-1.jpg\")
<\/div>\n![](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2023\/06\/Ai1300P-PCIE5_728x90.jpg\")
<\/div>\n<\/div>\n![\"\"](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2023\/07\/AMD-Instinct-MI250-vs-NVIDIA-A100-AI-GPU-LLM-Model-Performance-_1.png\")
<\/figure>\n