AMD ha compartido algunos datos interesantes sobre las capacidades de su hardware RDNA 3 GPU y XDNA NPU en cargas de trabajo de IA centradas en el consumidor.
Las GPU RDNA 3 y la NPU XDNA de AMD brindan un sólido conjunto de capacidades de IA centradas en el consumidor en plataformas de PC
No hay duda de que AMD se ha adelantado al ofrecer capacidades de IA a una audiencia de PC más amplia mediante la implementación de XDNA NPU en sus APU Ryzen. La primera NPU se lanzó en 2023 con las APU Phoenix «Ryzen 7040» y recientemente se actualizó con la serie Hawk Point «Ryzen 8040». Además de la NPU, la arquitectura de GPU RDNA 3 de AMD también ha incorporado una gran suma de núcleos de IA dedicados que pueden manejar estas cargas de trabajo y la compañía está tratando de solidificar su impulso con su paquete de software ROCm.
Durante el último seminario web «Conozca a los expertos», AMD analizó cómo su suite Radeon Graphics, como la serie RDNA 3, ofrece a los jugadores, creadores y desarrolladores una variedad de cargas de trabajo optimizadas que incluyen:
- Mejora de la calidad del vídeo
- Eliminación de ruido de fondo
- Texto a imagen (GenAI)
- Modelos de lenguaje grandes (GenAI)
- Edición de fotos
- Edición de video
- Ampliación
- Texto a imagen
- Entrenamiento de modelos (Linux)
- Plataforma ROCm (Linux)
Comenzando con la arquitectura de gráficos AMD RDNA 3, las GPU más recientes incluidas en las GPU Radeon RX 7000 y las CPU Ryzen 7000/8000 brindan mejoras en el rendimiento de la IA de generación tras generación.
Estos productos GPU ofrecen hasta 192 aceleradores de IA que están optimizados para cargas de trabajo FP16, están optimizados en múltiples marcos de ML como Microsoft DirectML, Nod.AI Shark y ROCm, y cuentan con grandes grupos de VRAM dedicada que es esencial para manejar grandes conjuntos de datos ( hasta 48 GB) y también cuentan con un ancho de banda más rápido impulsado por la tecnología Infinity Cache.
Según AMD, la mayoría de los casos de uso de IA en la plataforma de PC incluyen modelos LLM y Diffusion que dependen principalmente de las capacidades de memoria y computación FP16 del hardware en el que se ejecutan. Ciertos modelos, como SDXL (Diffusion), están vinculados a Compute y requieren entre 4 y 16 GB de memoria, mientras que Llama2-13B y Mistral-8x 7B están vinculados a la memoria y pueden usar hasta 23 GB de memoria.
Como se mencionó anteriormente, AMD tiene una amplia gama de hardware que cuenta con aceleración de IA dedicada. Incluso la Radeon RX 7600 XT de la compañía, una tarjeta gráfica de $329 dólares, tiene 16 GB de VRAM y, en términos de rendimiento, ofrece un aumento de 3,6 veces sobre el Ryzen 7 8700G en LM Studio, mientras que el RX 7900 XT es hasta 8 veces más rápido que el 8700G.
Rendimiento de LM Studio (cuanto más alto, mejor):
- CPU Ryzen 7 8700G: 11 fichas/segundo
- RX 7600 XT 16 GB: 40 fichas/segundo
- RX 7900 XT 20 GB: 85 fichas/segundo
AMUSE Difusión (Cuanto más bajo, mejor):
- CPU Ryzen 7 8700G: 2,6 segundos/imagen
- RX 7600 XT 16 GB: 0,97 segundos/imagen
- RX 7900 XT 20GB: 0,6 segundos/imagen
AMD también hace una pequeña comparación con la GeForce RTX de NVIDIA, que el equipo verde llama la plataforma «Premium AI PC». Ambas líneas ofrecen soporte similar, pero AMD muestra cómo sus GPU de 16 GB tienen un precio más bajo de $329 dólares estadounidenses (7600 XT), mientras que la GPU de 16 GB más básica de NVIDIA comienza en alrededor de $500 dólares estadounidenses (4060 TI 16 GB). La compañía también tiene una pila de alta gama que escala hasta 48 GB de memoria. AMD también ha mostrado anteriormente un sólido rendimiento frente al Core Ultra de Intel en IA a un mejor valor.
En el futuro, AMD habla sobre cómo ha progresado ROCm 6.0 y cómo la pila de código abierto ha recibido soporte para hardware de nivel de consumidor como Radeon RX 7900 XTX, 7900 XT, 7900 GRE, PRO W7900 y PRO W7800. ROCm 6.0 es compatible con los modelos y algoritmos PyTorch y ONNX Runtime ML en el sistema operativo Ubuntu 22.03.3 (Linux) y mejora la interoperabilidad agregando INT8 para modelos más complejos.
La compañía también está tratando de hacer que ROCm sea aún más de código abierto ofreciendo a los desarrolladores una variedad de pilas de software y documentación de hardware.
AMD y su suite ROCm compiten contra la pila dominante NVIDIA CUDA y TensorRT, mientras que Intel también está ganando terreno con su propia pila OneAPI AI. Estas son las tres fuerzas a tener en cuenta cuando se trata de cargas de trabajo de IA en la plataforma de PC, por lo que se esperan muchas innovaciones y optimizaciones para el hardware existente y de próxima generación en el futuro.