NVIDIA está dominando absolutamente la conversación sobre IA de forma correcta y en buena medida: sus GPU funcionan de forma inmediata y son la mejor opción para profesionales y empresas que desean incursionar en la IA de consumo. Pero solo esta semana, tanto Intel como AMD optimizaron sus pilas de software para obtener aceleraciones masivas en IA generativa, lo que ha hecho que la RTX 7900 XTX de AMD obtenga un mayor rendimiento por dólar que una NVIDIA RTX 4080 en IA generativa (específicamente Stable Diffusion con A111/Xformers). Teniendo en cuenta que Stable Diffusion representa la gran mayoría de la IA generativa localizada que no es SaaS en este momento, este es un hito importante y finalmente ofrece algo de competencia a NVIDIA.
AMD 7900 XTX logra mayores iteraciones por segundo por dólar en Stable Diffusion (Automatic111 con DirectML) que NVIDIA RTX 4080 (xformers)
Nota: La optimización de GenAI, al igual que la optimización del rendimiento de la criptominería, tendrá un kilometraje que variará significativamente según el modelo o la configuración que se utilice. Este artículo trata sobre la configuración más común de A111 Xformers (puede obtener un recuento actualizado del rendimiento promedio por GPU aquí: https://vladmandic.github.io/sd-extension-system-info/pages/benchmark.html) pero hay *son* Optimizaciones boutique hiperafinadas donde NVIDIA RTX 4080 es aún más rápida.
El uso de Microsoft Olive y DirectML en lugar de la ruta PyTorch da como resultado que AMD 7900 XTX pase de 1,87 iteraciones por segundo a 18,59 iteraciones por segundo. Puedes leer el guía detallada de AMD aquí. Este nivel de rendimiento en Automatic111 está bastante cerca del enfoque basado en SHARK para Stable Diffusion y definitivamente coloca a la empresa en el mapa con respecto a la IA generativa. Resulta que también hace que el 7900 XTX ofrezca un rendimiento GenAI ligeramente superior por dólar (en difusión estable/A111) que el RTX 4080 comparativo, al menos a los precios actuales.
La NVIDIA RTX 4080 más barata que pude encontrar en Newegg (el 19/8/2023) fue la MSI Ventus GeForce RTX 4080 de 16 GB (enlace archivado de WBM aquí) y la AMD Radeon 7900 XTX más barata que pude encontrar en Newegg fue la MSI Gaming Radeon RX 7900 XTX 24 GB (enlace archivado de WBM aquí). Antes de analizar los números, quiero mencionar la advertencia de que, a diferencia de NVIDIA, la ruta de AMD requiere que el usuario sea un poco más experto en tecnología (la ruta de AMD usa Microsoft Olive en lugar de PyTorch y es probable que la mayoría de los instaladores automáticos no instalen las dependencias requerido para esto automáticamente), por lo que si la conveniencia es un factor para usted, NVIDIA sigue siendo el camino a seguir. Pero los profesionales y las pequeñas empresas generalmente pueden sortear una molestia de configuración inicial si la base de costos es lo suficientemente buena y parece ser el caso aquí.
| GPU | Precio de mercado | Configuración | Rendimiento SD (it/s) | Dólares Gastados Por It/s |
|---|---|---|---|---|
| Nvidia RTX 4080 | $1099 | A111 (PyTorch) | 19.41* | $56.6 |
| AMD Radeon 7900 XTX | $969 | A111 (Oliva de Microsoft) | 18.59 | $52.1 |
| AMD Radeon 7900 XTX | $969 | TIBURÓN | 20.76* | $46.6 |
| *= datos tomados de la comparación de Puget Systems publicada el 31 de julio de 2023. | ||||
Como podemos ver, el silicio AMD finalmente está comenzando a brillar en GenAI hasta el punto en que ofrece un valor más alto en comparación con el 4080 en Stable Diffusion A111. AMD 7900 XTX ofrece 18,59 iteraciones por segundo, lo que hace que los usuarios paguen $52,1 por it/s, mientras que NVIDIA RTX 4080 obtiene 19,41 iteraciones por segundo, lo que hace que los usuarios paguen $56,6 por it/s. Si los usuarios optan por la implementación SHARK menos común, pueden impulsar la propuesta de valor hasta solo $ 46.6 por it/s para Radeon 7900 XTX. Así que es oficial: AMD es oficialmente un competidor para los consumidores interesados en la IA generativa.
Esto también significa que si reciben un poco más de atención por parte de AMD, pueden ser un competidor formidable para las ambiciones de IA de NVIDIA. La mayoría de las personas no ejecutarán LLM desde su sótano, pero GenAI y SLM/ULM estarán en todas partes en los próximos 12 meses y formarán parte de muchos flujos de trabajo de productividad. La forma en que Intel y AMD se posicionen en un mercado en el que NVIDIA tiene una enorme ventaja determinará cómo les irá en un mundo dominado por la IA.