Las CPU Ryzen AI de AMD eclipsan a los chips Core Ultra de Intel en nuevos puntos de referencia de AI que muestran cargas de trabajo LLM y GenAI.
AMD comparte nuevos puntos de referencia de IA (LLM) con CPU Ryzen AI que superan a los chips Core Ultra de Intel mientras funcionan con una potencia mucho menor
AMD fue el primero en ingresar al espacio de las PC con IA con sus CPU Ryzen AI de primera generación con nombre en código Phoenix, que se presentó el año pasado. Desde entonces, la compañía lanzó su línea Ryzen AI actualizada conocida como Hawk Point, que ofrece NPU «XDNA» mejoradas, lo que brinda un aumento del 60% en AI TOPS. Parece que AMD ha trabajado mucho en optimizaciones de software para cargas de trabajo de IA localizadas y del lado del cliente, como lo demuestran los nuevos puntos de referencia publicados por la empresa.
En las nuevas pruebas, AMD enfatiza la ejecución de LLM en sus CPU localmente, lo cual es posible con una variedad de modelos que incluyen LLama 2, Mistral AI_, code llama y RAG. Tener un modelo de IA localizado ejecutándose en su PC significa que tiene más privacidad que los modelos en plataformas en la nube en línea, lo que le ahorra tarifas de suscripción sin necesidad de una conexión en línea. La compañía está avanzando más en este espacio con su guía reciente sobre cómo configurar su propio chatbot de IA local que rivaliza con NVIDIA Chat con el chatbot RTX.
Para las pruebas de rendimiento, AMD usa su APU Ryzen 7 7840U a 15W y la compara con el Intel Core Ultra 7 155H a 28W. Ambos chips funcionan con 16 GB de memoria LPDDR5-6400 y los últimos paquetes de controladores.
En primer lugar, tenemos Mistral Instruct 7B LLM, donde la CPU AMD Ryzen 7 7840U completa el procesamiento de IA en solo el 61% del tiempo en comparación con la oferta de Intel, mientras que el chat Llama 2 7B es aún más rápido con el chip Ryzen AI completando la tarea en 54. % del tiempo.
Para simplificar las cosas, la CPU AMD Ryzen 7 7840U (15W) puede ofrecer un rendimiento hasta un 14% más rápido en LLama v2 Chat 7B (Q4 KM) y un rendimiento un 17% más rápido en Mistral Instruct 7b (Q4 KM). Las velocidades de tiempo hasta el primer token son, respectivamente, un 79 % más rápidas en LLama v2 Chat y un 41 % más rápidas en Mistral Instruct 7B LLM.
Hay dos cosas a tener en cuenta aquí, no solo la CPU AMD Ryzen AI es más rápida que la CPU Intel Core Ultra de mayor potencia, sino que también presenta una NPU ligeramente más lenta con una clasificación de 10 TOP en comparación con el chip Core Ultra de Intel que tiene un SKU de 11 TOP. Eso ni siquiera compara los SKU de 28 W o los chips Hawk Point que cuentan con hasta 16 TOP de AI Compute. AMD también destaca la ventaja de costos de sus plataformas de PC con IA, que tienen un precio más bajo, desde alrededor de $899 (SEP) frente a los $999 (SEP) de los chips Intel Core Ultra 155H.
La plataforma de PC AMD Ryzen AI tiene la ventaja de estar en el mercado desde hace algún tiempo y eso ha llevado al equipo rojo a realizar rápidas optimizaciones de IA para sus CPU existentes y de próxima generación. Se espera que estas cargas de trabajo de IA se ajusten aún más en el futuro en preparación para la familia Strix Point con tecnología Zen 5, que se espera que se lance a finales de este año. La plataforma Core Ultra de Intel también ha estado disponible durante algunos meses y la compañía tiene una estrategia de inteligencia artificial audaz diseñada para este espacio.