Intel acaba de publicar sus últimas cifras de rendimiento de MLPerf v4.0 que cubren los aceleradores Gaudi 2 y las CPU Xeon «Emerald Rapids» de quinta generación; el primero muestra sólidos valores de rendimiento por dólar en comparación con la GPU H100 de NVIDIA.
El acelerador Intel Gaudi 2 AI es la única «alternativa comparada» a las GPU H100 de NVIDIA para GenAI, fuerte rendimiento/$ en resultados de MLPerf v4.0
Intel ha estado ajustando el rendimiento de su línea de aceleradores Gaudí en cargas de trabajo de IA utilizando su marco OneAPI desde hace algún tiempo. El resultado de este trabajo de software continuo se mostró en las últimas cifras de rendimiento de MLPerf v4.0 que muestran las capacidades de GenAI en cargas de trabajo como Llama-70B y Stable Diffusion XL, donde las soluciones de Intel ofrecen un rendimiento competitivo frente a los chips rivales. Más recientemente, la compañía mostró cómo los aceleradores Gaudi 2 eran más rápidos en comparación con las soluciones de NVIDIA en las últimas cargas de trabajo GenAI, como Stable Diffusion y Llama 2 LLM. Más sobre eso aquí.
Para realizar comparaciones, Intel utilizó una configuración de acelerador Gaudi 2 x8 frente a GPU NVIDIA H100 x8 para realizar evaluaciones comparativas de rendimiento de FP8 e INT8. En rendimiento relativo, la NVIDIA H100 sin duda está muy por delante de los aceleradores Intel Gaudi 2, ofreciendo mejoras de hasta 3,35 veces en servidor y hasta 2,76 veces en generación fuera de línea. Pero donde el juego cambia completamente a favor de Intel es en el rendimiento/$ donde los aceleradores Gaudi 2 se convierten en un producto con una posición muy competitiva y lo que Intel denomina Gaudi 2 como la única «alternativa comparada» al H100 de NVIDIA para cargas de trabajo GenAI.
Entonces, en términos de rendimiento por dólar, el acelerador Intel Gaudi 2 AI ofrece un valor 33 % mejor que la solución NVIDIA H100; NVIDIA H100 solo supera a Gaudi 2 en Llama-70B (servidor). Intel también se ha asociado recientemente con Qualcomm y Google para abordar el dominio CUDA de NVIDIA en IA a través de oneAPI, lo que puede conducir a mayores mejoras en el futuro. Los aceleradores de IA Gaudi 3 y Falcon Shores de próxima generación tendrán un sólido marco de software que los respalde en el momento de su lanzamiento.
Intel también comparte los resultados de MLPerf v4.0 para su familia escalable Xeon de quinta generación con nombre en código Emerald Rapids. Al comparar los chips con la familia «Sapphire Rapids» de cuarta generación, puede ver ganancias de hasta 1,9 veces y una ganancia promedio del 42 % con respecto a la generación anterior en cargas de trabajo como 3dUnet, BERT, RNN-T, ResNet50, RetinaNet, DLRMv2, GPT-J. Además, los socios OEM de Intel también han estado enviando sus resultados para CPU Xeon de quinta generación en una variedad de cargas de trabajo mixtas. Estos socios incluyen Dell Technologies, Quanta Computer, Supermicro, Wiwynn y CISCO.
Los aspectos más destacados de estos puntos de referencia son:
Aceleradores Intel Gaudí 2
- La ÚNICA alternativa comparada al H100 para GenAI
- Los puntos de referencia Stable Diffusion y Llama-70B muestran las ventajas de precio-rendimiento de Gaudí2 frente al H100
- La cobertura del modelo Intel Guadi continúa avanzando y emplea enfoques de desarrollo SOTA como TGI, utilizado en el envío de Llama.
Procesadores Xeon de quinta generación
- Intel sigue siendo el único proveedor de CPU para servidores que envía resultados de MLPerf
- Los resultados de 5.ª generación Xeon mejoraron en una media geométrica de 1,42 veces en comparación con los resultados de 4.ª generación Xeon en MLPerf Inference v3.1
- El número cada vez mayor de presentaciones y la creciente lista de socios son indicadores claros de que los clientes finales quieren maximizar la utilización de su infraestructura de CPU existente.
Estos puntos de referencia de MLPerf v4.0 muestran que Intel se toma muy en serio su ecosistema de IA y el trabajo que han estado realizando ha comenzado a dar frutos. La IA está exclusivamente dominada por NVIDIA en este momento, pero con los esfuerzos de Intel, el espacio puede volverse mucho más intenso en los próximos años.