Las GPU Arc A-Series ahora son compatibles con Intel Extension para PyTorch (IPEX), que ofrece capacidades de IA más rápidas en aprendizaje profundo y LLM.
La extensión Intel para PyTorch ahora aprovecha al máximo el hardware XMX AI integrado en las GPU Arc A-Series
Las GPU Intel Arc A-Series basadas en la arquitectura Alchemist tienen un gran potencial en el hardware que se materializa día tras día. La división de software ha hecho un gran trabajo optimizando el rendimiento del juego de estas GPU y ahora la atención se centra en el mercado emergente de IA, donde las unidades XMX incluidas en estos chips se utilizarán por completo.
En una actualización, Intel confirmó que IPEX (Intel Extension para PyTorch) ahora ofrece soporte para GPU Arc A-Series en plataformas Windows, Linux y WSL2. Con este soporte recientemente agregado, las GPU de la serie A de Intel no solo impulsarían la aceleración de los modelos de aprendizaje profundo, como los LLM, sino que también brindarían nuevas optimizaciones para el hardware de Intel, lo que permitiría un rendimiento más rápido y brindarían a los usuarios la capacidad de ejecutar modelos PyTorch en la línea de GPU Alchemist. .
Para aquellos de ustedes que tienen una GPU Intel Arc A-Series y desean aprovechar su motor XMX AI dentro de PyTorch, la compañía ha publicado un blog completo sobre cómo ejecutar la interfaz Llama 2 en Windows y WSL2 aquí. Según el equipo de software de IA de Intel:
- Las GPU son muy adecuadas para cargas de trabajo de modelos de lenguaje grandes (LLM), ya que las GPU destacan por su paralelismo de datos masivo y su gran ancho de banda de memoria. Los gráficos Arc A-Series, incluidos los gráficos Arc A770, son gráficos de alto rendimiento, con hasta 512 motores Xe Matrix Extensions (XMX), que brindan capacidad para la ejecución acelerada de modelos de aprendizaje profundo, incluidos LLM.
- IPEX amplía PyTorch con las últimas optimizaciones de rendimiento para hardware Intel, aprovechando los motores XMX en las GPU discretas de Intel.
- La extensión IPEX para PyTorch habilita el dispositivo PyTorch XPU, lo que le permite mover fácilmente el modelo de PyTorch y los datos de entrada al dispositivo para ejecutarlos en una GPU discreta Intel con aceleración de GPU.
- La última versión de IPEX (v2.1.10+xpu) admite oficialmente Arc A-Series Graphics en WSL2, Windows nativo y Linux nativo.
- Se demostró la ejecución de la inferencia de Llama 2 7B y Llama 2-Chat 7B en Arc A770 Graphics en Windows y WSL2 a través de Ipex.
- Para ejecutar Llama 2, o cualquier otro modelo de PyTorch, en las GPU Arc A-Series, simplemente agregue algunas líneas de código adicionales a importar intel_extension_for_pytorch y .to(«xpu») para mover el modelo y los datos al dispositivo para ejecutarlos en la GPU Arc A-Series.
Recientemente publicamos un artículo citando al ex jefe de GPU de Intel, Raja Koduri, quien mencionó cómo las GPU de PC para clientes y juegos desempeñaron un papel crucial para permitir el éxito de la IA. La ampliación del soporte de Intel a sus GPU Arc A-Series es una gran cosa para el segmento de mercado donde NVIDIA y AMD han liderado la carga al ofrecer soporte rápido de IA en hardware centrado en el consumidor.