Las GPU Arc A-Series ahora son compatibles con Intel Extension para PyTorch (IPEX), que ofrece capacidades de IA más rápidas en aprendizaje profundo y LLM.

La extensión Intel para PyTorch ahora aprovecha al máximo el hardware XMX AI integrado en las GPU Arc A-Series

Las GPU Intel Arc A-Series basadas en la arquitectura Alchemist tienen un gran potencial en el hardware que se materializa día tras día. La división de software ha hecho un gran trabajo optimizando el rendimiento del juego de estas GPU y ahora la atención se centra en el mercado emergente de IA, donde las unidades XMX incluidas en estos chips se utilizarán por completo.

En una actualización, Intel confirmó que IPEX (Intel Extension para PyTorch) ahora ofrece soporte para GPU Arc A-Series en plataformas Windows, Linux y WSL2. Con este soporte recientemente agregado, las GPU de la serie A de Intel no solo impulsarían la aceleración de los modelos de aprendizaje profundo, como los LLM, sino que también brindarían nuevas optimizaciones para el hardware de Intel, lo que permitiría un rendimiento más rápido y brindarían a los usuarios la capacidad de ejecutar modelos PyTorch en la línea de GPU Alchemist. .

Para aquellos de ustedes que tienen una GPU Intel Arc A-Series y desean aprovechar su motor XMX AI dentro de PyTorch, la compañía ha publicado un blog completo sobre cómo ejecutar la interfaz Llama 2 en Windows y WSL2 aquí. Según el equipo de software de IA de Intel:

• Las GPU son muy adecuadas para cargas de trabajo de modelos de lenguaje grandes (LLM), ya que las GPU destacan por su paralelismo de datos masivo y su gran ancho de banda de memoria. Los gráficos Arc A-Series, incluidos los gráficos Arc A770, son gráficos de alto rendimiento, con hasta 512 motores Xe Matrix Extensions (XMX), que brindan capacidad para la ejecución acelerada de modelos de aprendizaje profundo, incluidos LLM.
• IPEX amplía PyTorch con las últimas optimizaciones de rendimiento para hardware Intel, aprovechando los motores XMX en las GPU discretas de Intel.
• La extensión IPEX para PyTorch habilita el dispositivo PyTorch XPU, lo que le permite mover fácilmente el modelo de PyTorch y los datos de entrada al dispositivo para ejecutarlos en una GPU discreta Intel con aceleración de GPU.
• La última versión de IPEX (v2.1.10+xpu) admite oficialmente Arc A-Series Graphics en WSL2, Windows nativo y Linux nativo.
• Se demostró la ejecución de la inferencia de Llama 2 7B y Llama 2-Chat 7B en Arc A770 Graphics en Windows y WSL2 a través de Ipex.
• Para ejecutar Llama 2, o cualquier otro modelo de PyTorch, en las GPU Arc A-Series, simplemente agregue algunas líneas de código adicionales a importar intel_extension_for_pytorch y .to(«xpu») para mover el modelo y los datos al dispositivo para ejecutarlos en la GPU Arc A-Series.

Recientemente publicamos un artículo citando al ex jefe de GPU de Intel, Raja Koduri, quien mencionó cómo las GPU de PC para clientes y juegos desempeñaron un papel crucial para permitir el éxito de la IA. La ampliación del soporte de Intel a sus GPU Arc A-Series es una gran cosa para el segmento de mercado donde NVIDIA y AMD han liderado la carga al ofrecer soporte rápido de IA en hardware centrado en el consumidor.

AMD ha agregado la Radeon RX 7900 XT a su lista de GPU de nivel de consumidor RDNA 3 compatibles con el ecosistema ROCm 5.7, incluido PyTorch.

Las mejores GPU RDNA 3 «Navi 31» de AMD ahora son compatibles con ROCm 5.7, PyTorch ML y aceleración de IA disponibles en Radeon RX 7900 XT

El anuncio de hoy de AMD se basa en su promesa de brindar soporte para ROCm y otras funciones de desarrollo y aprendizaje automático a sus productos centrados en el consumidor dentro de la familia de GPU RDNA 3. El equipo rojo ya había introducido soporte para las GPU Radeon RX 7900 XTX y Radeon PRO W7900 el mes pasado y ahora también está agregando la Radeon RX 7900 XT, que cubre el escalón superior de los productos RDNA 3.

Estamos entusiasmados con esta última incorporación a nuestra cartera. En combinación con ROCm, estas GPU de alta gama hacen que la IA sea más accesible desde una perspectiva de software y hardware, para que los desarrolladores puedan elegir la solución que mejor se adapte a sus necesidades.

Erik Hultgren, gerente de productos de software de AMD

Al igual que las otras dos soluciones, la AMD Radeon RX 7900 XT tiene un gran búfer de memoria de 20 GB y un total de 168 unidades aceleradoras de IA a bordo del chip Navi 31 que debería ofrecer un rendimiento de inferencia y entrenamiento de ML rápido y acelerado. La GPU también admitirá modelos y algoritmos de aprendizaje automático basados ​​en PyTorch que están optimizados específicamente para AMD y será compatible con el sistema operativo Linux que ejecuta la versión 22.04.3 (Ubuntu).

Puede obtener el controlador «23.20.00.48 para Ubuntu 22.04.3 HWE» aquí.

Sin embargo, esto es solo un paso, ya que AMD todavía tiene una amplia gama de GPU centradas en el consumidor dentro de la pila RDNA 3 para las cuales a los consumidores les encantaría tener soporte ROCm. NVIDIA e Intel han estado ofreciendo un excelente soporte para la computación en sus partes centradas en el consumidor con CUDA y Intel Compute Runtime de código abierto que admite toda la gama de GPU Arc. AMD debería seguir ganando impulso para que los usuarios de GPU RDNA 3 puedan aprovechar al máximo sus productos.

Fuente de noticias: Phoronix

AMD ha presentado un controlador ROCm 5.7.1 actualizado para Ubuntu Linux que brinda compatibilidad con PyTorch 2.0.1 para tarjetas gráficas Radeon Pro W7900 y Radeon RX 7900 XTX basadas en RDNA 3. La medida permite a los desarrolladores utilizar las GPU cliente insignia de AMD con 24 GB y 48 GB de memoria para aplicaciones de inteligencia artificial que utilizan bibliotecas PyTorch.

«Estamos entusiasmados de ofrecer a la comunidad de IA un nuevo soporte para el desarrollo de aprendizaje automático utilizando PyTorch integrado en las GPU AMD Radeon RX 7900 XTX y Radeon Pro W7900 y la plataforma de software abierto ROCm. Esta es nuestra primera implementación basada en la arquitectura RDNA 3, y estamos Esperamos asociarnos con la comunidad», afirma Dan Wood, vicepresidente de gestión de productos Radeon de AMD.

Las GPU AMD Instinct, como la MI250, han recibido un gran impulso en el rendimiento de la IA, acercándolas a los chips de NVIDIA.

AMD se acerca a las velocidades de entrenamiento LLM AI de NVIDIA con las versiones PyTorch 2.0 y ROCm 5.4, Instinct MI250 casi a la par con A100

En una publicación de blog de MosaicML, el proveedor de software mostró cómo PyTorch 2.0 y ROCM 5.4 ayudan a aumentar el rendimiento de las GPU de los centros de datos de AMD, como la serie Instinct, sin cambios en el código. El proveedor de software ofrece soporte mejorado para capacitación ML y LLM en una amplia gama de soluciones de NVIDIA y AMD que admiten precisión de 16 bits (FP16 / BF16). Los lanzamientos recientes han permitido que MosaicML obtenga un rendimiento aún mejor de los aceleradores AMD Instinct con el uso de su LLM Foundry Stack.

Los aspectos más destacados de los resultados fueron los siguientes:

• La formación LLM fue estable. Con nuestra pila de capacitación LLM Foundry altamente determinista, la capacitación de un modelo LLM MPT-1B en AMD MI250 frente a NVIDIA A100 produjo curvas de pérdida casi idénticas al comenzar desde el mismo punto de control. ¡Incluso pudimos alternar entre AMD y NVIDIA en una sola ejecución de entrenamiento!
• El desempeño fue competitivo con nuestros sistemas A100 existentes. Perfilamos el rendimiento de entrenamiento de los modelos MPT de parámetros 1B a 13B y descubrimos que el rendimiento por GPU de MI250 estaba dentro del 80 % del A100-40GB y dentro del 73 % del A100-80GB. Esperamos que esta brecha se cierre a medida que mejore el software de AMD.
• Todo simplemente funciona. No se necesitaron cambios de código.

Si bien la GPU Instinct MI250 de AMD ofreció una ligera ventaja sobre las GPU NVIDIA A100 en términos de FLOP FP16 (sin escasez), capacidad de memoria y ancho de banda de la memoria, debe tenerse en cuenta que MI250 solo puede escalar hasta 4 aceleradores, mientras que las GPU NVIDIA A100 pueden escalar hasta 8 GPU en un solo sistema.

Echando un vistazo más profundo, tanto el hardware de AMD como el de NVIDIA pudieron lanzar cargas de trabajo de entrenamiento de IA con fundición LLM con facilidad. El rendimiento se evaluó en dos cargas de trabajo de entrenamiento, primero fue el rendimiento general (Tokens/Seg/GPU) y el otro fue el rendimiento general (TFLOP/Sec/GPU).

El rendimiento de entrenamiento de IA se realizó en una gama de modelos de 1 mil millones a 13 mil millones de parámetros. Las pruebas mostraron que el AMD Instinct MI250 entregó el 80 % del rendimiento del A100 de 40 GB de NVIDIA y el 73 % del rendimiento de la variante de 80 GB. NVIDIA mantuvo su posición de liderazgo en todos los puntos de referencia, pero debe mencionarse que también tenían el doble de GPU funcionando en las pruebas. Además, se menciona que se esperan más mejoras en el lado del entrenamiento para los aceleradores AMD Instinct en el futuro.

AMD ya está preparando sus aceleradores Instinct MI300 de próxima generación para cargas de trabajo de HPC e IA. La compañía demostró cómo el chip manejó un modelo LLM con 40 mil millones de parámetros en una sola solución. El MI300 también escalará en hasta 8 configuraciones de GPU y APU. El chip competirá contra el H100 de NVIDIA y cualquier cosa en la que el equipo verde haya estado trabajando para su lanzamiento el próximo año. El MI300 ofrecerá la mayor capacidad de memoria en cualquier GPU con 192 GB HBM3 y un ancho de banda mucho mayor que la solución de NVIDIA. Será interesante ver si estos avances de software en el frente de AMD serán suficientes para capturar la participación de mercado de más del 90% que NVIDIA ha adquirido dentro del espacio de IA.

Se ha encontrado una dependencia maliciosa en PyTorch que engaña a los desarrolladores de Python (se abre en una pestaña nueva) en descargarlo y luego robar sus datos confidenciales.

PyTorch reveló recientemente que había descubierto una dependencia maliciosa que comparte su nombre con la biblioteca «torchtriton» del marco. Se dijo que los administradores que instalaron PyTorch-nightly durante las vacaciones se vieron comprometidos, y la plataforma los instó a desinstalar el marco y la dependencia falsa ‘torchtriton’, de inmediato.

Meta ha anunciado (se abre en una pestaña nueva) está entregando su plataforma de inteligencia artificial (IA) PyTorch a la Fundación Linux.

Creado por Facebook en 2016, PyTorch es un marco de aprendizaje profundo que se ha utilizado para muchos proyectos de IA, con énfasis en proyectos de aprendizaje automático (ML).

Meta AI anunció hoy que la gobernanza de PyTorch, un popular marco de aprendizaje profundo de código abierto, se ha trasladado a una organización independiente llamada Fundación PyTorch. Operará como parte de la Fundación Linux sin fines de lucro, y su junta directiva incluye representantes de Nvidia, Meta, Google, Microsoft, Amazon y AMD.

El movimiento se produce a medida que el marco PyTorch se usa más ampliamente en la industria del aprendizaje profundo para impulsar muchos proyectos de lenguaje natural y visión por computadora, incluido Tesla Autopilot. Meta cita a más de 2400 contribuyentes y 150 000 proyectos construidos en el marco. Hacer girar PyTorch en su propia base evita posibles conflictos de intereses que podrían surgir si PyTorch solo estuviera controlado por Meta, que creó el marco.

«La Fundación PyTorch se esforzará por adherirse a cuatro principios», escribió Meta en una publicación de blog anunciando la noticia. «Permanecer abiertos, mantener una marca neutral, ser justos y forjar una identidad técnica sólida. Una de las principales prioridades de la fundación es mantener una separación clara entre el gobierno comercial y técnico de PyTorch».

El proyecto PyTorch comenzó en 2016 como una implementación de la biblioteca Torch en Python, y ganó renombre por el cálculo de tensores y su autogradación basada en cinta, que registra operaciones como una grabadora de cinta y luego las reproduce hacia atrás para calcular gradientes.

Si eso suena complicado, es porque lo es, pero PyTorch facilita esas funciones al unirlas en un bloque de código que se puede usar en proyectos de aprendizaje automático más complejos sin necesidad de que cada nuevo proyecto reinvente los fundamentos cada vez. Capas sobre capas de bibliotecas y marcos conforman la mayoría de las aplicaciones de software modernas de hoy en día, y eso es especialmente cierto en el campo del aprendizaje automático.

Según Meta, la transición a la Fundación PyTorch no afectará ningún código PyTorch existente, y Meta sigue comprometida a invertir en el marco ahora independiente en el futuro.

En 2016, Meta (entonces un simple país de Facebook) lanzó su biblioteca de investigación de IA de código abierto, el marco Pytorch. Seis años y 150.000 proyectos de 2.400 contribuyentes más tarde, Meta anunció el lunes que el proyecto Pytorch pronto dejará de estar bajo el control directo de la compañía para convertirse en su propia entidad, la Fundación Pytorch, una subsidiaria dentro de la hegemonía sin fines de lucro de la Fundación Linux.

Durante la última media década, Pytorch ha crecido hasta convertirse en un estándar líder para la comunidad de investigación de IA. El CEO de Meta, Mark Zuckerberg, señaló en el comunicado de prensa del lunes que alrededor del 80 por ciento de los «investigadores que envían su trabajo en las principales conferencias de ML, como NeurIPS o ICML , aprovechar el marco.”

“Hemos creado bibliotecas que admiten algunos de los dominios principales del campo de la IA, como la visión de antorcha, que impulsa la mayor parte de la investigación moderna de visión por computadora del mundo”, continuó Zuckerberg. “El marco seguirá siendo parte del trabajo de ingeniería e investigación de IA de Meta”.

Pero Pytorch no es solo el bebé de Meta, sino que sirve como base tecnológica para gran parte del trabajo de los servicios web de Amazon, así como para Microsoft Azure y OpenAI. Como tal, la Fundación Pytorch “contará con una junta de gobierno de amplio alcance compuesta por representantes de AMD, Amazon Web Services, Google Cloud, Meta, Microsoft Azure y Nvidia, con la intención de expandirse aún más con el tiempo”. Y para garantizar que la fundación incipiente no pierda de vista los valores que encarna, la nueva organización se adherirá a cuatro principios de «permanecer abiertos, mantener una marca neutral, mantenerse justos y forjar una identidad técnica sólida». Aparentemente, «no seas malvado» ya estaba tomado.

A pesar de estar libre de supervisión directa, Meta tiene la intención de continuar empleando Pytorch como su principal plataforma de investigación de IA y apoyarla financieramente en consecuencia. Sin embargo, Zuckerberg señaló que la compañía planea mantener “una separación clara entre el gobierno comercial y técnico” de la fundación.