Intel finalmente ha «abierto» su biblioteca de aceleración NPU, lo que permite a los desarrolladores y entusiastas ajustar sus aplicaciones para que funcionen mejor con los motores de inteligencia artificial de Intel.
El acceso abierto de Intel a las bibliotecas NPU revela que los motores de IA dedicados tienen un gran futuro por delante
La noticia proviene del evangelista tecnológico de Intel, Tony Mongkolsmai, quien reveló la nueva biblioteca de código abierto de la empresa en primer lugar.
Con este paso, la biblioteca de aceleración de NPU ayudará a los desarrolladores a beneficiarse de las NPU existentes en líneas de CPU como la serie Meteor Lake «Core Ultra». Está basado en Python y simplifica el desarrollo al proporcionar una interfaz de alto nivel y admite marcos populares como TensorFlow y PyTorch, lo que brinda a los desarrolladores el poder de aprovechar las capacidades de la biblioteca para hacer que las tareas relacionadas con la IA sean más eficientes.
Para los desarrolladores que han estado preguntando, consulte la biblioteca de aceleración Intel NPU de código abierto recientemente. Lo probé en mi máquina MSI Prestige 16 AI Evo (esta vez con Windows, pero la biblioteca también es compatible con Linux) y siguiendo la documentación de GitHub pude ejecutar TinyLlama… pic.twitter.com/UPMujuKGGT
– Tony Mongkolsmai (@tonymongkolsmai) 1 de marzo de 2024
Tony había estado ejecutando la biblioteca de aceleración NPU en una computadora portátil MSI Prestige 16 AI Evo, que cuenta con CPU Intel Core Ultra. Pudo ejecutar los modelos TinyLlama y Gemma-2b-it LLM en la máquina sin interrupciones en el rendimiento, lo que indica el potencial cautivado por las NPU de Intel y cómo promueven un entorno de IA de vanguardia para los desarrolladores. Así es como el propio equipo de desarrollo de Intel describe la biblioteca:
La biblioteca de aceleración Intel NPU es una biblioteca de Python diseñada para aumentar la eficiencia de sus aplicaciones aprovechando la potencia de la Unidad de procesamiento neuronal (NPU) de Intel para realizar cálculos de alta velocidad en hardware compatible.
En nuestra búsqueda por mejorar significativamente el rendimiento de la biblioteca, estamos dirigiendo nuestros esfuerzos hacia la implementación de una variedad de características clave, que incluyen:
- Cuantización de 8 bits
- Cuantización de 4 bits y GPTQ
- Inferencia de precisión mixta nativa de NPU
- Soporte flotante16
- BFloat16 (formato de punto flotante cerebral)
torch.compileapoyo- Implementación de fusión horizontal LLM MLP
- Inferencia de forma estática
- Inferencia MHA NPU
- Computación hetero NPU/GPU
- Papel
a través de GithubIntel
Es fantástico ver el código abierto de la biblioteca de aceleración de NPU, ya que, en última instancia, conduciría a una implementación mejorada de las aplicaciones de IA que se ejecutan en los motores de IA dedicados de Intel. Será interesante ver qué tipo de desarrollos vemos en estos motores en el futuro, ya que, como afirmó el propio Tony, hay mucho por hacer para consumidores y desarrolladores.
Fuente de noticias: Tony Mongkolsmai