\n<\/p>\n
Intel finalmente ha \u00ababierto\u00bb su biblioteca de aceleraci\u00f3n NPU, lo que permite a los desarrolladores y entusiastas ajustar sus aplicaciones para que funcionen mejor con los motores de inteligencia artificial de Intel.<\/p>\n
La noticia proviene del evangelista tecnol\u00f3gico de Intel, Tony Mongkolsmai, quien revel\u00f3 la nueva biblioteca de c\u00f3digo abierto de la empresa en primer lugar.<\/p>\n
Con este paso, la biblioteca de aceleraci\u00f3n de NPU ayudar\u00e1 a los desarrolladores a beneficiarse de las NPU existentes en l\u00edneas de CPU como la serie Meteor Lake \u00abCore Ultra\u00bb. Est\u00e1 basado en Python y simplifica el desarrollo al proporcionar una interfaz de alto nivel y admite marcos populares como TensorFlow y PyTorch, lo que brinda a los desarrolladores el poder de aprovechar las capacidades de la biblioteca para hacer que las tareas relacionadas con la IA sean m\u00e1s eficientes.<\/p>\n
\nPara los desarrolladores que han estado preguntando, consulte la biblioteca de aceleraci\u00f3n Intel NPU de c\u00f3digo abierto recientemente. Lo prob\u00e9 en mi m\u00e1quina MSI Prestige 16 AI Evo (esta vez con Windows, pero la biblioteca tambi\u00e9n es compatible con Linux) y siguiendo la documentaci\u00f3n de GitHub pude ejecutar TinyLlama… pic.twitter.com\/UPMujuKGGT<\/a><\/p>\n
– Tony Mongkolsmai (@tonymongkolsmai) 1 de marzo de 2024<\/a><\/p>\n<\/blockquote>\n
Tony hab\u00eda estado ejecutando la biblioteca de aceleraci\u00f3n NPU en una computadora port\u00e1til MSI Prestige 16 AI Evo, que cuenta con CPU Intel Core Ultra. Pudo ejecutar los modelos TinyLlama y Gemma-2b-it LLM en la m\u00e1quina sin interrupciones en el rendimiento, lo que indica el potencial cautivado por las NPU de Intel y c\u00f3mo promueven un entorno de IA de vanguardia para los desarrolladores. As\u00ed es como el propio equipo de desarrollo de Intel describe la biblioteca:<\/p>\n
\nLa biblioteca de aceleraci\u00f3n Intel NPU es una biblioteca de Python dise\u00f1ada para aumentar la eficiencia de sus aplicaciones aprovechando la potencia de la Unidad de procesamiento neuronal (NPU) de Intel para realizar c\u00e1lculos de alta velocidad en hardware compatible.<\/p>\n
En nuestra b\u00fasqueda por mejorar significativamente el rendimiento de la biblioteca, estamos dirigiendo nuestros esfuerzos hacia la implementaci\u00f3n de una variedad de caracter\u00edsticas clave, que incluyen:<\/p>\n
\n
- Cuantizaci\u00f3n de 8 bits<\/strong><\/li>\n
- Cuantizaci\u00f3n de 4 bits y GPTQ<\/strong><\/li>\n
- Inferencia de precisi\u00f3n mixta nativa de NPU<\/strong><\/li>\n
- Soporte flotante16<\/strong><\/li>\n
- BFloat16 (formato de punto flotante cerebral)<\/strong><\/li>\n
torch.compile<\/code> apoyo<\/strong><\/li>\n- Implementaci\u00f3n de fusi\u00f3n horizontal LLM MLP<\/strong><\/li>\n
- Inferencia de forma est\u00e1tica<\/strong><\/li>\n
- Inferencia MHA NPU<\/strong><\/li>\n
- Computaci\u00f3n hetero NPU\/GPU<\/strong><\/li>\n
- Papel<\/strong><\/li>\n<\/ul>\n
a trav\u00e9s de GithubIntel<\/p>\n<\/blockquote>\n
Es fant\u00e1stico ver el c\u00f3digo abierto de la biblioteca de aceleraci\u00f3n de NPU, ya que, en \u00faltima instancia, conducir\u00eda a una implementaci\u00f3n mejorada de las aplicaciones de IA que se ejecutan en los motores de IA dedicados de Intel. Ser\u00e1 interesante ver qu\u00e9 tipo de desarrollos vemos en estos motores en el futuro, ya que, como afirm\u00f3 el propio Tony, hay mucho por hacer para consumidores y desarrolladores.<\/p>\n
Fuente de noticias: Tony Mongkolsmai<\/a><\/p>\n