Intel anunció soporte para los modelos Phi-3 AI de Microsoft en toda su gama de productos de CPU y GPU.

El modelo Phi-3 de Microsoft llevará la informática de IA personalizada a un nivel completamente nuevo y funciona bien en todos los productos de CPU y GPU de Blue Team

Antes de discutir los detalles, examinemos la familia de modelos abiertos Phi-3 de Microsoft. Los nuevos modelos GenAI de la empresa se centran en proporcionar capacidades en un nivel más pequeño y más eficiente, desviándose de las normas de la industria. Con Phi-3, pudimos ver el surgimiento de Small Language Models (SLM), ideales para dispositivos de bajo consumo con potencia de procesamiento limitada.

Afortunadamente, Intel se ha convertido en uno de los primeros fabricantes de hardware en brindar soporte para SLM dentro de su línea de productos, y ahora los aceleradores Gaudi AI de Intel, las CPU Xeon y Core Ultra y las GPU Arc de Intel (discretas e integradas) están optimizadas para admitir Phi. -3 modelos de Microsoft.

Proporcionamos a clientes y desarrolladores potentes soluciones de IA que utilizan los últimos modelos y software de IA de la industria. Nuestra colaboración activa con colegas líderes en el ecosistema de software de IA, como Microsoft, es clave para llevar la IA a todas partes. Estamos orgullosos de trabajar estrechamente con Microsoft para garantizar que el hardware Intel (que abarca el centro de datos, el borde y el cliente) admita activamente varios modelos nuevos de Phi-3.

– Pallavi Mahajan, vicepresidente corporativo y director general de Intel, centro de datos y software de inteligencia artificial

Microsoft ha lanzado varios modelos Phi-3 GenAI, clasificándolos dentro de sus respectivos parámetros. Estos incluyen modelos mini, pequeños y medianos; Curiosamente, Intel ha mostrado el rendimiento de sus productos en todos los modelos abiertos. Comenzando con las CPU Xeon de sexta generación de Intel (Granite Rapids), la empresa comparó las variantes Phi-3 medianas de 4k y 128k, y la plataforma ofreció 2 veces más rendimiento en comparación con sus contrapartes Xeon de quinta generación (Emerald Rapids).

Pasando a la plataforma de CPU Core Ultra de Intel, la empresa dice que los modelos Phi-3 catalizarán el proceso de IA de vanguardia y ofrecerán varias ventajas, como «personalización y capacidad de respuesta». Dicho esto, la compañía probó el modelo Phi-3 mini con Core Ultra 7 165H de Intel, con el Arc A770 como GPU discreta integrada, y los puntos de referencia mostraron un rendimiento impresionante y latencias de generación de tokens.

El debut de los modelos de IA Phi-3 de Microsoft ciertamente abrirá nuevas puertas en la era de la computación de IA personalizada, y con el rendimiento que tienen los procesadores modernos, ejecutar dichos modelos no sería un problema en absoluto.

Fuente de noticias: Intel

Microsoft ha presentado su último modelo ligero de IA llamado Phi-3 Mini, diseñado para ejecutarse en teléfonos inteligentes y otros dispositivos locales, según reveló en un nuevo artículo de investigación. Entrenado en 3.800 millones de parámetros, es el primero de tres pequeños modelos de lenguaje Phi-3 que la compañía lanzará en un futuro próximo. El objetivo es proporcionar una alternativa más económica a los LLM basados ​​en la nube, permitiendo a las organizaciones más pequeñas adoptar la IA.

Según Microsoft, el nuevo modelo supera cómodamente a su anterior modelo pequeño Phi-2 y está a la par con modelos más grandes como Llama 2. De hecho, la compañía dice que Phi-3 Mini proporciona respuestas cercanas al nivel de un modelo 10 veces su tamaño. .

«La innovación reside enteramente en nuestro conjunto de datos para la formación», según el artículo de investigación. Ese conjunto de datos se basa en el modelo Phi-2, pero utiliza «datos web y datos sintéticos muy filtrados», afirma el equipo. De hecho, se utilizó un LLM separado para realizar ambas tareas, creando efectivamente nuevos datos que permiten que el modelo de lenguaje más pequeño sea más eficiente. El equipo supuestamente se inspiró en libros infantiles que utilizan un lenguaje más sencillo para abordar temas complejos, según El borde.

Si bien todavía no puede producir los resultados de los LLM basados ​​en la nube, Phi-3 Mini puede superar a Phi-2 y otros modelos de lenguajes pequeños (Mistral, Gemma, Llama-3-In) en tareas que van desde matemáticas hasta programación y exámenes académicos. . Al mismo tiempo, se ejecuta en dispositivos tan simples como teléfonos inteligentes, sin necesidad de conexión a Internet.

Su principal limitación es la amplitud del «conocimiento fáctico» debido al tamaño más pequeño del conjunto de datos; de ahí que no funcione bien en la prueba «TriviaQA». Aun así, debería ser bueno para modelos que sólo requieren conjuntos de datos internos más pequeños. Microsoft espera que eso podría permitir a las empresas que no pueden permitirse un LLM conectado a la nube saltar a la IA.

Phi-3 Mini ahora está disponible en Azure, Hugging Face y Ollama. Microsoft está listo para lanzar Phi-3 Small y Phi-3 Medium con capacidades significativamente mayores (7 mil millones y 14 mil millones de parámetros, respectivamente).

Este artículo contiene enlaces de afiliados; Si hace clic en dicho enlace y realiza una compra, podemos ganar una comisión.

Microsoft lanzó la próxima versión de su modelo liviano de inteligencia artificial Phi-3 Mini, el primero de tres modelos pequeños que la compañía planea lanzar.

Phi-3 Mini mide 3.800 millones de parámetros y está entrenado en un conjunto de datos que es más pequeño en relación con Modelos de lenguaje grandes como GPT-4. Ahora está disponible en Azure, Hugging Face y Ollama. Microsoft planea lanzar Phi-3 Small (parámetros 7B) y Phi-3 Medium (parámetros 14B). Los parámetros se refieren a cuántas instrucciones complejas puede comprender un modelo.

La empresa lanzó Phi-2 en diciembreque funcionó tan bien como modelos más grandes como Llama 2. Microsoft dice que Phi-3 funciona mejor que la versión anterior y puede proporcionar respuestas cercanas a las de un modelo 10 veces más grande que él.

Eric Boyd, vicepresidente corporativo de Microsoft Azure AI Platform, dice El borde Phi-3 Mini es tan capaz como LLM como GPT-3.5 «solo que en un factor de forma más pequeño».

En comparación con sus homólogos más grandes, los modelos pequeños de IA A menudo son más baratos de ejecutar y funcionan mejor en el ámbito personal. Dispositivos como teléfonos y portátiles. La información informó a principios de este año que Microsoft estaba construir un equipo centrado específicamente en modelos de IA más livianos. Junto con Phi, la empresa también ha construido Orca-Matemáticasun modelo centrado en la resolución de problemas matemáticos.

Boyd dice que los desarrolladores entrenaron a Phi-3 con un «plan de estudios». Se inspiraron en cómo los niños aprendieron de los cuentos antes de dormir, los libros con palabras más simples y las estructuras de oraciones que hablan de temas más amplios.

«No hay suficientes libros para niños, así que tomamos una lista de más de 3.000 palabras y le pedimos a un LLM que hiciera ‘libros para niños’ para enseñar Phi», dice Boyd.

Añadió que Phi-3 simplemente se basó en lo aprendido en iteraciones anteriores. Mientras que Phi-1 se centró en la codificación y Phi-2 comenzó a aprender a razonar, Phi-3 es mejor codificando y razonando. Si bien la familia de modelos Phi-3 tiene algunos conocimientos generales, no puede superar a un GPT-4 u otro LLM en amplitud: existe una gran diferencia en el tipo de respuestas que puede obtener de un LLM capacitado en Internet en comparación con un modelo más pequeño como Phi-3.

Boyd dice que las empresas a menudo descubren que los modelos más pequeños como Phi-3 funcionan mejor para sus aplicaciones personalizadas ya que, para muchas empresas, sus conjuntos de datos internos serán más pequeños de todos modos. Y como estos modelos utilizan menos potencia informática, suelen ser mucho más asequibles.