Microsoft ha presentado su último modelo ligero de IA llamado Phi-3 Mini, diseñado para ejecutarse en teléfonos inteligentes y otros dispositivos locales, según reveló en un nuevo artículo de investigación. Entrenado en 3.800 millones de parámetros, es el primero de tres pequeños modelos de lenguaje Phi-3 que la compañía lanzará en un futuro próximo. El objetivo es proporcionar una alternativa más económica a los LLM basados en la nube, permitiendo a las organizaciones más pequeñas adoptar la IA.
Según Microsoft, el nuevo modelo supera cómodamente a su anterior modelo pequeño Phi-2 y está a la par con modelos más grandes como Llama 2. De hecho, la compañía dice que Phi-3 Mini proporciona respuestas cercanas al nivel de un modelo 10 veces su tamaño. .
«La innovación reside enteramente en nuestro conjunto de datos para la formación», según el artículo de investigación. Ese conjunto de datos se basa en el modelo Phi-2, pero utiliza «datos web y datos sintéticos muy filtrados», afirma el equipo. De hecho, se utilizó un LLM separado para realizar ambas tareas, creando efectivamente nuevos datos que permiten que el modelo de lenguaje más pequeño sea más eficiente. El equipo supuestamente se inspiró en libros infantiles que utilizan un lenguaje más sencillo para abordar temas complejos, según El borde.
Si bien todavía no puede producir los resultados de los LLM basados en la nube, Phi-3 Mini puede superar a Phi-2 y otros modelos de lenguajes pequeños (Mistral, Gemma, Llama-3-In) en tareas que van desde matemáticas hasta programación y exámenes académicos. . Al mismo tiempo, se ejecuta en dispositivos tan simples como teléfonos inteligentes, sin necesidad de conexión a Internet.
Su principal limitación es la amplitud del «conocimiento fáctico» debido al tamaño más pequeño del conjunto de datos; de ahí que no funcione bien en la prueba «TriviaQA». Aun así, debería ser bueno para modelos que sólo requieren conjuntos de datos internos más pequeños. Microsoft espera que eso podría permitir a las empresas que no pueden permitirse un LLM conectado a la nube saltar a la IA.
Phi-3 Mini ahora está disponible en Azure, Hugging Face y Ollama. Microsoft está listo para lanzar Phi-3 Small y Phi-3 Medium con capacidades significativamente mayores (7 mil millones y 14 mil millones de parámetros, respectivamente).
Este artículo contiene enlaces de afiliados; Si hace clic en dicho enlace y realiza una compra, podemos ganar una comisión.