La última actualización de Llamafile ha aumentado el rendimiento de las CPU Ryzen de AMD hasta 10 veces utilizando sus capacidades AVX-512.
Ejecutar modelos LLM pesados en sistemas locales se ha vuelto más fácil con la última actualización de Llamafile, ya que las CPU AMD Ryzen con AVX-512 obtienen un impulso 10 veces mayor
Phoronix informa que la última actualización de Llamafile ahora admite el conjunto de instrucciones AVX-512, lo que permite a las CPU que admiten AVX-512 presenciar un aumento masivo del rendimiento mientras usan el software. Se informa que las CPU Zen 4 «Ryzen» de AMD experimentarán una evaluación rápida diez veces más rápida con la nueva actualización, lo que en última instancia permitirá un rendimiento LLM mucho más eficiente en la herramienta.
Para aquellos que no conocen Llamafile, se puede implementar con un único archivo ejecutable que combina un modelo LLM con las bibliotecas necesarias para ejecutarlo. Mozilla Ocho ha desarrollado la herramienta con el objetivo de hacer que los LLM sean accesibles a una audiencia más amplia aprovechando las ejecuciones de CPU y GPU. La herramienta ha sido un gran éxito entre los desarrolladores, especialmente porque erradica la necesidad de soluciones de alto costo para acceder a los LLM, pero en este momento, Llamafile aún se encuentra en sus primeras etapas; por lo tanto, hay áreas de imprecisiones relacionadas con esto, que creemos que se solucionarán pronto una vez que la narrativa de la informática de punta tome impulso.
Bueno, la nueva actualización de rendimiento aún no se ha probado, pero Phoronix afirma que tienen planes de probar el nuevo Llamafire 0.7 en el futuro, tanto en sistemas AMD como Intel. Puede acceder a la última versión a través de GitHub aquí. Tenga en cuenta que las CPU Ryzen de AMD son los únicos chips de consumo que admiten instrucciones AVX-512, mientras que Intel se ha retirado del soporte porque afecta las ventas de sus chips Xeon. Esto le da a la plataforma Ryzen de AMD una ventaja para los usuarios que desean ejecutar aplicaciones que aprovechen AVX-512.