La \u00faltima actualizaci\u00f3n de Llamafile ha aumentado el rendimiento de las CPU Ryzen de AMD hasta 10 veces utilizando sus capacidades AVX-512.<\/p>\n
Ejecutar modelos LLM pesados \u200b\u200ben sistemas locales se ha vuelto m\u00e1s f\u00e1cil con la \u00faltima actualizaci\u00f3n de Llamafile, ya que las CPU AMD Ryzen con AVX-512 obtienen un impulso 10 veces mayor<\/h2>\n
Phoronix informa que la \u00faltima actualizaci\u00f3n de Llamafile ahora admite el conjunto de instrucciones AVX-512, lo que permite a las CPU que admiten AVX-512 presenciar un aumento masivo del rendimiento mientras usan el software. Se informa que las CPU Zen 4 \u00abRyzen\u00bb de AMD experimentar\u00e1n una evaluaci\u00f3n r\u00e1pida diez veces m\u00e1s r\u00e1pida con la nueva actualizaci\u00f3n, lo que en \u00faltima instancia permitir\u00e1 un rendimiento LLM mucho m\u00e1s eficiente en la herramienta.<\/p>\n Para aquellos que no conocen Llamafile, se puede implementar con un \u00fanico archivo ejecutable que combina un modelo LLM con las bibliotecas necesarias para ejecutarlo. Mozilla Ocho ha desarrollado la herramienta con el objetivo de hacer que los LLM sean accesibles a una audiencia m\u00e1s amplia aprovechando las ejecuciones de CPU y GPU. La herramienta ha sido un gran \u00e9xito entre los desarrolladores, especialmente porque erradica la necesidad de soluciones de alto costo para acceder a los LLM, pero en este momento, Llamafile a\u00fan se encuentra en sus primeras etapas; por lo tanto, hay \u00e1reas de imprecisiones relacionadas con esto, que creemos que se solucionar\u00e1n pronto una vez que la narrativa de la inform\u00e1tica de punta tome impulso.<\/p>\n Bueno, la nueva actualizaci\u00f3n de rendimiento a\u00fan no se ha probado, pero Phoronix afirma que tienen planes de probar el nuevo Llamafire 0.7 en el futuro, tanto en sistemas AMD como Intel. Puede acceder a la \u00faltima versi\u00f3n a trav\u00e9s de GitHub aqu\u00ed. Tenga en cuenta que las CPU Ryzen de AMD son los \u00fanicos chips de consumo que admiten instrucciones AVX-512, mientras que Intel se ha retirado del soporte porque afecta las ventas de sus chips Xeon. Esto le da a la plataforma Ryzen de AMD una ventaja para los usuarios que desean ejecutar aplicaciones que aprovechen AVX-512.<\/p>\n![](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2024\/03\/audio-discount.png\")
<\/div>\n<\/div>\n