{"id":543299,"date":"2023-03-29T10:01:45","date_gmt":"2023-03-29T10:01:45","guid":{"rendered":"https:\/\/magazineoffice.com\/las-cpu-intel-4-a-generacion-xeon-sapphire-rapids-logran-un-rendimiento-de-difusion-estable-de-ia-hasta-10-veces-mayor-con-amx\/"},"modified":"2023-03-29T10:01:53","modified_gmt":"2023-03-29T10:01:53","slug":"las-cpu-intel-4-a-generacion-xeon-sapphire-rapids-logran-un-rendimiento-de-difusion-estable-de-ia-hasta-10-veces-mayor-con-amx","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/las-cpu-intel-4-a-generacion-xeon-sapphire-rapids-logran-un-rendimiento-de-difusion-estable-de-ia-hasta-10-veces-mayor-con-amx\/","title":{"rendered":"Las CPU Intel 4.\u00aa generaci\u00f3n Xeon \u00abSapphire Rapids\u00bb logran un rendimiento de difusi\u00f3n estable de IA hasta 10 veces mayor con AMX"},"content":{"rendered":"
\n<\/p>\n
\n
Las CPU Xeon de 4.\u00aa generaci\u00f3n de Intel con nombre en c\u00f3digo Sapphire Rapids han logrado una mejora del rendimiento de hasta 10 veces en AI Stable Diffusion gracias a AMX.<\/p>\n
Intel aumenta el rendimiento de difusi\u00f3n estable de IA con aceleraci\u00f3n AMX en CPU Xeon Sapphire Rapids de cuarta generaci\u00f3n<\/h2>\n
Las CPU Intel 4th Gen Xeon \u00abSapphire Rapids\u00bb lanzadas recientemente han visto una adopci\u00f3n acelerada en el segmento de la nube y el centro de datos. Una de las \u00e1reas clave en las que Intel ha puesto un esfuerzo adicional es su conjunto de caracter\u00edsticas de hardware para la aceleraci\u00f3n del aprendizaje profundo, que se potencia con los nuevos aceleradores AMX (Advanced Matrix Extension).<\/p>\n
Intel primero muestra la latencia promedio entre las CPU Sapphire Rapids de generaci\u00f3n actual y las CPU Ice Lake de \u00faltima generaci\u00f3n. Las CPU Xeon de 3.\u00aa generaci\u00f3n requieren alrededor de 45 segundos para ejecutar un c\u00f3digo, mientras que las CPU de 4.\u00aa generaci\u00f3n tardan 32,3 segundos. Esta es una latencia un 28 % m\u00e1s baja sin ning\u00fan cambio en el c\u00f3digo. Entonces, \u00bfqu\u00e9 pasar\u00eda si Intel usara un conjunto de herramientas optimizado y de c\u00f3digo abierto para la inferencia de alto rendimiento como OpenVINO?<\/p>\n
\u00a1La respuesta es a\u00fan m\u00e1s aceleraci\u00f3n en el rendimiento! Con Optimum Intel y OpenVino, las CPU Intel Xeon reducen la latencia a 16,7 segundos, una aceleraci\u00f3n de m\u00e1s del doble. La optimizaci\u00f3n adicional del c\u00f3digo a una resoluci\u00f3n fija reduce la latencia a solo 4,7 segundos, lo que marca una aceleraci\u00f3n de 3,5 a 3,8 veces con respecto al c\u00f3digo intacto.<\/p>\n
\n
Con una forma est\u00e1tica, la latencia promedio se reduce a 4,7 segundos<\/strong>una aceleraci\u00f3n adicional de 3.5x.<\/p>\n
Como puede ver, OpenVINO es una forma simple y eficiente de acelerar la inferencia de difusi\u00f3n estable. Cuando se combina con una CPU Sapphire Rapids, ofrece una aceleraci\u00f3n de casi 10 veces en comparaci\u00f3n con la inferencia de vainilla en Ice Lake Xeons.<\/p>\n
Si no puede o no quiere usar OpenVINO, el resto de esta publicaci\u00f3n le mostrar\u00e1 una serie de otras t\u00e9cnicas de optimizaci\u00f3n. \u00a1Abroche el cintur\u00f3n de seguridad!<\/p>\n
Tambi\u00e9n habilitamos la bloat16<\/code> formato de datos para aprovechar el acelerador AMX de la unidad de multiplicaci\u00f3n de matriz de mosaicos (TMMU) presente en las CPU Sapphire Rapids.<\/p>\n
Con esta versi\u00f3n actualizada, la latencia de inferencia se reduce a\u00fan m\u00e1s de 11,9 segundos a 5,4 segundos<\/strong>. Eso es m\u00e1s de 2x de aceleraci\u00f3n gracias a IPEX y AMX.<\/p>\n
Con esta versi\u00f3n final, la latencia de inferencia ahora se reduce a 5,05 segundos<\/strong>. En comparaci\u00f3n con nuestra referencia inicial de Sapphire Rapids (32,3 segundos), \u00a1esto es casi 6,5 veces m\u00e1s r\u00e1pido!<\/p>\n
a trav\u00e9s de Intel<\/p>\n<\/blockquote>\n
Otras optimizaciones a nivel de sistema, IPEX y BF16 aportan a\u00fan m\u00e1s rendimiento a la mesa y los resultados se pueden ver en el gr\u00e1fico proporcionado por Intel:<\/p>\n<\/figure>\n
Las CPU Sapphire Rapids Xeon de Intel est\u00e1n actualmente disponibles para una vista previa en las instancias Amazon EC2 R7iz, puede registrarse aqu\u00ed para acceder y ver las ventajas que la familia de CPU de 4.\u00aa generaci\u00f3n trae a la mesa. Con Stable Diffusion y modelos de IA similares cada vez m\u00e1s populares, se puede ver por qu\u00e9 las CPU de Intel se convertir\u00e1n en una opci\u00f3n popular en este segmento.<\/p>\n