NVIDIA acaba de presentar algunos rendimientos r\u00e9cord de sus GPU Hopper H100 y L4 Ada dentro de los puntos de referencia de MLPerf AI.<\/p>\n
La destreza de IA de NVIDIA demostrada en los \u00faltimos puntos de referencia de IA de MLPerf: se lograron nuevos r\u00e9cords de rendimiento con las GPU Hopper H100 y L4 Ada<\/h2>\n
Hoy, NVIDIA presenta sus \u00faltimas cifras logradas dentro de MLPerf Interface 3.0. Los tres aspectos m\u00e1s destacados son los \u00faltimos registros de Hopper H100 que muestran el progreso de la GPU AI insignia en los \u00faltimos 6 meses con varias optimizaciones de software, tambi\u00e9n podemos ver los primeros resultados de la GPU L4 basada en la arquitectura de gr\u00e1ficos Ada que se anunci\u00f3. en GTC 2023 y, por \u00faltimo, hemos actualizado los resultados del Jetson AGX Orin, que se vuelve mucho m\u00e1s r\u00e1pido gracias a optimizaciones de nivel de potencia de plataforma y software similares. En resumen, los siguientes son los aspectos m\u00e1s destacados que vamos a ver hoy:<\/p>\n
- \n
- H100 establece nuevos registros de inferencia:<\/strong> Hasta un 54 % m\u00e1s de rendimiento frente al env\u00edo anterior<\/li>\n
- L4 Superchargers Mainstream Inferencia:<\/strong> M\u00e1s de 3 veces m\u00e1s r\u00e1pido que T4<\/li>\n
- Otro gran salto para Jetson AGX Orin:<\/strong> Hasta un 57% m\u00e1s de eficiencia frente al env\u00edo previo<\/li>\n<\/ul>\n
Para el conjunto de referencias de hoy, NVIDIA analizar\u00e1 MLPerf Inference v3.0, que conserva las mismas cargas de trabajo que se usaron hace 6 meses en presentaciones anteriores, pero se agreg\u00f3 el entorno de red que mide con precisi\u00f3n c\u00f3mo se env\u00edan los datos a una plataforma de inferencia para hacer el trabajo NVIDIA tambi\u00e9n revela que durante la vida \u00fatil de un producto, la compa\u00f1\u00eda puede exprimir casi el doble de rendimiento a trav\u00e9s de optimizaciones de software, y eso ya se ha visto en GPU anteriores como el Ampere A100.<\/p>\n
<\/figure>\nNVIDIA H100 ofrece una gran mejora en el rendimiento desde su lanzamiento gracias a las optimizaciones de software, hasta 4,5 veces m\u00e1s que la \u00faltima generaci\u00f3n<\/h4>\n
Comenzando con las pruebas de rendimiento de Hopper H100, vemos las pruebas de inferencia MLPerf en las categor\u00edas fuera de l\u00ednea y de servidor. Los puntos de referencia fuera de l\u00ednea muestran un aumento de rendimiento de hasta 4,5 veces con respecto a Ampere A100 (BERT 99,9 %), mientras que en el escenario del servidor, el H100 produce un impresionante salto de rendimiento de 4,0 veces con respecto a su predecesor.<\/p>\n
![\"\"](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2023\/04\/NVIDIA-MLPerf-Hopper-H100-L4-Ada-GPUs-Performance-Benchmarks-_2.png\")
<\/figure>\nPara lograr este nivel de rendimiento, NVIDIA utiliza el rendimiento del FP8 a trav\u00e9s de su motor de transformador integrado en la arquitectura Hopper. Funciona por capa mediante el an\u00e1lisis de todo el trabajo que se env\u00eda a trav\u00e9s de \u00e9l y luego certifica si los datos se pueden ejecutar en FP8 sin comprometer la eficiencia. Si, por ejemplo, los datos se pueden ejecutar en FP8, entonces los usar\u00e1; si no, entonces el motor del transformador utilizar\u00e1 la acumulaci\u00f3n de FP16 Math Ops y FP32 para ejecutar los datos. Dado que Ampere no ten\u00eda una arquitectura de motor Transformer, se ejecut\u00f3 en FP16+FP32 en lugar de FP8.<\/p>\n
![\"\"](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2023\/04\/NVIDIA-MLPerf-Hopper-H100-L4-Ada-GPUs-Performance-Benchmarks-_3.png\")
<\/figure>\nAl comparar sus datos con el chip Xeon Sapphire Rapids de cuarta generaci\u00f3n m\u00e1s r\u00e1pido de Intel, el 8480+, la GPU Hopper H100 simplemente los supera en todas las pruebas de rendimiento y muestra por qu\u00e9 las GPU siguen siendo el camino a seguir en t\u00e9rminos de inferencia a pesar de que Intel utiliza una variedad de IA. -aceleradores basados \u200b\u200ben sus nuevos chips.<\/p>\n
![\"\"](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2023\/04\/NVIDIA-MLPerf-Hopper-H100-L4-Ada-GPUs-Performance-Benchmarks-_4.png\")
<\/figure>\nPasando a la progresi\u00f3n del lado del software de Hopper, desde los 6 meses de disponibilidad de H100, la GPU ha visto una mejora de hasta un 54 %, principalmente en redes basadas en im\u00e1genes. En 3D U-Net, que es una red de im\u00e1genes m\u00e9dicas, la GPU H100 ve un aumento del 31 % e incluso en BERT del 99 %, que se mostr\u00f3 arriba, el nuevo chip obtiene un aumento del 12 % con respecto a su presentaci\u00f3n de referencia anterior. Esto se logra mediante la utilizaci\u00f3n de nuevos avances de software, como kernels de supresi\u00f3n no m\u00e1xima optimizados y lotes de ventana deslizante en subvol\u00famenes.<\/p>\n
GPU NVIDIA L4: tarjeta peque\u00f1a con rendimiento masivo, hasta 3,1 veces m\u00e1s r\u00e1pida que T4 con la misma potencia<\/h4>\n
L4 de NVIDIA tambi\u00e9n hizo su primera aparici\u00f3n dentro de MLPerf. La GPU L4 de factor de forma peque\u00f1o se anunci\u00f3 en GTC 2023 como un producto Tensor Core puro que tambi\u00e9n es compatible con las instrucciones FP8 en la arquitectura Ada, aunque el motor Transformer solo es espec\u00edfico para las GPU Hopper. Como sucesora de la T4, la GPU L4 no solo es un primer producto de inferencia, sino que tambi\u00e9n presenta varias funciones de codificaci\u00f3n de video para capacidades de codificaci\u00f3n de video basadas en IA.<\/p>\n
![\"\"](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2023\/04\/NVIDIA-MLPerf-Hopper-H100-L4-Ada-GPUs-Performance-Benchmarks-_5.png\")
<\/figure>\nEn cuanto al rendimiento, la GPU NVIDIA L4 ofrece un aumento masivo de rendimiento de hasta 3,1x con respecto a su predecesora, una vez m\u00e1s en BERT 99,9% y su 2x en general en los puntos de referencia de inferencia con la misma potencia.<\/p>\n
Al ser un dise\u00f1o de factor de forma peque\u00f1o con una potencia de 72 W, la L4 se puede utilizar en una variedad de servidores sin tener que redise\u00f1ar el chasis del servidor o la entrega de energ\u00eda para albergar una tarjeta tan peque\u00f1a. Al igual que su predecesor, el L4 busca ser un servidor y un producto CSP muy popular, ya que casi todos los CSP tienen una instancia T4. Google tambi\u00e9n anunci\u00f3 recientemente sus instancias L4, que ya est\u00e1n en versi\u00f3n preliminar privada con m\u00e1s CSP en camino.<\/p>\n
![\"\"](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2023\/04\/NVIDIA-MLPerf-Hopper-H100-L4-Ada-GPUs-Performance-Benchmarks-_6.png\")
<\/figure>\nNVIDIA Orin obtiene impulso en todos los \u00e1mbitos<\/h4>\n
Por \u00faltimo, tenemos los \u00faltimos saltos de rendimiento entregados a Jetson AGX Orin a trav\u00e9s del Jetpack SDK. El Orin SOC ha estado disponible durante un a\u00f1o y NVIDIA est\u00e1 mostrando una mejora significativa en el rendimiento. Solo en rendimiento, Orin SOC obtiene un aumento de hasta un 81 %, mientras que en eficiencia energ\u00e9tica, el chip muestra un aumento de rendimiento de hasta un 63 %, lo que es espectacular y un testimonio del compromiso de NVIDIA con la GPU y la longevidad del silicio en el espacio del servidor.<\/p>\n
![\"\"](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2023\/04\/NVIDIA-MLPerf-Hopper-H100-L4-Ada-GPUs-Performance-Benchmarks-_7.png\")
<\/figure>\nEstas mejoras de rendimiento no solo se limitan al Jetson AGX Orin, sino que incluso el Orin NX del tama\u00f1o de una tarjeta que viene con 16 GB de memoria integrada en un dise\u00f1o de factor de forma peque\u00f1o obtiene una mejora del rendimiento de hasta 3,2 veces con respecto al Xavier NX, que es otro gran mejora y los clientes pueden esperar a\u00fan m\u00e1s rendimiento en el futuro.<\/p>\n
![\"\"](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2023\/04\/NVIDIA-MLPerf-Hopper-H100-L4-Ada-GPUs-Performance-Benchmarks-_8.png\")
<\/figure>\nDeci logra una velocidad de inferencia sin precedentes en GPU NVIDIA en MLPerf<\/h4>\n
Mientras hablaba del tema de MLPerf, Deci tambi\u00e9n anunci\u00f3 que logr\u00f3 una velocidad de inferencia sin precedentes en GPU NVIDIA en MLPerf. El siguiente gr\u00e1fico ilustra el rendimiento de rendimiento por TeraFLOP logrado por Deci y otros remitentes dentro de la misma categor\u00eda. Deci entreg\u00f3 el rendimiento m\u00e1s alto por TeraFLOP y al mismo tiempo mejor\u00f3 la precisi\u00f3n. Esta eficiencia de inferencia se traduce en importantes ahorros de costos en potencia de c\u00f3mputo y una mejor experiencia de usuario. En lugar de depender de hardware m\u00e1s costoso, los equipos que usan Deci ahora pueden ejecutar la inferencia en la GPU A100 de NVIDIA, logrando un rendimiento 1,7 veces m\u00e1s r\u00e1pido y una precisi\u00f3n F1 +0,55 mejor, en comparaci\u00f3n con la GPU H100 de NVIDIA. Esto significa un ahorro de costos del 68 %* por consulta de inferencia.<\/p>\n
![\"\"](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2023\/04\/image002-1.png\")
<\/figure>\nOtros beneficios de los resultados de Deci incluyen la capacidad de migrar de m\u00faltiples GPU a una sola GPU y costos de inferencia m\u00e1s bajos y menos esfuerzos de ingenier\u00eda. Por ejemplo, los ingenieros de aprendizaje autom\u00e1tico que usan Deci pueden lograr un mayor rendimiento en una tarjeta H100 que en 8 tarjetas NVIDIA A100 combinadas. En otras palabras, con Deci, los equipos pueden reemplazar 8 tarjetas NVIDIA A100 con solo una tarjeta NVIDIA H100, mientras obtienen un mayor rendimiento y una mejor precisi\u00f3n (+0.47 F1).<\/p>\n
\n\n
\n Hardware<\/strong><\/td>\n Rendimiento de otros remitentes<\/strong><\/td>\n Rendimiento de Deci<\/strong><\/td>\n Precisi\u00f3n BERT F1<\/strong><\/td>\n Precisi\u00f3n Deci Optimized F1<\/strong><\/td>\n Aumento de precisi\u00f3n<\/strong><\/td>\n<\/tr>\n \n GPU NVIDIA A30<\/td>\n 866<\/td>\n 5,885<\/td>\n 90.874<\/td>\n 91.281<\/td>\n 0.4076<\/td>\n<\/tr>\n \n GPU NVIDIA A100, 80GB<\/td>\n 1,756<\/td>\n 13,377<\/td>\n 90.874<\/td>\n 91.430<\/td>\n 0.5560<\/td>\n<\/tr>\n \n 8 GPU NVIDIA A100<\/td>\n 13,967<\/td>\n 103,053<\/td>\n 90.874<\/td>\n 91.430<\/td>\n 0.5560<\/td>\n<\/tr>\n \n GPU NVIDIA H100 PCIe<\/td>\n 7,921<\/td>\n 17,584<\/td>\n 90.874<\/td>\n 91.346<\/td>\n 0.4722<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n En la GPU NVIDIA A30, que es una GPU m\u00e1s asequible, Deci entreg\u00f3 un rendimiento acelerado y un aumento del 0,4 % en la precisi\u00f3n F1 en comparaci\u00f3n con una l\u00ednea de base FP32.<\/p>\n
Al usar Deci, los equipos que anteriormente necesitaban ejecutarse en una GPU NVIDIA A100 ahora pueden migrar sus cargas de trabajo a la GPU NVIDIA A30 y lograr un rendimiento 3 veces mejor que el que ten\u00edan anteriormente por aproximadamente un tercio del precio de c\u00f3mputo. Esto significa un rendimiento dram\u00e1ticamente mejor por un costo de nube de inferencia significativamente menor.<\/p>\n
- L4 Superchargers Mainstream Inferencia:<\/strong> M\u00e1s de 3 veces m\u00e1s r\u00e1pido que T4<\/li>\n