{"id":155298,"date":"2022-09-09T20:48:32","date_gmt":"2022-09-09T20:48:32","guid":{"rendered":"https:\/\/magazineoffice.com\/deci-publica-los-puntos-de-referencia-de-mlperf-del-nuevo-modelo-nlp-y-logra-una-ganancia-masiva-de-646x-con-las-cpu-amd-epyc-milan-x\/"},"modified":"2022-09-09T20:48:35","modified_gmt":"2022-09-09T20:48:35","slug":"deci-publica-los-puntos-de-referencia-de-mlperf-del-nuevo-modelo-nlp-y-logra-una-ganancia-masiva-de-646x-con-las-cpu-amd-epyc-milan-x","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/deci-publica-los-puntos-de-referencia-de-mlperf-del-nuevo-modelo-nlp-y-logra-una-ganancia-masiva-de-646x-con-las-cpu-amd-epyc-milan-x\/","title":{"rendered":"Deci publica los puntos de referencia de MLPerf del nuevo modelo NLP y logra una ganancia masiva de 6,46x con las CPU AMD EPYC Milan-X"},"content":{"rendered":"


\n<\/p>\n

\n

La empresa de aprendizaje profundo Deci est\u00e1 revelando los resultados de su modelo de inferencia de procesamiento de lenguaje natural (NLP) presentado al conjunto de referencia MLPerf Inference v2.1 que logra una ganancia de rendimiento de hasta 6.46x con las CPU EPYC de AMD.<\/p>\n

El modelo NLP de Deci alcanza niveles revolucionarios en rendimiento en MLPerf, hasta 6,46x de ganancia con CPU AMD EPYC<\/h2>\n

Desarrollado por la tecnolog\u00eda de construcci\u00f3n de arquitectura neuronal automatizada (AutoNAC) de Deci, el modelo NLP, denominado DeciBERT-Large, se ejecut\u00f3 en el hardware Dell-PowerEdge-R7525-2 con el procesador AMD EPYC 7773X. El modelo resultante super\u00f3 el rendimiento del modelo BERT-Large en casi seis veces y media m\u00e1s y obtuvo un aumento de precisi\u00f3n del uno por ciento. La mejora resume las reducciones en el costo de la nube, lo que permite que m\u00e1s procesos operen en una m\u00e1quina durante una parte del tiempo. Tambi\u00e9n permite que los grupos usen una m\u00e1quina m\u00e1s rentable mientras mantienen un rendimiento de producci\u00f3n preciso.<\/p>\n

El nuevo modelo fue presentado bajo el escenario offline en la divisi\u00f3n abierta de MLPerf en la categor\u00eda BERT 99.9. El objetivo era maximizar el rendimiento manteniendo la precisi\u00f3n dentro de un margen de error del 0,1 % desde la l\u00ednea de base, que es 90,874 F1 (SQUAD). El modelo DeciBERT-Large super\u00f3 estos objetivos, logrando un rendimiento de 116 consultas por segundo (QPS) y una puntuaci\u00f3n de precisi\u00f3n F1 de 91,08. Como puede ver en la siguiente tabla, el chip AMD EPYC 7773X Milan-X ofrece un aumento de rendimiento de hasta 6,46x en comparaci\u00f3n con el modelo BERT-Large.<\/p>\n\n\n\n\n\n\n
Hardware<\/td>\nPrecisi\u00f3n F1 en<\/p>\n

PLANTILLA (INT8)<\/p>\n<\/td>\n

Tama\u00f1o del modelo (en millones de par\u00e1metros)<\/td>\nRendimiento (QPS)<\/p>\n

Tiempo de ejecuci\u00f3n ONNX<\/p>\n

FP32<\/p>\n<\/td>\n

Rendimiento (QPS)<\/p>\n

Tiempo de ejecuci\u00f3n ONNX<\/p>\n

INT8<\/p>\n<\/td>\n

Impulso de Deci<\/td>\n<\/tr>\n
BERT grande<\/td>\nDell-PowerEdge-R7525-2xAMD-EPYC-7773X<\/td>\n90.067<\/td>\n340<\/td>\n12<\/td>\n18<\/td>\n–<\/td>\n<\/tr>\n
DeciBERT grande<\/td>\nDell-PowerEdge-R7525-2xAMD-EPYC-7773X<\/td>\n91.08<\/td>\n115<\/td>\n76<\/td>\n116<\/td>\n6.64x<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Deci aprovech\u00f3 su motor patentado de tecnolog\u00eda de construcci\u00f3n de arquitectura neuronal automatizada (AutoNAC) para desarrollar una nueva arquitectura modelo adaptada al procesador EPYC AMD. AutoNAC, un motor de optimizaci\u00f3n algor\u00edtmica que forja las mejores arquitecturas de modelo de aprendizaje profundo de su clase para cualquier asignaci\u00f3n, conjunto de datos y hardware de inferencia, generalmente aumenta hasta cinco veces el rendimiento de la inferencia con una precisi\u00f3n similar o superior cercana al estado de la tecnolog\u00eda. -Modelos neurales de \u00faltima generaci\u00f3n.<\/p>\n

\n

Si bien el objetivo de optimizaci\u00f3n clave al generar el modelo DeciBERT era optimizar el rendimiento, AutoNAC tambi\u00e9n logr\u00f3 reducir significativamente el tama\u00f1o del modelo, un logro importante con varios beneficios, incluida la capacidad de ejecutar varios modelos en el mismo servidor y utilizar mejor la memoria cach\u00e9. Estos resultados confirman una vez m\u00e1s el rendimiento excepcional de nuestra tecnolog\u00eda AutoNAC, que se aplica a casi cualquier dominio de aprendizaje profundo y hardware de inferencia.<\/em><\/p>\n

\u2014 Prof. Ran El-Yaniv, cient\u00edfico jefe y cofundador de Deci<\/p>\n<\/blockquote>\n

MLPerf re\u00fane a l\u00edderes expertos en aprendizaje profundo para crear puntos de referencia justos y \u00fatiles para calcular la ejecuci\u00f3n de entrenamiento e inferencia de hardware, software y servicios de ML.<\/p>\n

\n
<\/div>
Una comparaci\u00f3n del rendimiento de rendimiento de los modelos BERT-Large DeciBERT-Large. Fuente de la imagen: Dec.<\/figcaption><\/figure>\n

La aceleraci\u00f3n de inferencia de NLP de Deci decodifica directamente en reducciones en los costos de la nube, lo que permite que se ejecuten m\u00e1s procesos en la misma m\u00e1quina en una menor cantidad de tiempo. Permite que los equipos utilicen m\u00e1quinas rentables mientras conservan el mismo rendimiento de producci\u00f3n. Un mayor rendimiento para algunas aplicaciones de NLP, como responder preguntas, significa una mejor experiencia de usuario ya que las consultas se procesan r\u00e1pidamente y los conocimientos se pueden generar en tiempo real.<\/p>\n

Fuente de noticias: Deci<\/p>\n<\/p><\/div>\n