{"id":155298,"date":"2022-09-09T20:48:32","date_gmt":"2022-09-09T20:48:32","guid":{"rendered":"https:\/\/magazineoffice.com\/deci-publica-los-puntos-de-referencia-de-mlperf-del-nuevo-modelo-nlp-y-logra-una-ganancia-masiva-de-646x-con-las-cpu-amd-epyc-milan-x\/"},"modified":"2022-09-09T20:48:35","modified_gmt":"2022-09-09T20:48:35","slug":"deci-publica-los-puntos-de-referencia-de-mlperf-del-nuevo-modelo-nlp-y-logra-una-ganancia-masiva-de-646x-con-las-cpu-amd-epyc-milan-x","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/deci-publica-los-puntos-de-referencia-de-mlperf-del-nuevo-modelo-nlp-y-logra-una-ganancia-masiva-de-646x-con-las-cpu-amd-epyc-milan-x\/","title":{"rendered":"Deci publica los puntos de referencia de MLPerf del nuevo modelo NLP y logra una ganancia masiva de 6,46x con las CPU AMD EPYC Milan-X"},"content":{"rendered":"
\n<\/p>\n
La empresa de aprendizaje profundo Deci est\u00e1 revelando los resultados de su modelo de inferencia de procesamiento de lenguaje natural (NLP) presentado al conjunto de referencia MLPerf Inference v2.1 que logra una ganancia de rendimiento de hasta 6.46x con las CPU EPYC de AMD.<\/p>\n
Desarrollado por la tecnolog\u00eda de construcci\u00f3n de arquitectura neuronal automatizada (AutoNAC) de Deci, el modelo NLP, denominado DeciBERT-Large, se ejecut\u00f3 en el hardware Dell-PowerEdge-R7525-2 con el procesador AMD EPYC 7773X. El modelo resultante super\u00f3 el rendimiento del modelo BERT-Large en casi seis veces y media m\u00e1s y obtuvo un aumento de precisi\u00f3n del uno por ciento. La mejora resume las reducciones en el costo de la nube, lo que permite que m\u00e1s procesos operen en una m\u00e1quina durante una parte del tiempo. Tambi\u00e9n permite que los grupos usen una m\u00e1quina m\u00e1s rentable mientras mantienen un rendimiento de producci\u00f3n preciso.<\/p>\n
El nuevo modelo fue presentado bajo el escenario offline en la divisi\u00f3n abierta de MLPerf en la categor\u00eda BERT 99.9. El objetivo era maximizar el rendimiento manteniendo la precisi\u00f3n dentro de un margen de error del 0,1 % desde la l\u00ednea de base, que es 90,874 F1 (SQUAD). El modelo DeciBERT-Large super\u00f3 estos objetivos, logrando un rendimiento de 116 consultas por segundo (QPS) y una puntuaci\u00f3n de precisi\u00f3n F1 de 91,08. Como puede ver en la siguiente tabla, el chip AMD EPYC 7773X Milan-X ofrece un aumento de rendimiento de hasta 6,46x en comparaci\u00f3n con el modelo BERT-Large.<\/p>\n
\n | Hardware<\/td>\n | Precisi\u00f3n F1 en<\/p>\n PLANTILLA (INT8)<\/p>\n<\/td>\n | Tama\u00f1o del modelo (en millones de par\u00e1metros)<\/td>\n | Rendimiento (QPS)<\/p>\n Tiempo de ejecuci\u00f3n ONNX<\/p>\n FP32<\/p>\n<\/td>\n | Rendimiento (QPS)<\/p>\n Tiempo de ejecuci\u00f3n ONNX<\/p>\n INT8<\/p>\n<\/td>\n | Impulso de Deci<\/td>\n<\/tr>\n |
BERT grande<\/td>\n | Dell-PowerEdge-R7525-2xAMD-EPYC-7773X<\/td>\n | 90.067<\/td>\n | 340<\/td>\n | 12<\/td>\n | 18<\/td>\n | –<\/td>\n<\/tr>\n |
DeciBERT grande<\/td>\n | Dell-PowerEdge-R7525-2xAMD-EPYC-7773X<\/td>\n | 91.08<\/td>\n | 115<\/td>\n | 76<\/td>\n | 116<\/td>\n | 6.64x<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n Deci aprovech\u00f3 su motor patentado de tecnolog\u00eda de construcci\u00f3n de arquitectura neuronal automatizada (AutoNAC) para desarrollar una nueva arquitectura modelo adaptada al procesador EPYC AMD. AutoNAC, un motor de optimizaci\u00f3n algor\u00edtmica que forja las mejores arquitecturas de modelo de aprendizaje profundo de su clase para cualquier asignaci\u00f3n, conjunto de datos y hardware de inferencia, generalmente aumenta hasta cinco veces el rendimiento de la inferencia con una precisi\u00f3n similar o superior cercana al estado de la tecnolog\u00eda. -Modelos neurales de \u00faltima generaci\u00f3n.<\/p>\n \n |