Deci publica los puntos de referencia de MLPerf del nuevo modelo NLP y logra una ganancia masiva de 6,46x con las CPU AMD EPYC Milan-X

La empresa de aprendizaje profundo Deci está revelando los resultados de su modelo de inferencia de procesamiento de lenguaje natural (NLP) presentado al conjunto de referencia MLPerf Inference v2.1 que logra una ganancia de rendimiento de hasta 6.46x con las CPU EPYC de AMD.

El modelo NLP de Deci alcanza niveles revolucionarios en rendimiento en MLPerf, hasta 6,46x de ganancia con CPU AMD EPYC

Desarrollado por la tecnología de construcción de arquitectura neuronal automatizada (AutoNAC) de Deci, el modelo NLP, denominado DeciBERT-Large, se ejecutó en el hardware Dell-PowerEdge-R7525-2 con el procesador AMD EPYC 7773X. El modelo resultante superó el rendimiento del modelo BERT-Large en casi seis veces y media más y obtuvo un aumento de precisión del uno por ciento. La mejora resume las reducciones en el costo de la nube, lo que permite que más procesos operen en una máquina durante una parte del tiempo. También permite que los grupos usen una máquina más rentable mientras mantienen un rendimiento de producción preciso.

El nuevo modelo fue presentado bajo el escenario offline en la división abierta de MLPerf en la categoría BERT 99.9. El objetivo era maximizar el rendimiento manteniendo la precisión dentro de un margen de error del 0,1 % desde la línea de base, que es 90,874 F1 (SQUAD). El modelo DeciBERT-Large superó estos objetivos, logrando un rendimiento de 116 consultas por segundo (QPS) y una puntuación de precisión F1 de 91,08. Como puede ver en la siguiente tabla, el chip AMD EPYC 7773X Milan-X ofrece un aumento de rendimiento de hasta 6,46x en comparación con el modelo BERT-Large.

Deci aprovechó su motor patentado de tecnología de construcción de arquitectura neuronal automatizada (AutoNAC) para desarrollar una nueva arquitectura modelo adaptada al procesador EPYC AMD. AutoNAC, un motor de optimización algorítmica que forja las mejores arquitecturas de modelo de aprendizaje profundo de su clase para cualquier asignación, conjunto de datos y hardware de inferencia, generalmente aumenta hasta cinco veces el rendimiento de la inferencia con una precisión similar o superior cercana al estado de la tecnología. -Modelos neurales de última generación.

Si bien el objetivo de optimización clave al generar el modelo DeciBERT era optimizar el rendimiento, AutoNAC también logró reducir significativamente el tamaño del modelo, un logro importante con varios beneficios, incluida la capacidad de ejecutar varios modelos en el mismo servidor y utilizar mejor la memoria caché. Estos resultados confirman una vez más el rendimiento excepcional de nuestra tecnología AutoNAC, que se aplica a casi cualquier dominio de aprendizaje profundo y hardware de inferencia.

— Prof. Ran El-Yaniv, científico jefe y cofundador de Deci

MLPerf reúne a líderes expertos en aprendizaje profundo para crear puntos de referencia justos y útiles para calcular la ejecución de entrenamiento e inferencia de hardware, software y servicios de ML.

La aceleración de inferencia de NLP de Deci decodifica directamente en reducciones en los costos de la nube, lo que permite que se ejecuten más procesos en la misma máquina en una menor cantidad de tiempo. Permite que los equipos utilicen máquinas rentables mientras conservan el mismo rendimiento de producción. Un mayor rendimiento para algunas aplicaciones de NLP, como responder preguntas, significa una mejor experiencia de usuario ya que las consultas se procesan rápidamente y los conocimientos se pueden generar en tiempo real.

Fuente de noticias: Deci