{"id":807005,"date":"2023-09-11T17:26:07","date_gmt":"2023-09-11T17:26:07","guid":{"rendered":"https:\/\/magazineoffice.com\/nvidia-afirma-duplicar-el-rendimiento-de-inferencia-con-h100\/"},"modified":"2023-09-11T17:26:11","modified_gmt":"2023-09-11T17:26:11","slug":"nvidia-afirma-duplicar-el-rendimiento-de-inferencia-con-h100","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/nvidia-afirma-duplicar-el-rendimiento-de-inferencia-con-h100\/","title":{"rendered":"Nvidia afirma duplicar el rendimiento de inferencia con H100"},"content":{"rendered":"


\n<\/p>\n

\n

Nvidia afirma que su nuevo software de c\u00f3digo abierto TensorRT-LL puede aumentar dr\u00e1sticamente el rendimiento de los modelos de lenguajes grandes (LLM) en sus GPU. Seg\u00fan la compa\u00f1\u00eda, las capacidades de TensorRT-LL de Nvidia le permitieron duplicar el rendimiento de su GPU de c\u00f3mputo H100 en GPT-J LLM con seis mil millones de par\u00e1metros. Es importante destacar que el software puede permitir esta mejora del rendimiento sin volver a entrenar el modelo.<\/p>\n

Nvidia desarroll\u00f3 TensorRT-LLM espec\u00edficamente para acelerar el rendimiento de la inferencia LLM y los gr\u00e1ficos de rendimiento proporcionados por Nvidia muestran un aumento de velocidad 2 veces mayor para su H100 debido a las optimizaciones de software apropiadas. Una caracter\u00edstica particularmente destacada de TensorRT-LLM de Nvidia es su innovadora t\u00e9cnica de procesamiento por lotes en vuelo. Este m\u00e9todo aborda las cargas de trabajo din\u00e1micas y diversas de los LLM, que pueden variar mucho en sus demandas computacionales. <\/p>\n

El procesamiento por lotes en vuelo optimiza la programaci\u00f3n de estas cargas de trabajo, lo que garantiza que los recursos de la GPU se utilicen en su m\u00e1ximo potencial. Como resultado, las solicitudes de LLM del mundo real en las GPU H100 Tensor Core ven una duplicaci\u00f3n en el rendimiento, lo que lleva a procesos de inferencia de IA m\u00e1s r\u00e1pidos y eficientes.<\/p>\n

\n
\n
\n

<\/picture><\/p>\n<\/div>\n<\/div>

(Cr\u00e9dito de la imagen: Nvidia)<\/span><\/figcaption><\/figure>\n