NVIDIA ha mejorado aún más el rendimiento de la IA de sus GPU GeForce RTX y plataformas de PC RTX AI con la última versión del controlador R555.
Las GPU GeForce RTX y las PC RTX de NVIDIA ofrecen el rendimiento de IA más rápido en todos los segmentos, ahora triplicado con los controladores más recientes
Durante la Microsoft Build de hoy, NVIDIA anunció una gama de nuevas optimizaciones de rendimiento de IA que ahora están disponibles en la plataforma RTX, que incluye GPU, estaciones de trabajo y PC GeForce RTX.
Las nuevas optimizaciones están dirigidas específicamente a una variedad de LLM (modelos de lenguajes grandes) que impulsan las últimas experiencias de IA generativa. Utilizando los últimos controladores R555, las GPU RTX y las plataformas de PC con IA de NVIDIA ahora ofrecen un rendimiento de IA hasta 3 veces más rápido con ONNX Runtime (ORT) y DirectML. Estas dos herramientas se utilizan para ejecutar modelos de IA localmente en PC con Windows.
Además de eso, WebNN también se aceleró con RTX a través de DirectML. Esta es una interfaz de programación de aplicaciones para que los desarrolladores web implementen nuevos modelos de IA. Microsoft está trabajando con NVIDIA para acelerar aún más el rendimiento de la GPU RTX y al mismo tiempo agregar compatibilidad con DirectML en PyTorch. A continuación se muestra una lista completa de capacidades que ofrecen los nuevos controladores R555 para GPU GeForce RTX y PC RTX:
- Soporte para el metacomando DQ-GEMM para manejar la cuantificación de solo peso INT4 para LLM
- Nuevos métodos de normalización RMSNorm para los modelos Llama 2, Llama 3, Mistral y Phi-3.
- Mecanismos de atención grupal, multiconsulta y ventana corrediza de atención para apoyo a Mistral
- Actualizaciones de KV in situ para mejorar el rendimiento de la atención
- Soporte para GEMM de tensores no múltiplos de 8 para mejorar el rendimiento de la fase de contexto
En las pruebas comparativas de rendimiento de ORT, una extensión de IA generativa lanzada por Microsoft, NVIDIA muestra ganancias en todos los ámbitos tanto en los tipos de datos INT4 como en FP16. Las mejoras de rendimiento son hasta 3 veces gracias a las técnicas de optimización agregadas dentro de estas extensiones para LLM como Phi-3, Llama 3, Gemma y Mistral.
Además de estas mejoras, NVIDIA ha estado liderando la carga en el espacio de PC de consumo con IA con su potente suite TensorRT y TensorRT-LLM. La compañía también ofrece una amplia gama de soluciones impulsadas por su hardware de inteligencia artificial incorporado en sus GPU, como Tensor Cores.
Estas soluciones incluyen la innovadora tecnología DLSS Super Resolution, NVIDIA ACE, RTX Remix, Omniverse, Broadcast, RTX Video y varias otras tecnologías. Las GPU de NVIDIA ofrecen hasta 1300 TOPS de computación de IA, lo que está muy por delante de los chips más rápidos que saldrán este año y que se espera que solo superen los 100 TOPS. Además, estas PC vendrán equipadas con las últimas GPU NVIDIA RTX, lo que impulsará aún más la plataforma RTX AI PC e impulsará aún más el segmento de IA en el espacio del consumidor.