NVIDIA ha acelerado recientemente los desarrollos para optimizar los LLM est\u00e1ndar de la industria con sus GPU RTX con inteligencia artificial, a medida que la empresa ahora mejora el modelo Gemma de vanguardia de Google.<\/p>\n
NVIDIA mejora TensorRT-LLM y m\u00faltiples recursos de software para brindar un rendimiento rentable con sus GPU AI y RTX<\/h2>\n
[Press Release<\/strong>]: NVIDIA, en colaboraci\u00f3n con Google, lanz\u00f3 hoy optimizaciones en todas las plataformas de IA de NVIDIA para Gemma, los nuevos modelos de lenguaje abierto ligeros de 2 mil millones y 7 mil millones de par\u00e1metros de \u00faltima generaci\u00f3n de Google que se pueden ejecutar en cualquier lugar, lo que reduce costos y acelera Trabajo innovador para casos de uso de dominios espec\u00edficos.<\/p>\n Los equipos de las empresas trabajaron en estrecha colaboraci\u00f3n para acelerar el rendimiento de Gemma, creado a partir de la misma investigaci\u00f3n y tecnolog\u00eda utilizada para crear los modelos Gemini, con NVIDIA TensorRT-LLM, una biblioteca de c\u00f3digo abierto para optimizar la inferencia de modelos de lenguaje grandes, cuando se ejecuta en NVIDIA. GPU en el centro de datos, en la nube y en PC con GPU NVIDIA RTX.<\/p>\n Esto permite a los desarrolladores apuntar a la base instalada de m\u00e1s de 100 millones de GPU NVIDIA RTX disponibles en PC con IA de alto rendimiento en todo el mundo.<\/p>\n Los desarrolladores tambi\u00e9n pueden ejecutar Gemma en las GPU NVIDIA en la nube, incluidas las instancias A3 de Google Cloud basadas en la GPU H100 Tensor Core y, pr\u00f3ximamente, las GPU H200 Tensor Core de NVIDIA, con 141 GB de memoria HBM3e a 4,8 terabytes por segundo, que Google implementar\u00e1 en este a\u00f1o.<\/p>\n Los desarrolladores empresariales tambi\u00e9n pueden aprovechar el rico ecosistema de herramientas de NVIDIA, incluido NVIDIA AI Enterprise con el marco NeMo y TensorRT-LLM, para ajustar Gemma e implementar el modelo optimizado en su aplicaci\u00f3n de producci\u00f3n.<\/p>\n Pr\u00f3ximamente se agregar\u00e1 soporte para Gemma Chat with RTX, una demostraci\u00f3n t\u00e9cnica de NVIDIA que utiliza generaci\u00f3n de recuperaci\u00f3n aumentada y el software TensorRT-LLM para brindar a los usuarios capacidades de IA generativa en sus PC Windows locales con tecnolog\u00eda RTX. Chat with RTX permite a los usuarios personalizar un chatbot con sus datos conectando f\u00e1cilmente archivos locales en una PC a un modelo de lenguaje grande.<\/p>\n Dado que el modelo se ejecuta localmente, proporciona resultados r\u00e1pidamente y los datos del usuario permanecen en el dispositivo. En lugar de depender de servicios LLM basados \u200b\u200ben la nube, Chat with RTX permite a los usuarios procesar datos confidenciales en una PC local sin la necesidad de compartirlos con un tercero o tener una conexi\u00f3n a Internet.<\/p>\n [Journalist Note<\/strong>]: La optimizaci\u00f3n de Gemma de Google tiene un factor bastante interesante, y es que NVIDIA ha introducido mejoras para hacer que el modelo tambi\u00e9n est\u00e9 m\u00e1s optimizado para sus GPU RTX de consumo, lo que es un excelente paso para permitir a los desarrolladores trabajar sin la necesidad de alta gama. equipos como GPU AI dedicadas.<\/p>\n Este aspecto ha sido debatido en los tiempos modernos, ya que se percib\u00eda que los fabricantes est\u00e1n cambiando el lado del \u00abdesarrollo\u00bb hacia GPU espec\u00edficas debido a la inexistencia de bibliotecas y recursos adecuados para los desarrolladores, pero parece que NVIDIA est\u00e1 tratando de involucrar a todos. aqu\u00ed, lo cual es un paso muy apreciado.<\/p>\n<\/div>\n Fuente de noticias: Blog de NVIDIA<\/p>\n![](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2024\/02\/PLAY-SSD_300x250.jpg\")
<\/div>\n![](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2024\/01\/PLAY-SSD_728x90.jpg\")
<\/div>\n<\/div>\nGemma viene a chatear con RTX<\/b><\/h2>\n