Ampliando su ecosistema de IA, NVIDIA ha presentado \u00abChat with RTX\u00bb, un chatbot para PC con Windows impulsado por TensorRT-LLM y disponible de forma gratuita en las \u00faltimas GPU RTX.<\/p>\n
NVIDIA quiere reemplazar ChatGPT con su propio chatbot de IA \u00abChat With RTX\u00bb disponible localmente y de forma gratuita en las GPU RTX 30 y 40<\/h2>\n
La utilidad del chatbot \u00abChat with RTX\u00bb es muy simple, est\u00e1 dise\u00f1ado como un sistema localizado lo que significa que tendr\u00e1s un chatbot GPT personalizado disponible todo el tiempo en tu PC sin necesidad de conectarte. El chat con RTX se puede personalizar completamente utilizando un conjunto de datos que est\u00e1 disponible localmente en su PC y la mejor parte es que se ejecuta en casi todas las GPU RTX 40 y RTX 30.<\/p>\n Comenzando con los detalles, Chat with RTX aprovecha el software TensorRT-LLM y Retrieval Augmented Generated (RAG) de NVIDIA que se anunci\u00f3 para PC con Windows el a\u00f1o pasado y aprovecha al m\u00e1ximo la aceleraci\u00f3n RTX disponible en el hardware RTX para brindar la mejor experiencia posible a los usuarios. Una vez m\u00e1s, la aplicaci\u00f3n es compatible con todas las GPU GeForce RTX 30 y 40 con al menos 8 GB de memoria de video.<\/p>\n Despu\u00e9s de descargar \u00abChat with RTX\u00bb de forma gratuita, los usuarios pueden conectarlo a un conjunto de datos local disponible en la PC (.txt, .pdf, .doc, .docx, .xml) y conectarlo a un modelo de lenguaje grande como Mistral y Llama 2. Tambi\u00e9n puedes agregar URL espec\u00edficas, por ejemplo, para videos de YouTube o listas de reproducci\u00f3n completas para mejorar a\u00fan m\u00e1s los resultados de b\u00fasqueda del conjunto de datos. Despu\u00e9s de conectarse, los usuarios pueden usar Chat With RTX de la misma manera que usar\u00edan ChatGPT ejecutando diferentes consultas, pero los resultados generados se basar\u00e1n completamente en el conjunto de datos espec\u00edfico, lo que le brindar\u00e1 mejores respuestas en comparaci\u00f3n con los m\u00e9todos en l\u00ednea.<\/p>\n Tener una GPU NVIDIA RTX compatible con TensorRT-LLM significa que tendr\u00e1 todos sus datos y proyectos disponibles localmente en lugar de guardarlos en la nube. Esto ahorrar\u00eda tiempo y ofrecer\u00eda resultados m\u00e1s precisos. RAG o Retrieval Augamanted Generation es una de las t\u00e9cnicas utilizadas para acelerar los resultados de la IA mediante el uso de una biblioteca localizada que se puede completar con el conjunto de datos que desea que revise el LLM y luego aprovechar las capacidades de comprensi\u00f3n del lenguaje de ese LLM para brindarle informaci\u00f3n precisa. resultados.<\/p>\n NVIDIA afirma un aumento de rendimiento 5 veces mayor con TensorRT-LLM v0.6.0, que estar\u00e1 disponible a finales de este mes. Adem\u00e1s, tambi\u00e9n permitir\u00e1 la compatibilidad con LLM adicionales como Mistral 7B y Nemotron 3 8B.<\/p>\n Puedes descargar la aplicaci\u00f3n \u00abChat with RTX\u00bb de NVIDIA aqu\u00ed. Es compatible con PC con Windows 11 y Windows 10 y requiere los controladores de GPU NVIDIA m\u00e1s recientes para un rendimiento \u00f3ptimo.<\/p>\n![\"NVIDIA](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2023\/11\/2023-11-15_2-11-38.png\")
<\/figure>\n![](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2024\/02\/PLAY-SSD_300x250.jpg\")
<\/div>\n![](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2024\/01\/PLAY-SSD_728x90.jpg\")
<\/div>\n<\/div>\n