\n<\/p>\n
El martes, Nvidia lanz\u00f3 Chat With RTX, un chatbot de IA personalizado y gratuito similar a ChatGPT que puede ejecutarse localmente en una PC con una tarjeta gr\u00e1fica Nvidia RTX. Utiliza LLM de peso abierto Mistral o Llama y puede buscar en archivos locales y responder preguntas sobre ellos.<\/p>\n
Chat With RTX funciona en PC con Windows equipadas con GPU NVIDIA GeForce RTX serie 30 o 40 con al menos 8 GB de VRAM. Utiliza una combinaci\u00f3n de generaci\u00f3n aumentada de recuperaci\u00f3n (RAG), software NVIDIA TensorRT-LLM y aceleraci\u00f3n RTX para habilitar capacidades de IA generativa directamente en los dispositivos de los usuarios. Esta configuraci\u00f3n permite conversaciones con el modelo de IA utilizando archivos locales como conjunto de datos.<\/p>\n
\u00abLos usuarios pueden conectar r\u00e1pida y f\u00e1cilmente archivos locales en una PC como un conjunto de datos a un modelo de lenguaje grande de c\u00f3digo abierto como Mistral o Llama 2, permitiendo consultas para respuestas r\u00e1pidas y contextualmente relevantes\u00bb, escribe Nvidia en una publicaci\u00f3n de blog promocional.<\/p>\n Benj Edwards<\/p>\n<\/figcaption><\/figure>\n Al utilizar Chat With RTX, los usuarios pueden hablar sobre varios temas o pedirle al modelo de inteligencia artificial que resuma o analice datos, de manera similar a c\u00f3mo se podr\u00eda interactuar con ChatGPT. En particular, el modelo Mistal-7B tiene un condicionamiento incorporado para evitar ciertos temas delicados (como el sexo y la violencia, por supuesto), pero presumiblemente los usuarios podr\u00edan de alguna manera conectar un modelo de IA sin censura y discutir temas prohibidos sin el paternalismo inherente a los temas censurados. modelos.<\/p>\n<\/div>\n Adem\u00e1s, la aplicaci\u00f3n admite una variedad de formatos de archivo, incluidos .TXT, .PDF, .DOCX y .XML. Los usuarios pueden dirigir la herramienta para que explore carpetas espec\u00edficas, que Chat With RTX luego escanea para responder consultas r\u00e1pidamente. Incluso permite incorporar informaci\u00f3n de v\u00eddeos y listas de reproducci\u00f3n de YouTube, ofreciendo una forma de incluir contenido externo en su base de datos de conocimiento (en forma de incrustaciones) sin necesidad de conexi\u00f3n a Internet para procesar consultas.<\/p>\n Descargamos y ejecutamos Chat With RTX para probarlo. El archivo de descarga es enorme, alrededor de 35 gigabytes, debido a que los archivos de pesos de Mistral y Llama LLM se incluyen en la distribuci\u00f3n. (\u00abPesos\u00bb son los archivos reales de la red neuronal que contienen los valores que representan los datos aprendidos durante el proceso de entrenamiento de IA). Al instalar, Chat With RTX descarga a\u00fan m\u00e1s archivos y se ejecuta en una ventana de consola usando Python con una interfaz que aparece en una ventana del navegador web.<\/p>\n Varias veces durante nuestras pruebas en un RTX 3060 con 12 GB de VRAM, Chat With RTX fall\u00f3. Al igual que las interfaces LLM de c\u00f3digo abierto, Chat With RTX es un l\u00edo de dependencias en capas que se basan en Python, CUDA, TensorRT y otros. Nvidia no ha descifrado el c\u00f3digo para que la instalaci\u00f3n sea elegante y no fr\u00e1gil. Es una soluci\u00f3n tosca que se parece mucho a una m\u00e1scara de Nvidia sobre otras interfaces LLM locales (como GPT4ALL). Aun as\u00ed, es notable que esta capacidad provenga oficialmente directamente de Nvidia.<\/p>\n En el lado positivo (un lado positivo enorme), la capacidad de procesamiento local enfatiza la privacidad del usuario, ya que no es necesario transmitir datos confidenciales a servicios basados \u200b\u200ben la nube (como ChatGPT). El uso de Mistral 7B tiene una capacidad similar al GPT-3 de principios de 2022, lo que sigue siendo notable para un LLM local que se ejecuta en una GPU de consumo. Todav\u00eda no es un verdadero reemplazo de ChatGPT y no puede igualar a GPT-4 Turbo o Google Gemini Pro\/Ultra en capacidad de procesamiento.<\/p>\n Los propietarios de GPU Nvidia pueden descargar Chat With RTX de forma gratuita en el sitio web de Nvidia.<\/p>\n<\/div>\n\u00c1spero alrededor de los bordes<\/h2>\n