Los propietarios de tarjetas gráficas RTX series 40 y 30 ahora pueden configurar su propio modelo de lenguaje grande (LLM) personalizado en su propia PC. Es uno que es eminentemente capaz de examinar documentos antiguos o destilar la esencia de los videos de YouTube.
Chat con RTX ya está disponible para descargar desde el sitio web de Nvidia de forma gratuita a partir de hoy, 13 de febrero. Funciona con cualquier tarjeta gráfica actual o de última generación con al menos 8 GB o más de VRAM, lo que incluye todas las tarjetas de escritorio, excepto la RTX 3050 de 6 GB y excluye una pocas GPU para portátiles de gama media a baja. También requiere entre 50 y 100 GB de espacio de almacenamiento en su PC, según los modelos de IA descargados.
Hay dos modelos para elegir: Mistral o Llama 2. El predeterminado es Mistral, y recomiendo seguir con ese.
Las partes clave de Chat with RTX son la generación aumentada de recuperación (RAG) y TensorRT-LLM. Lo primero significa que puede brindarle al LLM información que utilizará junto con su capacitación interna para generar respuestas precisas a sus consultas. Este último construye motores TensorRT que pueden explotar el silicio de las GPU GeForce de Nvidia para ejecutar aplicaciones de inteligencia artificial de manera más eficiente.
El resultado es un LLM al que puede introducir sus propios datos (tipos de archivos .txt, .pdf y .doc) y que luego puede consultar sobre esos datos.
Por ejemplo, he estado jugando con la herramienta estos últimos días y dado que creo muchos documentos como parte de este trabajo, este parece ser el conjunto de datos principal para guardar en sus fauces abiertas. Así que configuré Chat con RTX en mi PC con tecnología RTX 4080 (tamaño de instalación de 61,7 GB) y le di al modelo Mistral más de 1300 prosa maravillosa (ejem, o más bien borradores de mis artículos de noticias). Luego me puse a hacerle algunas preguntas.
Primero, pregunté: «¿Podrías nombrar los artículos en los que menciono a Nvidia?»
Aparece la respuesta anterior que enumera tres artículos con su ruta de archivo. Ahora, definitivamente he hablado de Nvidia más de tres veces en 1300 artículos, así que intentémoslo de nuevo.
Vuelvo a preguntar, reformulando un poco la consulta: «¿Podría enumerar todos los artículos en los que menciono a Nvidia?»
Esta vez se enumeran ocho artículos, esta vez con los títulos de Google Doc enumerados. He mencionado a Nvidia muchas más veces, pero ya tienes una idea general de cómo funciona todo esto. Cada respuesta parece estar basada en la verdad, y cada respuesta cita los datos utilizados para generarla, si no siempre toda la verdad. Simplemente usando la función de búsqueda de Windows dentro del conjunto de datos del artículo aparecen 128 borradores que incluyen el término ‘Nvidia’ en el título, y mucho menos en el cuerpo del texto.
Otro ejemplo es si le pido a Chat con RTX que me diga cuántas veces he usado la palabra queso, me dice que nunca he usado la frase, citando un documento sin título y no relacionado como fuente de información. Sin embargo, probablemente tenga razón en lo del queso. Hasta ahora, de todos modos.
Sin embargo, la herramienta es más interesante una vez que comienzas a pedirle que resuma grandes cantidades de información en respuestas breves.
Le pregunté a Chat with RTX si debería comprar un Intel Core i9 14900K, y me respondió con una versión recortada de mi propia revisión de 14900K, que la resumía sucintamente en «Según la revisión, parece que el Intel Core i9 14900K Puede que no valga la pena el coste adicional en comparación con el Core i9 13900K».
No podría decirlo mejor.
También le pedí a Chat with RTX que resumiera un artículo que escribí hace un tiempo sobre el equipo de deportes electrónicos de F1 de Alpine, que explicaba de manera sucinta, y luego que me hablara sobre los procesadores Meteor Lake de Intel, que sabía que se trataban varias veces en los artículos del conjunto de datos.
Imagen 1 de 3
Ah, y le pregunté quién era yo. Esto fue más para hacerme sentir importante, ya que el LLM me devolvió una descripción bastante cercana a las mismas palabras que usé para describirme en la biografía de mi sitio. En teoría, podrías simplemente alimentar a Chat con RTX con miles de documentos sobre lo bueno que eres y crear el software soñado por un narcisista.
No es que yo haría eso, no.
Es para resumir grandes conjuntos de datos para lo que considero útil esta herramienta. Aunque dudo que todo el mundo tenga tanta necesidad de eso. Es posible que al usuario promedio de PC no le guste una aplicación de 100 GB que le diga lo que ya sabe. Pero, digamos que está trabajando con una gran cantidad de respuestas a una encuesta y desea tener rápidamente una idea de los pensamientos y sentimientos generales de quienes respondieron, esta es una manera fácil de hacerlo. Pero es mejor usarlo con precaución y solo como una guía para el conjunto de datos ingresados, no como una forma de analizarlo completamente con precisión.
Las otras personas a las que podría resultar atractivo son aquellas que prefieren mantener su contenido fuera de la nube. La idea de pedirle a una IA alojada Dios-sabe-dónde que maneje archivos que podrían contener información confidencial o manuscritos para su gran idea de película de acción no es tan atractiva para muchos. Ya hemos visto cómo se ve esto cuando sale mal, cortesía de los empleados de Samsung. Es por eso que una herramienta ejecutada localmente como esta podría resultar atractiva.
El otro uso de Chat with RTX es enviarle vídeos de YouTube y luego consultar el contenido. Tomé un episodio de Chat Log, un podcast presentado por mis colegas Lauren Morton y Mollie Taylor, y lo introduje en la máquina. El episodio se titula «¿Steam Deck se adapta al estilo de vida de los juegos de PC hasta ahora?»
Le pregunté: ‘¿Es fácil usar Steam Deck en el día a día?’ y se imprime una respuesta que resume la conversación de Lauren y Mollie con Tyler Colp sobre el asunto.
Luego también hice la pregunta obvia: «¿Steam Deck se adapta a su estilo de vida de juegos de PC hasta ahora?» La respuesta:
Esta característica funciona descargando la transcripción del video de YouTube, ingeriéndola y usando RAG para responder adecuadamente a las preguntas de un usuario. Definitivamente parece generar buenos resúmenes de videos de YouTube con mucha conversación, aunque debido a la dependencia de las transcripciones, no puedes alimentarlo con nada que se base en información visual. Dale el tráiler de Grand Theft Auto VI casi sin palabras y no obtendrás nada de él.
No estoy tan seguro del uso de YouTube. Por un lado, podría verlo útil para un resumen de una transmisión en vivo larga o un evento que no tienes tiempo de ver por ti mismo, aunque es una aplicación pesada para esos pocos casos en los que eso es importante. De manera similar, el creador de YouTube no parece obtener una vista de esto, y tiendo a caer en el campo de ‘Las IA que recopilan información de los creadores en línea y no ofrecen nada a cambio romperán el núcleo mismo de Internet tal como lo conocemos’. . Es posible que esta aplicación por sí sola no haga una gran diferencia, pero creo firmemente que si desea que alguien le proporcione la información, al menos debería ayudarlo a crear más similares.
De todos modos, las cosas de YouTube pasan a un segundo plano para mí con Chat con RTX. es la masa local digestión de archivos de texto que se siente como la pieza más importante del software. Como aplicación, es bastante ágil. Genera respuestas rápidamente una vez que presionas enviar una consulta. Aunque parece consumir alrededor del 85% de mi VRAM, debes asegurarte de cerrarlo correctamente con el interruptor de apagado para devolverlo a la PC una vez que hayas terminado.
Chatear con RTX es un concepto divertido y una buena manera para que Nvidia muestre lo que puede hacer la inferencia localmente en sus tarjetas GeForce, pero no estoy seguro de si voy a mantenerlo en mi PC. Por un lado, es absolutamente enorme debido a la gran cantidad de datos del modelo, pero más aún porque los usos prácticos reales son bastante limitados para mí, personalmente.
Quizás a algunos zuecos inteligentes se les ocurran formas nuevas y emocionantes de ponerlo en práctica ahora que está disponible para el mundo. Ese podrías ser tú, siempre que tengas el hardware adecuado. Puedes descargar Chat con RTX para probarlo tú mismo hoy.