\n
Los propietarios de tarjetas gr\u00e1ficas RTX series 40 y 30 ahora pueden configurar su propio modelo de lenguaje grande (LLM) personalizado en su propia PC. Es uno que es eminentemente capaz de examinar documentos antiguos o destilar la esencia de los videos de YouTube.<\/p>\n
Chat con RTX ya est\u00e1 disponible para descargar desde el sitio web de Nvidia de forma gratuita a partir de hoy, 13 de febrero. Funciona con cualquier tarjeta gr\u00e1fica actual o de \u00faltima generaci\u00f3n con al menos 8 GB o m\u00e1s de VRAM, lo que incluye todas las tarjetas de escritorio, excepto la RTX 3050 de 6 GB y excluye una pocas GPU para port\u00e1tiles de gama media a baja. Tambi\u00e9n requiere entre 50 y 100 GB de espacio de almacenamiento en su PC, seg\u00fan los modelos de IA descargados.<\/p>\n\nHay dos modelos para elegir: Mistral o Llama 2. El predeterminado es Mistral, y recomiendo seguir con ese.<\/p>\n
Las partes clave de Chat with RTX son la generaci\u00f3n aumentada de recuperaci\u00f3n (RAG) y TensorRT-LLM. Lo primero significa que puede brindarle al LLM informaci\u00f3n que utilizar\u00e1 junto con su capacitaci\u00f3n interna para generar respuestas precisas a sus consultas. Este \u00faltimo construye motores TensorRT que pueden explotar el silicio de las GPU GeForce de Nvidia para ejecutar aplicaciones de inteligencia artificial de manera m\u00e1s eficiente.<\/p>\n
El resultado es un LLM al que puede introducir sus propios datos (tipos de archivos .txt, .pdf y .doc) y que luego puede consultar sobre esos datos.<\/p>\n
Por ejemplo, he estado jugando con la herramienta estos \u00faltimos d\u00edas y dado que creo muchos documentos como parte de este trabajo, este parece ser el conjunto de datos principal para guardar en sus fauces abiertas. As\u00ed que configur\u00e9 Chat con RTX en mi PC con tecnolog\u00eda RTX 4080 (tama\u00f1o de instalaci\u00f3n de 61,7 GB) y le di al modelo Mistral m\u00e1s de 1300 prosa maravillosa (ejem, o m\u00e1s bien borradores de mis art\u00edculos de noticias). Luego me puse a hacerle algunas preguntas.<\/p>\n
Primero, pregunt\u00e9: \u00ab\u00bfPodr\u00edas nombrar los art\u00edculos en los que menciono a Nvidia?\u00bb<\/p>\n\n\n
\n
<\/picture><\/p>\n<\/div>\n<\/div>(Cr\u00e9dito de la imagen: Nvidia)<\/span><\/figcaption><\/figure>\nAparece la respuesta anterior que enumera tres art\u00edculos con su ruta de archivo. Ahora, definitivamente he hablado de Nvidia m\u00e1s de tres veces en 1300 art\u00edculos, as\u00ed que intent\u00e9moslo de nuevo.<\/p>\n
Vuelvo a preguntar, reformulando un poco la consulta: \u00ab\u00bfPodr\u00eda enumerar todos los art\u00edculos en los que menciono a Nvidia?\u00bb<\/p>\n\n\n
\n
(Cr\u00e9dito de la imagen: Nvidia)<\/span><\/figcaption><\/figure>\nEsta vez se enumeran ocho art\u00edculos, esta vez con los t\u00edtulos de Google Doc enumerados. He mencionado a Nvidia muchas m\u00e1s veces, pero ya tienes una idea general de c\u00f3mo funciona todo esto. Cada respuesta parece estar basada en la verdad, y cada respuesta cita los datos utilizados para generarla, si no siempre toda la verdad. Simplemente usando la funci\u00f3n de b\u00fasqueda de Windows dentro del conjunto de datos del art\u00edculo aparecen 128 borradores que incluyen el t\u00e9rmino ‘Nvidia’ en el t\u00edtulo, y mucho menos en el cuerpo del texto.<\/p>\n
Otro ejemplo es si le pido a Chat con RTX que me diga cu\u00e1ntas veces he usado la palabra queso, me dice que nunca he usado la frase, citando un documento sin t\u00edtulo y no relacionado como fuente de informaci\u00f3n. Sin embargo, probablemente tenga raz\u00f3n en lo del queso. Hasta ahora, de todos modos.<\/p>\n
Sin embargo, la herramienta es m\u00e1s interesante una vez que comienzas a pedirle que resuma grandes cantidades de informaci\u00f3n en respuestas breves. <\/p>\n
Le pregunt\u00e9 a Chat with RTX si deber\u00eda comprar un Intel Core i9 14900K, y me respondi\u00f3 con una versi\u00f3n recortada de mi propia revisi\u00f3n de 14900K, que la resum\u00eda sucintamente en \u00abSeg\u00fan la revisi\u00f3n, parece que el Intel Core i9 14900K Puede que no valga la pena el coste adicional en comparaci\u00f3n con el Core i9 13900K\u00bb.<\/p>\n
No podr\u00eda decirlo mejor.<\/p>\n\n\n
\n
(Cr\u00e9dito de la imagen: Nvidia)<\/span><\/figcaption><\/figure>\nTambi\u00e9n le ped\u00ed a Chat with RTX que resumiera un art\u00edculo que escrib\u00ed hace un tiempo sobre el equipo de deportes electr\u00f3nicos de F1 de Alpine, que explicaba de manera sucinta, y luego que me hablara sobre los procesadores Meteor Lake de Intel, que sab\u00eda que se trataban varias veces en los art\u00edculos del conjunto de datos.<\/p>\n
\n
\n
Imagen 1 de 3<\/p>\n
\n
\n
\n
\n
\n
\n
\n\n
\n
\n
<\/div>\n<\/div>\n<\/div>\n<\/div>
(Cr\u00e9dito de la imagen: Nvidia)<\/span><\/figcaption><\/figure>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n\n
\n
\n
\n
\n\n
\n
\n
<\/div>\n<\/div>\n<\/div>\n<\/div>
(Cr\u00e9dito de la imagen: Nvidia)<\/span><\/figcaption><\/figure>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n\n
\n
\n
\n
\n\n
\n
\n
<\/div>\n<\/div>\n<\/div>\n<\/div>
(Cr\u00e9dito de la imagen: Nvidia)<\/span><\/figcaption><\/figure>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\nAh, y le pregunt\u00e9 qui\u00e9n era yo. Esto fue m\u00e1s para hacerme sentir importante, ya que el LLM me devolvi\u00f3 una descripci\u00f3n bastante cercana a las mismas palabras que us\u00e9 para describirme en la biograf\u00eda de mi sitio. En teor\u00eda, podr\u00edas simplemente alimentar a Chat con RTX con miles de documentos sobre lo bueno que eres y crear el software so\u00f1ado por un narcisista. <\/p>\n
No es que yo har\u00eda eso, no.<\/p>\n\n\n
\n
(Cr\u00e9dito de la imagen: Nvidia)<\/span><\/figcaption><\/figure>\nEs para resumir grandes conjuntos de datos para lo que considero \u00fatil esta herramienta. Aunque dudo que todo el mundo tenga tanta necesidad de eso. Es posible que al usuario promedio de PC no le guste una aplicaci\u00f3n de 100 GB que le diga lo que ya sabe. Pero, digamos que est\u00e1 trabajando con una gran cantidad de respuestas a una encuesta y desea tener r\u00e1pidamente una idea de los pensamientos y sentimientos generales de quienes respondieron, esta es una manera f\u00e1cil de hacerlo. Pero es mejor usarlo con precauci\u00f3n y solo como una gu\u00eda para el conjunto de datos ingresados, no como una forma de analizarlo completamente con precisi\u00f3n.<\/p>\n
Las otras personas a las que podr\u00eda resultar atractivo son aquellas que prefieren mantener su contenido fuera de la nube. La idea de pedirle a una IA alojada Dios-sabe-d\u00f3nde que maneje archivos que podr\u00edan contener informaci\u00f3n confidencial o manuscritos para su gran idea de pel\u00edcula de acci\u00f3n no es tan atractiva para muchos. Ya hemos visto c\u00f3mo se ve esto cuando sale mal, cortes\u00eda de los empleados de Samsung. Es por eso que una herramienta ejecutada localmente como esta podr\u00eda resultar atractiva.<\/p>\n
El otro uso de Chat with RTX es enviarle v\u00eddeos de YouTube y luego consultar el contenido. Tom\u00e9 un episodio de Chat Log, un podcast presentado por mis colegas Lauren Morton y Mollie Taylor, y lo introduje en la m\u00e1quina. El episodio se titula \u00ab\u00bfSteam Deck se adapta al estilo de vida de los juegos de PC hasta ahora?\u00bb<\/p>\n
Le pregunt\u00e9: ‘\u00bfEs f\u00e1cil usar Steam Deck en el d\u00eda a d\u00eda?’ y se imprime una respuesta que resume la conversaci\u00f3n de Lauren y Mollie con Tyler Colp sobre el asunto.<\/p>\n\n\n
\n
(Cr\u00e9dito de la imagen: Nvidia)<\/span><\/figcaption><\/figure>\nLuego tambi\u00e9n hice la pregunta obvia: \u00ab\u00bfSteam Deck se adapta a su estilo de vida de juegos de PC hasta ahora?\u00bb La respuesta:<\/p>\n\n\n
\n
(Cr\u00e9dito de la imagen: Nvidia)<\/span><\/figcaption><\/figure>\nEsta caracter\u00edstica funciona descargando la transcripci\u00f3n del video de YouTube, ingeri\u00e9ndola y usando RAG para responder adecuadamente a las preguntas de un usuario. Definitivamente parece generar buenos res\u00famenes de videos de YouTube con mucha conversaci\u00f3n, aunque debido a la dependencia de las transcripciones, no puedes alimentarlo con nada que se base en informaci\u00f3n visual. Dale el tr\u00e1iler de Grand Theft Auto VI casi sin palabras y no obtendr\u00e1s nada de \u00e9l.<\/p>\n
No estoy tan seguro del uso de YouTube. Por un lado, podr\u00eda verlo \u00fatil para un resumen de una transmisi\u00f3n en vivo larga o un evento que no tienes tiempo de ver por ti mismo, aunque es una aplicaci\u00f3n pesada para esos pocos casos en los que eso es importante. De manera similar, el creador de YouTube no parece obtener una vista de esto, y tiendo a caer en el campo de ‘Las IA que recopilan informaci\u00f3n de los creadores en l\u00ednea y no ofrecen nada a cambio romper\u00e1n el n\u00facleo mismo de Internet tal como lo conocemos’. . Es posible que esta aplicaci\u00f3n por s\u00ed sola no haga una gran diferencia, pero creo firmemente que si desea que alguien le proporcione la informaci\u00f3n, al menos deber\u00eda ayudarlo a crear m\u00e1s similares.<\/p>\n\n\n
\n
La ventana de la consola que muestra algunos de los mecanismos internos de Chat with RTX. <\/span>(Cr\u00e9dito de la imagen: Nvidia)<\/span><\/figcaption><\/figure>\nDe todos modos, las cosas de YouTube pasan a un segundo plano para m\u00ed con Chat con RTX. es la masa local<\/em> digesti\u00f3n de archivos de texto que se siente como la pieza m\u00e1s importante del software. Como aplicaci\u00f3n, es bastante \u00e1gil. Genera respuestas r\u00e1pidamente una vez que presionas enviar una consulta. Aunque parece consumir alrededor del 85% de mi VRAM, debes asegurarte de cerrarlo correctamente con el interruptor de apagado para devolverlo a la PC una vez que hayas terminado. <\/p>\nChatear con RTX es un concepto divertido y una buena manera para que Nvidia muestre lo que puede hacer la inferencia localmente en sus tarjetas GeForce, pero no estoy seguro de si voy a mantenerlo en mi PC. Por un lado, es absolutamente enorme debido a la gran cantidad de datos del modelo, pero m\u00e1s a\u00fan porque los usos pr\u00e1cticos reales son bastante limitados para m\u00ed, personalmente. <\/p>\n
Quiz\u00e1s a algunos zuecos inteligentes se les ocurran formas nuevas y emocionantes de ponerlo en pr\u00e1ctica ahora que est\u00e1 disponible para el mundo. Ese podr\u00edas ser t\u00fa, siempre que tengas el hardware adecuado. Puedes descargar Chat con RTX para probarlo t\u00fa mismo hoy.<\/p>\n<\/div>\n
Source link-8 <\/a><\/p>\n","protected":false},"excerpt":{"rendered":"Los propietarios de tarjetas gr\u00e1ficas RTX series 40 y 30 ahora pueden configurar su propio modelo de lenguaje grande (LLM) personalizado en su propia PC. Es uno que es eminentemente…<\/p>\n","protected":false},"author":1,"featured_media":1010326,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[34],"tags":[6,26553,1623,9721,133,116858,732,81746,31114,2805,12901,84,1488,843,1655,519,3382,34778,844,15963],"_links":{"self":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/1010325"}],"collection":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/comments?post=1010325"}],"version-history":[{"count":1,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/1010325\/revisions"}],"predecessor-version":[{"id":1010327,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/1010325\/revisions\/1010327"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media\/1010326"}],"wp:attachment":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media?parent=1010325"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/categories?post=1010325"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/tags?post=1010325"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}