Tras el lanzamiento de Chat with RTX de NVIDIA, AMD ahora ofrece a los usuarios su propio chatbot de IA localizado y basado en GPT con tecnología LLM que puede ejecutarse en CPU Ryzen AI y GPU Radeon 7000.
NVIDIA Chat con RTX tiene un competidor: AMD presenta su propio chatbot localizado con tecnología LLM que puede ejecutarse en CPU Ryzen AI y GPU Radeon 7000
El mes pasado, NVIDIA lanzó su Chatbot AI «Chat with RTX», que está disponible en sus GPU RTX 40 y RTX 30 y se acelera con el conjunto de funciones TensorRT-LLM que ofrece resultados GenAI más rápidos según los datos que usted pone a su disposición desde su PC o en otros términos, un conjunto de datos localizado. Ahora AMD ofrece su propio chatbot GPT basado en LLM que puede ejecutarse en una amplia gama de hardware, como las PC Ryzen AI, que incluyen APU Ryzen 7000 y Ryzen 8000 con NPU XDNA junto con las últimas GPU Radeon 7000 que cuentan con núcleos aceleradores de IA. .
AMD ha publicado un blog donde proporciona una guía de configuración sobre cómo utilizar su hardware para ejecutar su propio chatbot localizado impulsado por LLM (modelos de lenguaje grande) basados en GPT. Para las CPU AMD Ryzen AI, puede obtener la copia estándar de LM Studio para Windows, mientras que las GPU Radeon RX 7000 obtienen una vista previa técnica de ROCm. La guía completa se comparte a continuación:
1. Descargue la versión correcta de LM Studio:
2. Ejecute el archivo.
3. En la pestaña de búsqueda, copie y pegue el siguiente término de búsqueda según lo que desee ejecutar:
a. Si desea ejecutar Mistral 7b, busque: “TheBloke/OpenHermes-2.5-Mistral-7B-GGUF”Y selecciónelo de los resultados de la izquierda. Normalmente será el primer resultado. Vamos con Mistral en este ejemplo.
b. Si desea ejecutar LLAMA v2 7b, busque: “TheBloke/Llama-2-7B-Chat-GGUF”Y selecciónelo de los resultados de la izquierda. Normalmente será el primer resultado.
C. También puedes experimentar con otros modelos aquí.
4. En el panel de la derecha, desplácese hacia abajo hasta que vea el Q4 kilómetros archivo modelo. Haga clic en descargar.
a. Nosotros recomendamos Q4 kilómetros para la mayoría de los modelos en Ryzen AI. Espere a que termine de descargarse.
5. Vaya a la pestaña de chat. Seleccione el modelo en el menú desplegable central en la parte superior central y espere a que termine de cargarse.
6. Si tienes un AMDPC Ryzen con IA ¡puedes empezar a chatear!
a. Si tienes un AMDtarjeta grafica radeonpor favor:
i. Marque «Descarga de GPU» en el panel lateral derecho.
ii. Mueva el control deslizante hasta «Max».
III. Asegúrese de que AMD ROCm se muestre como el tipo de GPU detectado.
IV. ¡Empieza a chatear!
Tener un chatbot localizado impulsado por IA puede hacer la vida y el trabajo relativamente más fácil si se configura correctamente. Puede ser eficiente al hacer su trabajo y obtener resultados adecuados según sus consultas y la ruta de datos a la que se dirige el LLM. NVIDIA y AMD están acelerando el ritmo de las funciones impulsadas por IA para hardware de nivel de consumidor y esto es solo el comienzo; se esperan más innovaciones en el futuro a medida que el segmento de PC con IA alcance nuevas alturas.
