{"id":572998,"date":"2023-04-14T09:08:32","date_gmt":"2023-04-14T09:08:32","guid":{"rendered":"https:\/\/magazineoffice.com\/como-ejecutar-una-ia-similar-a-chatgpt-en-su-propia-pc\/"},"modified":"2023-04-14T09:08:39","modified_gmt":"2023-04-14T09:08:39","slug":"como-ejecutar-una-ia-similar-a-chatgpt-en-su-propia-pc","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/como-ejecutar-una-ia-similar-a-chatgpt-en-su-propia-pc\/","title":{"rendered":"C\u00f3mo ejecutar una IA similar a ChatGPT en su propia PC"},"content":{"rendered":"


\n<\/p>\n

\n
Medio viaje<\/span><\/figcaption><\/figure>\n

Puede ejecutar una IA similar a ChatGPT en su propia PC con Alpaca, un chatbot creado por investigadores de Stanford. Es compatible con Windows, macOS y Linux. Solo necesita al menos 8 GB de RAM y aproximadamente 30 GB de espacio de almacenamiento gratuito.<\/p>\n

Los chatbots est\u00e1n de moda en este momento, y todos quieren una parte de la acci\u00f3n. Google tiene Bard, Microsoft tiene Bing Chat y ChatGPT de OpenAI es pr\u00e1cticamente sin\u00f3nimo de IA en este momento. Pero, \u00bfqu\u00e9 sucede si no desea confiar en un servicio en la nube para su chatbot? Tenemos una IA similar a ChatGPT que puedes descargar: una Alpaca.<\/p>\n

\u00bfQu\u00e9 es la alpaca?<\/h2>\n

Alpaca es un modelo de lenguaje (un chatbot, b\u00e1sicamente), muy parecido a ChatGPT. Es capaz de responder preguntas, razonar, contar chistes y casi cualquier otra cosa que esperamos de los chatbots. Alpaca fue creada por investigadores de Stanford al perfeccionar LLaMA de Facebook.<\/p>\n

A diferencia de ChatGPT y la mayor\u00eda de los otros chatbots disponibles en la actualidad, Alpaca se ejecuta completamente en su propia PC. Eso significa que nadie puede espiar tus conversaciones o lo que le pidas a Alpaca, y tus intercambios tampoco pueden filtrarse accidentalmente. Tambi\u00e9n significa que no tiene que pagar ninguna tarifa mensual, puede entrenar m\u00e1s el modelo para que se adapte mejor a sus necesidades si tiene el hardware, y puede integrarlo en cualquier aplicaci\u00f3n que desee. Solo est\u00e1 limitado por su hardware y sus habilidades de programaci\u00f3n.<\/p>\n

Sin embargo, tambi\u00e9n funciona maravillosamente como un viejo chatbot normal con el que puede hablar, y le mostraremos c\u00f3mo ejecutarlo en casi cualquier PC.<\/p>\n

\u00bfC\u00f3mo se compara Alpaca con ChatGPT?<\/h2>\n

Simplemente lo explicaremos desde el principio: ChatGPT, particularmente ChatGPT con GPT-4, es m\u00e1s inteligente y r\u00e1pido que Alpaca en este momento.<\/p>\n

La velocidad de Alpaca est\u00e1 limitada principalmente por la computadora en la que se ejecuta: si tiene una PC para juegos ultrarr\u00e1pida con una tonelada de n\u00facleos y mucha RAM, obtendr\u00e1 un buen rendimiento. Las PC m\u00e1s lentas con menos n\u00facleos tardar\u00e1n m\u00e1s en generar respuestas. Por supuesto, no es exactamente justo ni razonable compararlo con ChatGPT en este sentido: no sabemos en qu\u00e9 tipo de computadora se est\u00e1 ejecutando ChatGPT, pero ciertamente es m\u00e1s robusto que una PC de escritorio promedio.<\/p>\n

Hay tres variantes principales de Alpaca actualmente, 7B, 13B y 30B. En t\u00e9rminos generales, cuanto mayor sea el n\u00famero, m\u00e1s inteligente ser\u00e1 el chatbot.<\/p>\n

Alpaca, especialmente el modelo 7B, es notablemente \u00abm\u00e1s tonto\u00bb que ChatGPT. No razona tan bien y ciertamente no pasar\u00e1 la prueba de Turing. Sin embargo, 7B sigue siendo excelente si desea una sugerencia de receta.<\/p>\n

Los modelos 13B y 30B son otra historia. 13B es capaz de proporcionar una conversaci\u00f3n coherente, similar a la humana, y puede responder preguntas complejas. 30B es a\u00fan m\u00e1s impresionante, si tiene el hardware para ejecutarlo y est\u00e1 a poca distancia de ChatGPT. Se encerar\u00e1 filos\u00f3ficamente o har\u00e1 una broma sin perder el ritmo si se le solicita.<\/p>\n

\u00bfQu\u00e9 necesitas para correr Alpaca?<\/h2>\n

Alpaca tiene requisitos de sistema bastante flexibles. Estas pautas est\u00e1n por encima del m\u00ednimo indispensable, pero son buenas pautas. Tambi\u00e9n vamos a instalar esto en Windows. Si est\u00e1 instalando esto en un sistema que ejecuta Linux o macOS, simplemente omita la secci\u00f3n Subsistema de Windows para Linux; no es relevante para usted.<\/p>\n

    \n
  • 16 GB de RAM\n<\/li>\n
  • 35 GB de almacenamiento en un SSD si quieres los tres modelos.\n
      \n
    • 4 GB para el modelo 7B, 8 GB para el modelo 13B y 20 GB para el modelo 30B<\/li>\n
    • 500 MB para Ubuntu predeterminado con WSL2<\/li>\n
    • Unos GB m\u00e1s entre otras dependencias<\/li>\n<\/ul>\n<\/li>\n
    • Una CPU moderna es ideal\n
        \n
      • Cualquier CPU Ryzen<\/li>\n
      • Procesador Intel de s\u00e9ptima generaci\u00f3n o m\u00e1s reciente<\/li>\n<\/ul>\n<\/li>\n
      • Subsistema de Windows para Linux 2 (WSL2)<\/li>\n
      • GIT<\/li>\n
      • Estibador<\/li>\n
      • Un proyecto comunitario, Serge, que le da a Alpaca una interfaz web agradable<\/li>\n<\/ul>\n

        Advertencia:<\/strong> Actualmente no hay raz\u00f3n para sospechar que este proyecto en particular tiene fallas de seguridad importantes o es malicioso. Revisamos el c\u00f3digo y ejecutamos el software nosotros mismos y no encontramos nada preocupante. Eso no significa que sea o vaya a ser seguro. Siempre tenga cuidado con las cosas que encuentre en Internet y reeval\u00fae la seguridad peri\u00f3dicamente.<\/p><\/blockquote>\n

        C\u00f3mo ejecutar Alpaca localmente en tu PC<\/h2>\n

        Es importante que siga estos pasos en el orden en que se dan. Es probable que Docker se rompa si no lo hace, lo que requerir\u00e1 una reinstalaci\u00f3n completa de WSL2 y Docker.<\/p>\n

        Instalar el subsistema de Windows para Linux 2<\/h3>\n

        El subsistema de Windows de Microsoft para Linux 2 (WSL2) le permite ejecutar el software de Linux en Windows. Tiene una sobrecarga baja y es realmente \u00fatil en muchos casos. Docker para Windows se basa en WSL2, por lo que primero debemos instalar WSL2.<\/p>\n

        Nota:<\/strong> Si ya tiene instalado WSL2, simplemente ejecute wsl \u2013update en PowerShell para asegurarse de que todo est\u00e9 actualizado.<\/p><\/blockquote>\n

        Abra una ventana de PowerShell como administrador, luego ingrese el comando:<\/p>\n

        wsl --install<\/code><\/p>\n

        Tomar\u00e1 un poco descargar todos los archivos WSL2 y Ubuntu. Debe reiniciar su PC despu\u00e9s de que se complete la instalaci\u00f3n.<\/p>\n

        \"Instalaci\u00f3n<\/p>\n

        Una vez que se haya realizado el reinicio, vuelva a abrir PowerShell (no necesariamente como administrador) y ejecute:<\/p>\n

        wsl -l -v\u00a0<\/code><\/p>\n

        Deber\u00eda ver algo como la imagen de abajo si todo funcion\u00f3 correctamente. Tampoco necesita instalar Ubuntu en particular. Puede instalar cualquier distribuci\u00f3n que desee, Ubuntu es solo la predeterminada.<\/p>\n

        \"Comprobando<\/p>\n

        Instalar ventana acoplable<\/h3>\n

        Docker es un programa que le permite ejecutar programas en un \u00abcontenedor\u00bb. Los contenedores son similares a las m\u00e1quinas virtuales, pero tienden a tener menos gastos generales y tienen un mayor rendimiento para muchas aplicaciones. Serge usa Docker para que la instalaci\u00f3n sea muy c\u00f3moda.<\/p>\n

        RELACIONADO:<\/strong> \u00bfQu\u00e9 hace Docker y cu\u00e1ndo deber\u00eda usarlo?<\/em><\/strong><\/p>\n

        Primero, descargue el instalador de Docker desde el sitio web de Docker. Si va a ejecutar Docker en Linux o macOS, aseg\u00farese de obtener el instalador adecuado.<\/p>\n

        Nota:<\/strong> Si est\u00e1 ejecutando un servidor Linux sin cabeza, querr\u00e1 seguir las instrucciones apropiadas para su distribuci\u00f3n de Linux para ejecutar Docker.<\/p><\/blockquote>\n

        \"Instale<\/p>\n

        Ejecute el instalador y prep\u00e1rese para esperar unos minutos. Docker tomar\u00e1 un tiempo y configurar\u00e1 un mont\u00f3n de cosas detr\u00e1s de escena. Una vez hecho esto, querr\u00e1 reiniciar su PC.<\/p>\n

        Despu\u00e9s de reiniciar, abra PowerShell y ejecute wsl -l -v<\/code> de nuevo. Esta vez tambi\u00e9n deber\u00eda ver algunas entradas relacionadas con Docker.<\/p>\n

        \"Docker<\/p>\n

        Instalar GIT en Windows<\/h3>\n

        El \u00faltimo requisito previo es Git, que usaremos para descargar (y actualizar) Serge autom\u00e1ticamente desde Github. No es estrictamente necesario ya que siempre puedes descargar el ZIP y extraerlo manualmente, pero Git es mejor.<\/p>\n

        Dir\u00edgete al sitio web de Git y descarga la versi\u00f3n correcta para tu sistema operativo. Los usuarios de Windows solo necesitan ejecutar el ejecutable. Aseg\u00farese de mirar al menos las opciones de instalaci\u00f3n en lugar de simplemente hacer clic r\u00e1pidamente en todas las opciones. Uno, que se muestra en la captura de pantalla a continuaci\u00f3n, es absolutamente cr\u00edtico.<\/p>\n

        \"Aseg\u00farese<\/p>\n

        Una vez que Git haya terminado de instalar, estar\u00e1 listo para instalar Serge y Alpaca.<\/p>\n

        Instalar Serge y Alpaca<\/h3>\n

        Primero, aseg\u00farese de que Docker Desktop se est\u00e9 ejecutando. Luego, abra PowerShell o Windows Terminal con una ventana de PowerShell abierta (no como administrador) y ejecute el siguiente comando:<\/p>\n

        git clone https:\/\/github.com\/nsarrazin\/serge.git && cd serge<\/code><\/p>\n

        Esto descarga los archivos de GitHub a una carpeta en su PC, luego cambia el directorio activo a la carpeta que se cre\u00f3.<\/p>\n

        \"Descarga<\/p>\n

        El siguiente comando que debe ejecutar es:<\/p>\n

        cp .env.sample .env<\/code><\/p>\n

        Esa l\u00ednea crea una copia de .env.sample y nombra la copia \u00ab.env\u00bb. El archivo contiene argumentos relacionados con el local<\/em> base de datos que almacena sus conversaciones y el puerto que utiliza el servidor web local cuando se conecta.<\/p>\n

        Entonces corre:<\/p>\n

        docker compose up -d<\/code><\/p>\n

        Docker compose une varios contenedores diferentes en un paquete ordenado. Puede consultar el archivo docker-compose.yml en la carpeta Serge si desea ver m\u00e1s espec\u00edficamente lo que est\u00e1 involucrado aqu\u00ed.<\/p>\n

        \"Docker-Compose<\/p>\n

        El \u00faltimo comando iniciar\u00e1 una descarga, y aqu\u00ed debe elegir antes de continuar. Hay tres variantes diferentes que puede descargar: 7B, 13B y 30B. El 7B es el modelo m\u00e1s simple y \u201cm\u00e1s tonto\u201d, mientras que el 30B es el m\u00e1s sofisticado e inteligente. 13B es el t\u00e9rmino medio.<\/p>\n

        \n\n\n\n\n\n\n
        Variante<\/strong><\/td>\nTama\u00f1o de descarga<\/strong><\/td>\nRAM libre requerida<\/strong><\/td>\nRAM del sistema recomendada en Windows<\/strong><\/td>\nRAM del sistema recomendada en Linux<\/strong><\/td>\n<\/tr>\n
        7B<\/strong><\/td>\n4 GB<\/td>\n4 GB<\/td>\n16 GB<\/td>\n8GB<\/td>\n<\/tr>\n
        13B<\/strong><\/td>\n8GB<\/td>\n8GB<\/td>\n16 GB<\/td>\n16 GB<\/td>\n<\/tr>\n
        30B<\/strong><\/td>\n20<\/td>\n20 GB<\/td>\n64 GB (probable)<\/td>\n32 GB<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n

        Las instalaciones de Linux (y probablemente macOS) podr\u00e1n salirse con la suya con menos RAM del sistema que las instalaciones de Windows: Windows consume un poco de RAM. Probablemente deber\u00eda comenzar primero con la variante 7B, ya que es la opci\u00f3n menos exigente. Siempre puede descargar 13B o 30B m\u00e1s tarde si lo desea.<\/p>\n

        Ejecute el siguiente comando para descargar el modelo 7B (o sustituya 13B o 30B).<\/p>\n

        docker compose exec api python3 \/usr\/src\/app\/utils\/download.py tokenizer 7B<\/code><\/p>\n

        Prep\u00e1rate para esperar, especialmente si optas por la variante 30B. El servidor Huggingface parece alcanzar un m\u00e1ximo de aproximadamente 20 megabytes por segundo, por lo que, en el mejor de los casos, ver\u00e1 50 segundos por gigabyte descargado.<\/p>\n

        \"Descargando<\/p>\n

        Usa sarga y alpaca<\/h2>\n

        Docker y todos los contenedores requeridos se est\u00e1n ejecutando actualmente si ha seguido estas instrucciones; sin embargo, deber\u00e1 volver a activarlos si reinicia su computadora. Para hacer eso, simplemente abra Docker Desktop y haga clic en los peque\u00f1os botones triangulares. Los \u00edconos a la izquierda de la columna \u00abNombre\u00bb se vuelven verdes cuando los contenedores se est\u00e1n ejecutando.<\/p>\n

        \"\"<\/p>\n

        Todo est\u00e1 instalado y listo para funcionar en este punto. Simplemente abra su navegador e ingrese \u00ablocalhost: 8008\u00bb en la barra de direcciones, tal como lo har\u00eda para visitar Facebook o cualquier otro sitio web.<\/p>\n

        Nota:<\/strong> Si aloja Alpaca\/Serge en otra computadora, deber\u00e1 ingresar la direcci\u00f3n IP local de ese dispositivo en lugar de localhost.<\/p><\/blockquote>\n

        La pantalla principal muestra sus conversaciones anteriores a la izquierda y la configuraci\u00f3n para un nuevo chat en el medio.<\/p>\n

        \"La<\/p>\n

        Hay una buena cantidad de configuraciones disponibles, pero hay cinco a las que realmente querr\u00e1s prestar atenci\u00f3n:<\/p>\n

          \n
        • Temperatura<\/strong> \u2013 Determina la libertad de respuesta de la IA. Los n\u00fameros m\u00e1s bajos dan como resultado respuestas m\u00e1s r\u00edgidas, mientras que los n\u00fameros m\u00e1s altos son m\u00e1s creativos.<\/li>\n
        • Longitud m\u00e1xima de texto generado en tokens <\/strong>\u2013 Cu\u00e1nto tiempo pueden durar las respuestas que escribe el bot.<\/li>\n
        • Elecci\u00f3n del modelo<\/strong> \u2013 Elija entre 7B, 13B, 30B y cualquier otro modelo que instale.<\/li>\n
        • n_hilos<\/strong> \u2013 La cantidad de subprocesos que Serge\/Alpaca puede usar en su CPU. Asignar m\u00e1s mejorar\u00e1 el rendimiento<\/li>\n
        • Aviso previo<\/strong> para inicializar una conversaci\u00f3n<\/strong> \u2013 Proporciona contexto antes de que comience la conversaci\u00f3n para sesgar la forma en que responde el chatbot.<\/li>\n<\/ul>\n

          En este caso, subimos la temperatura y los hilos, seleccionamos el modelo 13B y le dijimos al chatbot que es un pirata.<\/p>\n

          \"Configuraciones<\/p>\n

          Aqu\u00ed hay una muestra de c\u00f3mo fue la conversaci\u00f3n.<\/p>\n

          \"Un<\/p>\n

          Puede hablar de lo que quiera con Alpaca y no tiene que preocuparse por lo que sucede con sus datos. Permanece en su dispositivo, bajo su control en todo momento.<\/p>\n

          Recuerde, ChatGPT, Alpaca y otros chatbots parecen confiables, pero no lo son en este momento. Encarnan en gran medida el sentimiento: \u00abSi no puedes deslumbrarlos con brillantez, desconciertalos con BS\u00bb. Su tendencia a inventar cosas se ha denominado \u00abalucinaci\u00f3n\u00bb. No conf\u00ede en ellos para nada esencial, especialmente si no es algo cr\u00edtico para su trabajo o su salud. Solo deben usarse con fines de entretenimiento o experimentales en este momento.<\/p>\n

          Sin embargo, la tecnolog\u00eda solo mejorar\u00e1 con el tiempo: no pasar\u00e1 mucho tiempo antes de que veamos a Alpaca (u otra IA ejecutada localmente) integrada en los servidores de Discord, las modificaciones de Minecraft y cualquier otra cantidad de aplicaciones creativas. Un mayor refinamiento tambi\u00e9n dar\u00e1 como resultado modelos m\u00e1s r\u00e1pidos y precisos que pueden ejecutarse en hardware m\u00e1s d\u00e9bil.<\/p>\n<\/div>\n