Google dice que ejecutar modelos de IA en teléfonos consume mucha RAM


Agrandar / El logotipo de Google Géminis.

Google

A principios de marzo, Google hizo el extraño anuncio de que sólo uno de sus dos últimos teléfonos inteligentes, el Pixel 8 y el Pixel 8 Pro, podrían ejecutar su último modelo de IA, llamado «Google Gemini». A pesar de tener especificaciones muy similares, el Pixel 8 más pequeño no obtendría el nuevo modelo de IA, y la compañía citó misteriosas «limitaciones de hardware» como razón. Fue una declaración extraña considerando el hecho de que Google diseñó y comercializó el Pixel 8 para que estuviera centrado en la IA y luego diseñó un modelo de IA centrado en un teléfono inteligente llamado «Gemini Nano», pero aún así no pudo hacer que los dos funcionaran juntos.

Unas semanas más tarde, Google está retrocediendo un poco. La compañía anunció en el foro de ayuda de Pixel Phone que el Pixel 8 más pequeño en realidad voluntad obtenga Gemini Nano en el próximo gran lanzamiento trimestral de Android, que debería realizarse en junio. Sin embargo, hay un problema: mientras que el Pixel 8 Pro tendrá Gemini Nano como una función orientada al usuario, en el Pixel 8 solo se lanzará «como una opción para desarrolladores». Eso significa que sólo podrás activarlo a través del menú oculto de Opciones de desarrollador en la configuración, y la mayoría de las personas se lo perderán.

Seang Chau, vicepresidente de software de dispositivos y servicios de Google, explicó la decisión en el podcast interno «Made by Google» de la compañía. «El Pixel 8 Pro, con 12 GB de RAM, era el lugar perfecto para colocar [Gemini Nano] en el dispositivo y ver qué podíamos hacer», dijo Chau. «Cuando miramos el Pixel 8 como ejemplo, el Pixel 8 tiene 4 GB menos de memoria, y no fue tan fácil llamar simplemente decir, ‘todos’. Bien, también lo habilitaremos en Pixel 8′». Según Chau, la inquietud de Google se debe a que la compañía no quiere «degradar la experiencia» en el Pixel 8 más pequeño, que solo tiene 8 GB de RAM.

Chau continuó describiendo cómo es tener un modelo de lenguaje grande como Gemini Nano en su teléfono, y parece que hay grandes compensaciones involucradas. Google quiere que algunos de los modelos de IA sean «residentes en RAM» para que siempre estén cargados en la memoria. Una de esas características es la «respuesta inteligente», que intenta generar automáticamente respuestas de texto.

Chau dijo en el podcast: «La respuesta inteligente es algo que requiere que los modelos sean residentes en la RAM para que esté disponible todo el tiempo. No desea esperar a que el modelo se cargue en una respuesta de Gboard, por lo que lo mantenemos residente. » Por esa razón, Google mantiene la respuesta inteligente impulsada por Gemini detrás de una bandera de desarrollador tanto para Pixel 8 como para Pixel 8 Pro. Las opciones de «Respuesta inteligente» en la configuración normal del teclado no funcionan con Gemini.

El Pixel 8 Pro más grande obtiene las últimas funciones de inteligencia artificial.  El modelo más pequeño lo tendrá bloqueado detrás de una opción de desarrollador.
Agrandar / El Pixel 8 Pro más grande obtiene las últimas funciones de inteligencia artificial. El modelo más pequeño lo tendrá bloqueado detrás de una opción de desarrollador.

Google

Entonces, a diferencia de una aplicación, que se puede cargar y descargar a medida que la usas, ejecutar algo como Gemini Nano podría significar perder permanentemente lo que aparentemente es una gran parte de la memoria del sistema. Es posible que sea necesario aumentar nuevamente la base de 8 GB de RAM para teléfonos Android en el futuro. La marca más alta que hemos visto para los teléfonos es 24 GB de RAM, y los buques insignia más grandes suelen tener 12 GB o 16 GB de RAM, por lo que ciertamente es factible.

El modelo Gemini Nano de Google también se incluye en la línea Galaxy S24, y el modelo base también tiene 8 GB de RAM. Cuando Google originalmente citó limitaciones de hardware en el Pixel 8 por la ausencia de la función, su explicación fue confusa: si el modelo base S24 puede ejecutarla, el Pixel 8 también debería poder hacerlo. Sin embargo, todo se trata de qué compensación estás dispuesto a hacer en la memoria disponible para las aplicaciones. Chau dice que el equipo «todavía está validando el estado del sistema porque incluso si eres desarrollador, es posible que quieras usar tu teléfono a diario».

Sin embargo, el elefante en la habitación es que, como usuario, ni siquiera sé si desear Gemini Nano en mi teléfono. Estamos en la cima del ciclo de exageración generativa de la IA, y Google tiene sus propias razones internas (el mercado de valores) para impulsar la IA con tanta fuerza. Si bien visitar ChatGPT y hacer preguntas puede ser útil, eso es solo una aplicación. Las funciones de IA generativa realmente útiles a nivel del sistema operativo son pocas y espaciadas. Realmente no necesito un teclado para generar respuestas automáticamente. Si solo va a consumir una gran cantidad de RAM que las aplicaciones podrían usar, es posible que desee desactivarlo.

Esta publicación se actualizó el 30 de marzo después de recibir datos adicionales de Google PR. Google nos dijo que ni Pixel 8 ni Pixel 8 Pro mantienen Gemini en la memoria en este momento, a menos que active la bandera de desarrollador. Eso significa que, de forma predeterminada, la función de respuesta inteligente de ninguno de los dispositivos funciona con Gemini.



Source link-49