Google acaba de anunciar Geminissu conjunto de modelos de IA más potente hasta el momento, y la empresa ya ha sido acusada de mentir sobre su rendimiento.
Un artículo de opinión de Bloomberg afirma que Google tergiversó el poder de Gemini en un vídeo reciente. Google emitió un impresionante “que carajo” vídeo práctico durante su anuncio a principios de esta semana, y el columnista Parmy Olson dice que parecía notablemente capaz en el video, tal vez también capaz.
El vídeo de seis minutos muestra las capacidades multimodales de Gemini (indicaciones de conversación habladas combinadas con reconocimiento de imágenes, por ejemplo). Gemini aparentemente reconoce imágenes rápidamente, incluso para imágenes de conectar los puntos, responde en segundos y rastrea un fajo de papel en un juego de taza y pelota en tiempo real. Claro, los humanos pueden hacer todo eso, pero esta es una IA capaz de reconocer y predecir lo que sucederá a continuación.
Pero haga clic en la descripción del video en YouTube y Google tendrá un descargo de responsabilidad importante:
«A los efectos de esta demostración, se ha reducido la latencia y las salidas de Gemini se han acortado por motivos de brevedad».
Eso es lo que le molesta a Olson. Segun ella Bloomberg pedazo, Cuando se le pidió un comentario, Google admitió que la demostración en video no ocurrió en tiempo real con indicaciones habladas, sino que utilizó cuadros de imágenes fijas a partir de imágenes sin editar y luego escribió indicaciones de texto a las que Gemini respondió. «Eso es bastante diferente de lo que Google parecía sugerir: que una persona podría tener una conversación de voz fluida con Gemini mientras éste observa y responde en tiempo real al mundo que lo rodea», escribe Olson.
Para ser justos con Google, las empresas editan vídeos de demostración con frecuencia, especialmente porque muchas quieren evitar los problemas técnicos que conllevan las demostraciones en vivo. Es común modificar un poco las cosas. Pero Google tiene un historial de demostraciones en vídeo cuestionables. La gente se preguntaba si la demostración Duplex de Google (recuerda dúplexel asistente de voz de IA que llamaba a peluquerías y restaurantes para hacer reservas?) era real porque había una clara falta de ruido ambiental y empleados demasiado serviciales. Y los vídeos pregrabados de modelos de IA tienden a hacer que la gente sospeche aún más. Recuerda cuando Baidu lanzó su Ernie Bot con videos editados y sus acciones se derrumbaron?
En una situación como esta, Olson dice que Google está «haciendo alarde» para engañar a la gente sobre el hecho de que Gemini todavía está por detrás del GPT de OpenAI.
Google no está de acuerdo. Cuando se le preguntó sobre la validez de la demostración, señaló El borde a una entrada de Oriol Vinyalsvicepresidente de investigación y líder de aprendizaje profundo en DeepMind de Google (también codirector de Gemini), que explica cómo el equipo hizo el video.
«Todas las indicaciones y resultados del usuario en el video son reales, abreviados para mayor brevedad», dice Vinyals. “El vídeo ilustra cómo podrían verse las experiencias de usuario multimodo creadas con Gemini. Lo hicimos para inspirar a los desarrolladores”.
Añadió que el equipo le dio imágenes y textos a Gemini y le pidió que respondiera prediciendo lo que vendrá a continuación.
Esa es ciertamente una forma de abordar esta situación, pero podría no ser la correcta para Google, que ya parece, al menos ante el público, haber sido tomado por sorpresa por el enorme éxito de OpenAI este año. Si quiere inspirar a los desarrolladores, no es a través de videos cuidadosamente editados que posiblemente tergiversan las capacidades de la IA. Se trata de permitir que los periodistas y desarrolladores experimenten realmente el producto. Deje que la gente haga cosas estúpidas con Gemini en una pequeña versión beta pública. Muéstranos lo poderoso que es realmente.