Los modelos de idiomas grandes (LLM) como ChatGPT y Google Bard pueden proporcionar alguno respuestas decentes a ciertos tipos de preguntas, pero estas computadoras son, irónicamente, bastante malas en computación. Google tiene una nueva solución para intentar que los modelos de lenguaje realicen tareas simples, como matemáticas, correctamente: hacer que la IA escriba un programa. Google dice que ahora, cuando le pides a Bard una tarea «computacional» como matemática o manipulación de cadenas, en lugar de mostrar el resultado del modelo de lenguaje, ese modelo de lenguaje escribirá un programa, ejecutará ese programa y luego mostrará el resultado de ese programa. al usuario como respuesta.
La publicación de blog de Google proporciona la entrada de ejemplo de «Invierta la palabra ‘Lollipop’ para mí». ChatGPT falla esta pregunta y proporciona la respuesta incorrecta «pillopoL», porque los modelos de lenguaje ven el mundo en trozos de palabras o «tokens», y simplemente no son buenos en esto. Aquí está la salida de ejemplo de Bard:
Obtiene la salida correcta como «popilloL», pero lo más interesante es que también incluye el código python escribió para responder a la pregunta. Eso es bueno para las personas con mentalidad de programación para ver debajo del capó, pero wow, es probablemente el resultado más aterrador para la gente común. Tampoco es particularmente relevante. Imagínese si Gmail le mostrara un bloque de código cuando acaba de pedirle que busque el correo electrónico. Es raro. Solo haz el trabajo que te pidieron que hicieras, Bard.
Google compara un modelo de IA que escribe un programa con humanos que hacen divisiones largas en el sentido de que es un modo diferente de pensar:
Este enfoque se inspira en una dicotomía bien estudiada en la inteligencia humana, especialmente cubierta en el libro de Daniel Kahneman. Pensando, Rápido y Lento— la separación del pensamiento del “Sistema 1” y el “Sistema 2”.
- El pensamiento del Sistema 1 es rápido, intuitivo y sin esfuerzo. Cuando un músico de jazz improvisa en el acto o un mecanógrafo piensa en una palabra y la ve aparecer en la pantalla, están usando el pensamiento del Sistema 1.
- El pensamiento del sistema 2, por el contrario, es lento, deliberado y esforzado. Cuando estás realizando una división larga o aprendiendo a tocar un instrumento, estás usando el Sistema 2.
En esta analogía, se puede pensar que los LLM operan únicamente bajo el Sistema 1, produciendo texto rápidamente pero sin una reflexión profunda. Esto conduce a algunas capacidades increíbles, pero puede fallar en algunas formas sorprendentes. (Imagínese tratar de resolver un problema matemático usando el Sistema 1 solo: no puede detenerse y hacer la aritmética, solo tiene que escupir la primera respuesta que se le ocurra). El cálculo tradicional se alinea estrechamente con el pensamiento del Sistema 2: es formulaico y inflexible, pero la secuencia correcta de pasos puede producir resultados impresionantes, como soluciones a divisiones largas.
Google dice que este método de «escribir código sobre la marcha» también se utilizará para preguntas como: «¿Cuáles son los factores primos de 15683615?» y «Calcular la tasa de crecimiento de mis ahorros». La compañía dice: «Hasta ahora, hemos visto que este método mejora la precisión de las respuestas de Bard a problemas matemáticos y de palabras basados en computación en nuestros conjuntos de datos de desafío internos en aproximadamente un 30 %». Como de costumbre, Google advierte a Bard que «podría no hacerlo bien» debido a que interpretó mal su pregunta o simplemente, como todos nosotros, escribió un código que no funciona la primera vez.
Bard está codificando respuestas sobre la marcha en este momento si desea intentarlo en bard.google.com.