La calidad de la IA del habla siguió mejorando como resultado del crecimiento y desarrolló algunas habilidades sorprendentes. ¿Los modelos de lenguaje aún más grandes conducen a una inteligencia similar a la humana, o falta algo esencial?
¿La IA del habla imita el habla como un loro sin comprender el contexto, o estos programas hacen inferencias?
«Es hora de que lo llamemos un sistema inteligente», dice Sébastien Bubeck de GPT-4, el sucesor de la inteligencia artificial lingüística (IA) Chat-GPT de Open AI. El informático de Microsoft Research y su equipo examinaron lo que puede hacer GPT-4.
Algo ha cambiado con la llegada de esta inteligencia artificial, lo resume Bubeck en su conferencia en el Instituto Tecnológico de Massachusetts (MIT) en Boston para ver youtube es. GPT-4 no solo marca una mejora gradual en la IA, sino un «salto cualitativo».
Su equipo quiere haber reconocido las características centrales de la inteligencia en GPT-4: razonamiento, comprensión de ideas abstractas y resolución de problemas. En el video, explica esto usando varios ejemplos, por ejemplo, usando la diferencia en cómo el generador de imágenes de IA Stable Diffusion y GPT-4 implementan una descripción de imagen. Se supone que la IA representa un desierto y una pirámide a un lado de un río y rascacielos al otro.
Stable Diffusion ofrece estructuras piramidales en una especie de parque, pero sin río ni rascacielos. GPT-4, por otro lado, produce un gráfico que muestra todos los elementos claramente y en la disposición espacial correcta. «Eso es exactamente, lo que queríamos», se entusiasma Bubeck. «GPT-4 entiende Tú”, enfatiza.
Microsoft es uno de los principales inversores en Open AI, por lo que la investigación de Bubeck no es independiente. Y el ensayo de su equipo «Chispas de inteligencia artificial general: primeros experimentos con GPT-4» aún no ha sido revisado por científicos externos. Pero Bubeck no está solo con sus ideas.
La investigación de IA se divide en dos campos: algunos están convencidos de que los chatbots como Chat-GPT están mostrando los primeros signos de inteligencia y piensan que incluso modelos más grandes y cantidades de datos pueden conducir a un pensamiento humano. Los otros son escépticos.
Títulos de películas hechos a partir de emojis adivinados como señal de emergencia
GPT-4 es el llamado modelo de lenguaje. Este tipo de IA encuentra la siguiente palabra más probable para un comienzo de texto dado. La aplicación repetida de esta estimación crea un nuevo texto palabra por palabra. Esto también puede ser un código de programa, por ejemplo, para mostrar un gráfico.
Los modelos de lenguaje han existido durante décadas. Pero en los últimos años han hecho un rápido progreso. Dos factores fueron decisivos para ello: en primer lugar, un nuevo método de aprendizaje automático llamado Transformer, que permite analizar muchas palabras de un texto en paralelo; segundo, redes neuronales de rápido crecimiento.
Las redes neuronales artificiales son grandes modelos computacionales con muchas variables., que están conectados entre sí de una manera muy compleja. Están inspirados en la red de neuronas y sinapsis del cerebro. GPT-3, lanzado en 2020, tenía 175 mil millones de variables. Cien veces más que los predecesores que habían aparecido unos años antes. Con el sucesor GPT-4, el número probablemente sea mucho mayor. Open AI los guarda para sí mismo.
Esta ampliación también se denomina «escalado». Y este progreso cuantitativo ha resultado en saltos de calidad sin ideas de investigación realmente nuevas.
Por ejemplo, al adivinar títulos de películas a partir de emojis. Éste prueba a los investigadores se les ocurrió probar la comprensión del contenido de la IA del habla. Un rostro de niña con coletas, un pez payaso, un pez azul y un pez globo (👧🐟🐠🐡), por ejemplo, simbolizan a los personajes principales de «Buscando a Nemo». Los modelos de lenguaje pequeño adivinan algo como «una película emoji», los modelos de lenguaje grande adivinan correctamente.
Algunos investigadores de IA lo llaman emergencia cuando aparecen nuevas cualidades imprevistas, aunque solo ha aumentado la cantidad de parámetros y datos de entrenamiento. Un ejemplo de emergencia en biología es el cerebro: una célula cerebral por sí sola no puede pensar ni planificar, cien o mil de ellas tampoco, pero las cien mil millones de células cerebrales de un ser humano juntas sí pueden.
Siguiendo esta analogía, algunos investigadores creen que solo hay que escalar más los modelos de lenguaje para que surjan cualidades cada vez más altas, hasta que finalmente emerja una “IA general” que sería inteligente de manera similar a un ser humano.
Lo que funciona como «emergencia» también se puede explicar de otra manera
Rico Sennrich, de la Universidad de Zúrich, lo duda, no le impresiona adivinar títulos de películas con emojis. Con datos de entrenamiento adecuados, también puede entrenar un modelo de lenguaje pequeño para hacer este trabajo, dice el lingüista informático. Dado que los ejemplos de adivinanzas de emoji rara vez aparecen en los datos de entrenamiento, Sennrich sospecha que esta habilidad solo surge cuando los modelos superan un cierto tamaño.
Sennrich observó algo similar en su investigación sobre la traducción automática. Cuanto más grande es la inteligencia artificial de un idioma, más de los millones de palabras aprende. «Los modelos más pequeños solo aprenden palabras comunes como ‘barco’ o ‘bote'», explica Sennrich. Al escalar, las palabras que son menos comunes siguen paso a paso, y solo por último, palabras raras, como el tipo de barco «dinghy».
Se podría hablar de un salto de calidad cada vez que se aprende una nueva palabra, dice el lingüista informático. Pero la explicación es simple: el modelo es simplemente económico con sus recursos. Lo que rara vez ocurre en los datos de entrenamiento, es ocultarlos hasta que tengan suficientes parámetros para almacenarlos, explica Sennrich.
El investigador sospecha que esto es similar al escalar modelos de lenguaje. Por lo tanto, los datos de ejemplo para habilidades aparentemente emergentes ya están disponibles en los textos de capacitación, pero rara vez, y el modelo solo los aprende cuando no tiene que sacrificar ninguna habilidad más importante. «Si solo una pequeña parte de los datos de entrenamiento consiste en secuencias de emojis, entonces la finalización de esta secuencia de palabras solo se aprende al final», dice Sennrich.
La IA no aprenderá a calcular solo a partir de más datos
Hinrich Schütze, de la Universidad Ludwig-Maximilians de Múnich, tampoco cree en la aparición real de grandes modelos lingüísticos. Un ejemplo es la adición de números de varios dígitos; algunos discuten esto como una habilidad emergente de los modelos de lenguaje. No así Sagitario: «El hecho de que chat GPT y compañía puedan sumar números de tres dígitos no prueba que entiendan aritmética».
Debido a que hay relativamente pocos números de tres dígitos, sus adiciones rara vez aparecen en el material de capacitación, explica. Sin embargo, hay muchos más números con seis o más dígitos, y todas las posibles adiciones con ellos no aparecen en Internet durante mucho tiempo. Si la IA obtuviera conocimientos profundos del material de capacitación, habría que esperar que la próxima generación también pudiera agregar grandes números. Esto es exactamente lo que Sagitario duda.
Estar limitado a lo que ya existe es lo que los expertos en IA llaman interpolación. La IA puede crear algo nuevo que no existe en los datos de entrenamiento. Pero esta novedad siempre sigue siendo una aproximación de patrones que ella conoce a partir de los datos de entrenamiento. Solo si ya conoce el patrón «cuatro emojis, luego el título de una película», asignará un título de película a una nueva secuencia de emoji.
Los humanos, por otro lado, también se llevan bien en contextos desconocidos. “Una persona aprende rápido cuando mover la cabeza significa aprobación en otra cultura”, da como ejemplo Schütze. Los expertos llaman a este pensamiento fuera de la caja extrapolación.
La inteligencia artificial también podría estar habilitada para hacer esto, cree Schütze, pero la investigación debe estar más orientada hacia la inteligencia humana. El escalado puro no es suficiente para este salto de calidad.
El escalado podría llegar pronto a sus límites
Sébastien Bubeck, por otro lado, cree que GPT-4 ya está extrapolando. El equipo de Microsoft ideó varias pruebas para la IA, similares a la de la pirámide y el río, que son tan inusuales que pensaron que no deberían aparecer en los datos de entrenamiento. Para la mayoría, GPT-4 funcionó significativamente mejor que el chat GPT.
La gran cantidad de variables en GPT-4 es decisiva para esto, dice Bubeck. «Puedes hacer mucho con un billón de variables», dice. La IA solo fue entrenada para reconocer patrones en textos. Pero aprendió En este proceso, tienen mucho más que eso.Gracias a la presumiblemente gran cantidad de datos de entrenamiento, GPT-4 podría haber creado una representación interna del mundo que utiliza al resolver tareas, cree el científico informático.
Bubeck usa el subjuntivo en su explicación. Cómo funcionan los modelos de lenguaje en detalle es el tema de la investigación actual. Los creadores de Open AI saben más sobre GPT-4, pero no le han proporcionado a Microsoft ninguna información sobre cómo se construyó el modelo o los datos de entrenamiento. Bubeck y su equipo analizaron la IA basándose únicamente en los resultados.
Si los modelos de lenguaje dan testimonio de un aprendizaje más profundo o solo reproducen sin rodeos los patrones de los datos de entrenamiento, también es una cuestión de creencia en este momento. Un mayor crecimiento de los modelos podría demostrarlo.
Pero hay una trampa: Rico Sennrich espera que la escala alcance pronto sus límites. Porque más variables solo brindan un mejor rendimiento si la cantidad de datos de entrenamiento crece con él. Ambos se han multiplicado por mil en los últimos años. «Una parte importante de Internet ya se está utilizando como datos de entrenamiento». Por lo tanto, es cuestionable si los modelos pueden seguir creciendo como antes.