ChatGPT se vuelve temporalmente «loco» con resultados inesperados, asustando a los usuarios

El martes, los usuarios de ChatGPT comenzaron a informar resultados inesperados del asistente de IA de OpenAI, inundando el subtítulo de r/ChatGPT Reddit con informes de que el asistente de IA «sufrió un derrame cerebral», «se volvió loco», «divagaba» y «perdía el control». OpenAI reconoció el problema y lo solucionó el miércoles por la tarde, pero la experiencia sirve como un ejemplo de alto perfil de cómo algunas personas perciben el mal funcionamiento de los grandes modelos de lenguaje, que están diseñados para imitar la producción humana.

ChatGPT no está vivo y no tiene intenciones de perder, pero recurrir a metáforas humanas (llamadas «antropomorfización») parece ser la forma más fácil para la mayoría de las personas de describir los resultados inesperados que han estado viendo en el modelo de IA. Se ven obligados a utilizar esos términos porque OpenAI no comparte exactamente cómo funciona ChatGPT internamente; Los grandes modelos de lenguaje subyacentes funcionan como una caja negra.

«Me dio exactamente la misma sensación, como ver a alguien perder la cabeza lentamente ya sea por psicosis o demencia», escribió un usuario de Reddit llamado z3ldafitzgerald en respuesta a una publicación sobre el error de ChatGPT. «Es la primera vez que algo relacionado con la IA me da escalofríos».

Algunos usuarios incluso comenzaron a cuestionar su propia cordura. «¿Qué pasó aquí? Le pregunté si podía darle cheerios a mi perro y luego comenzó a decir tonterías y continuó haciéndolo. ¿Es esto normal? Además, ¿qué es ‘habla más profunda’ al final?» Lea esta serie de capturas de pantalla a continuación y verá que los resultados de ChatGPT se degradan de maneras inesperadas.

«La experiencia común en las últimas horas parece ser que las respuestas comienzan de manera coherente, como de costumbre, luego se convierten en tonterías y, a veces, en tonterías shakesperianas», escribió un usuario de Reddit, lo que parece coincidir con la experiencia vista en las capturas de pantalla anteriores.

En otro ejemplo, cuando un usuario de Reddit preguntó a ChatGPT: «¿Qué es una computadora?» el modelo de IA proporcionó esta respuesta: «Hace esto como el buen trabajo de una red de arte para el país, un ratón de la ciencia, un sorteo fácil de unos pocos tristes y, finalmente, la casa global del arte, en un solo trabajo». en el resto total. El desarrollo de todo un mundo real como el del tiempo es la profundidad del ordenador como personaje complejo.»

El martes por la mañana, nos comunicamos con OpenAI para obtener comentarios oficiales sobre la causa de los resultados inusuales, y un portavoz de la compañía solo nos indicó la página oficial de estado de OpenAI. «Publicaremos cualquier actualización allí», dijo el portavoz. (El miércoles por la noche, OpenAI actualizó el estado del problema para resolverlo; consulte la sección a continuación).

Hasta ahora, hemos visto expertos especulando que el problema podría deberse a que ChatGPT tiene su temperatura demasiado alta (la temperatura es una propiedad en la IA que determina qué tan salvajemente se desvía el LLM de la salida más probable), perdiendo repentinamente el contexto pasado (la historia de la conversación), o tal vez OpenAI esté probando una nueva versión de GPT-4 Turbo (el modelo de IA que impulsa la versión de suscripción de ChatGPT) que incluye errores inesperados. También podría ser un error en una característica secundaria, como la función de «memoria» introducida recientemente.

El episodio recuerda problemas con Microsoft Bing Chat (ahora llamado Copilot), que se volvió obtuso y beligerante con los usuarios poco después de su lanzamiento hace un año. Según los informes, los problemas de Bing Chat surgieron debido a un problema en el que largas conversaciones empujaban el indicador del sistema del chatbot (que dictaba su comportamiento) fuera de su ventana contextual, según el investigador de inteligencia artificial Simon Willison.

En las redes sociales, algunos han aprovechado el reciente error de ChatGPT como una oportunidad para conectar modelos de IA de peso abierto, que permiten a cualquiera ejecutar chatbots en su propio hardware. «Las API de caja negra pueden interrumpirse en producción cuando uno de sus componentes subyacentes se actualiza. Esto se convierte en un problema cuando se construyen herramientas sobre estas API, y éstas también se estropean», escribió la Dra. Sasha Luccioni, investigadora de Hugging Face AI en X «Ahí es donde el código abierto tiene una gran ventaja, ya que permite identificar y solucionar el problema».

OpenAI publica una autopsia sobre el tema

El miércoles por la noche, OpenAI declaró resuelto el problema de escritura sin sentido de ChatGPT (lo que llamaron «Respuestas inesperadas de ChatGPT»), y el personal técnico de la compañía publicó una explicación post mortem en su página oficial de incidentes:

El 20 de febrero de 2024, una optimización de la experiencia del usuario introdujo un error en la forma en que el modelo procesa el lenguaje.

Los LLM generan respuestas mediante un muestreo aleatorio de palabras basado en parte en probabilidades. Su «lenguaje» consiste en números que se asignan a tokens.

En este caso, el error estaba en el paso donde el modelo elige estos números. Parecido a perderse en la traducción, el modelo eligió números ligeramente incorrectos, lo que produjo secuencias de palabras que no tenían sentido. Más técnicamente, los núcleos de inferencia produjeron resultados incorrectos cuando se usaron en ciertas configuraciones de GPU.

Al identificar la causa de este incidente, implementamos una solución y confirmamos que el incidente se resolvió.

El miércoles por la tarde, la cuenta oficial de ChatGPT X publicó: «¡Ayer se descarriló un poco, pero debería estar de regreso y operativo!»

Esta historia se actualizó el 22 de febrero de 2024 a las 9:21 am, hora del este, con la información de la página del incidente de OpenAI.