Un nuevo estudio sobre IA ha encontrado una limitación inherente en las redes de generación actual, como las empleadas por ChatGPT y Midjourney. Parece que las redes de IA entrenadas en salidas de IA (como el texto creado por ChatGPT o la salida de imagen creada por un modelo de difusión estable) tienden a volverse «LOCAS» después de cinco ciclos de entrenamiento con datos generados por IA. Como puede ver en las imágenes de arriba, el resultado son salidas extrañamente mutadas que no reflejan la realidad.
MAD, abreviatura de Model Autophagy Disorder, es el acrónimo utilizado por los investigadores de la Universidad de Rice y Stanford que participaron en el estudio para describir cómo los modelos de IA y la calidad de sus resultados colapsan cuando se entrenan repetidamente con datos generados por IA. Como su nombre lo indica, el modelo esencialmente «se come a sí mismo», no muy diferente del Ouroboros del mito. Pierde información sobre las colas (los extremos) de la distribución de datos original y comienza a generar resultados que están más alineados con la representación media de los datos, como la serpiente que se devora su propia cola.
En el trabajo dirigido por @iliaishacked, nos preguntamos qué sucede a medida que entrenamos nuevos modelos generativos con datos generados en parte por modelos anteriores. Mostramos que los modelos generativos pierden información sobre la distribución real, con el modelo colapsando a la representación media de datos pic .twitter.com/OFJDZ4QofZ1 de junio de 2023
En esencia, entrenar un LLM con sus propios resultados (o los de otros) crea un efecto de convergencia en los datos que componen el propio LLM. Esto se puede ver fácilmente en el gráfico anterior, compartido por los científicos y el miembro del equipo de investigación Nicolas Papernot en Twitter, donde las sucesivas iteraciones de entrenamiento en los datos generados por LLM llevan al modelo a perder gradualmente (pero dramáticamente) el acceso a los datos contenidos en los extremos de la curva de Bell – los valores atípicos, los elementos menos comunes.
Los datos en los bordes del espectro (aquellos que tienen menos variaciones y están menos representados) esencialmente desaparecen. Por eso, los datos que quedan en el modelo ahora son menos variados y retroceden hacia la media. Según los resultados, se necesitan alrededor de cinco de estas rondas hasta que desaparezcan las colas de la distribución original; ese es el momento en que se establece MAD.
Genial artículo de mis amigos de Rice. Miran lo que sucede cuando entrenas modelos generativos en sus propios resultados… una y otra vez. Los modelos de imágenes sobreviven 5 iteraciones antes de que sucedan cosas raras. https://t.co/JWPyRwhW8oCredit: @SinaAlmd, @imtiazprio, @richbaraniuk pic.twitter.com/KPliZCABd47 de julio de 2023
No se ha confirmado que el trastorno de autofagia modelo afecte a todos los modelos de IA, pero los investigadores lo verificaron con codificadores automáticos, modelos de mezcla gaussiana y modelos de lenguaje extenso.
Da la casualidad de que todos estos tipos de modelos que pueden «volverse LOCOS» se han generalizado y están funcionando desde hace un tiempo: los codificadores automáticos pueden manejar cosas como la predicción de popularidad (en cosas como el algoritmo de una aplicación de redes sociales), compresión de imágenes, eliminación de ruido de imágenes y generación de imágenes; y los modelos de mezcla gaussiana se utilizan para fines de estimación de densidad, agrupamiento y segmentación de imágenes, lo que los hace particularmente útiles para las ciencias estadísticas y de datos.
En cuanto a los grandes modelos de lenguaje en el núcleo de las populares aplicaciones de chatbot de hoy en día (de los cuales ChatGPT de OpenAI y AI Claude de Anthropic son meros ejemplos), también son propensos a volverse LOCOS cuando se entrenan en sus propios resultados. Con eso, tal vez valga la pena enfatizar cuán importantes son estos sistemas de IA en nuestras vidas; Los modelos algorítmicos de IA se emplean tanto en el ámbito corporativo como en el público.
Enfrentamos un problema similar mientras arrancábamos modelos generativos para la generación de niveles de Sokoban usando https://t.co/ONWUSMnBTQ. Una solución era agrupar los niveles en función de sus características y cambiar el proceso de muestreo por lotes para enfatizar los niveles con características más raras.6 de junio de 2023
Esta investigación proporciona una forma de mirar dentro de la caja negra del desarrollo de IA. Y destruye cualquier esperanza de que hayamos encontrado una fuente interminable de datos al hacer una rueda de hámster con ciertos modelos de IA: alimentarlo con datos y luego alimentarlo con sus propios datos, para generar más datos que luego se retroalimentan. de nuevo.
Esto podría ser un problema para los modelos existentes actualmente y las aplicaciones de estos modelos: si un modelo que logró un uso comercial, de hecho, ha sido entrenado en sus propios resultados, entonces ese modelo probablemente haya retrocedido hacia su media (recuerde que toma alrededor de cinco ciclos de entrada-salida para que eso se manifieste). Y si ese modelo ha retrocedido hacia su media, entonces ha sido sesgado de alguna forma, ya que no considera los datos que naturalmente serían una minoría. Fanatismo algorítmico, por así decirlo.
Otro punto importante impulsado por los resultados es la preocupación por la procedencia de los datos: ahora se vuelve aún más importante poder separar los datos «originales» de los datos «artificiales». Si no puede identificar qué datos creó un LLM o una aplicación de imagen generativa, es posible que los incluya accidentalmente en los datos de capacitación para su producto de próxima generación.
Desafortunadamente, es probable que ese barco ya haya zarpado: ha habido una cantidad distinta de cero de datos no etiquetados que ya han sido producidos por este tipo de redes y se han incorporado a otros sistemas. Incluso si tuviéramos una instantánea de todo Internet antes de la explosión de popularidad de ChatGPT o Midjourney, durante mucho tiempo se han vertido diariamente datos producidos por IA en la red mundial. Y eso no dice nada de las inmensas cantidades de datos que han producido mientras tanto.
Pero incluso si ese barco ha zarpado, al menos ahora lo sabemos. Saber significa que la búsqueda de una marca de agua que identifique el contenido generado por IA (y eso es infalible) ahora se ha convertido en un esfuerzo mucho más importante y lucrativo, y que la responsabilidad de etiquetar los datos generados por IA ahora se ha convertido en un requisito mucho más serio. .
Aparte de eso, sin embargo, hay otras formas de compensar estos sesgos. Una de las formas es simplemente cambiar las ponderaciones del modelo: si aumenta la relevancia o la frecuencia de los resultados en las colas de la distribución, se moverán naturalmente a lo largo de la curva de campana, más cerca de la media. De ello se deduce que entonces serían mucho menos propensos a la «poda» del entrenamiento autogenerativo: el modelo aún pierde los datos en los bordes de la curva, pero esos datos ya no están solo allí.
Pero entonces, ¿cómo se decide la ponderación? ¿En qué medida se deben mover las pesas? ¿Aumentó la frecuencia? Aquí también existe la responsabilidad de comprender los efectos del ajuste fino del modelo y cómo estos también afectan la salida.
Por cada pregunta que se responde, hay una serie de otras que saltan al primer plano: preguntas relacionadas con la verdad detrás de las respuestas del modelo (donde las desviaciones se conocen como alucinaciones); si el modelo está sesgado o no, y de dónde proviene este sesgo (si de los datos de entrenamiento en sí o del proceso de ponderación utilizado para crear la red, y ahora también lo sabemos del proceso MAD); y, por supuesto, qué sucede cuando los modelos se entrenan con sus propios datos. Y como hemos visto, los resultados no son virtuosos.
Y no podría serlo: las personas que no tienen acceso a nuevas experiencias también se marchitan, por lo que se convierten en cámaras de eco de lo que ha venido antes. Y eso es exactamente lo mismo que decir algo como «cuando el modelo se entrena en sus propios resultados, colapsa».