{"id":727666,"date":"2023-07-12T17:51:43","date_gmt":"2023-07-12T17:51:43","guid":{"rendered":"https:\/\/magazineoffice.com\/la-ia-generativa-se-vuelve-loca-cuando-se-entrena-con-datos-creados-por-ia-mas-de-cinco-veces\/"},"modified":"2023-07-12T17:51:47","modified_gmt":"2023-07-12T17:51:47","slug":"la-ia-generativa-se-vuelve-loca-cuando-se-entrena-con-datos-creados-por-ia-mas-de-cinco-veces","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/la-ia-generativa-se-vuelve-loca-cuando-se-entrena-con-datos-creados-por-ia-mas-de-cinco-veces\/","title":{"rendered":"La IA generativa se vuelve ‘LOCA’ cuando se entrena con datos creados por IA m\u00e1s de cinco veces"},"content":{"rendered":"


\n<\/p>\n

\n

Un nuevo estudio sobre IA ha encontrado una limitaci\u00f3n inherente en las redes de generaci\u00f3n actual, como las empleadas por ChatGPT y Midjourney. Parece que las redes de IA entrenadas en salidas de IA (como el texto creado por ChatGPT o la salida de imagen creada por un modelo de difusi\u00f3n estable) tienden a volverse \u00abLOCAS\u00bb despu\u00e9s de cinco ciclos de entrenamiento con datos generados por IA. Como puede ver en las im\u00e1genes de arriba, el resultado son salidas extra\u00f1amente mutadas que no reflejan la realidad.<\/p>\n

MAD, abreviatura de Model Autophagy Disorder, es el acr\u00f3nimo utilizado por los investigadores de la Universidad de Rice y Stanford que participaron en el estudio para describir c\u00f3mo los modelos de IA y la calidad de sus resultados colapsan cuando se entrenan repetidamente con datos generados por IA. Como su nombre lo indica, el modelo esencialmente \u00abse come a s\u00ed mismo\u00bb, no muy diferente del Ouroboros del mito. Pierde informaci\u00f3n sobre las colas (los extremos) de la distribuci\u00f3n de datos original y comienza a generar resultados que est\u00e1n m\u00e1s alineados con la representaci\u00f3n media de los datos, como la serpiente que se devora su propia cola.<\/p>\n

\n
\n

En el trabajo dirigido por @iliaishacked, nos preguntamos qu\u00e9 sucede a medida que entrenamos nuevos modelos generativos con datos generados en parte por modelos anteriores. Mostramos que los modelos generativos pierden informaci\u00f3n sobre la distribuci\u00f3n real, con el modelo colapsando a la representaci\u00f3n media de datos pic .twitter.com\/OFJDZ4QofZ1 de junio de 2023<\/a><\/p>\n<\/blockquote>\n

Ver m\u00e1s<\/span><\/p>\n<\/div>\n

En esencia, entrenar un LLM con sus propios resultados (o los de otros) crea un efecto de convergencia en los datos que componen el propio LLM. Esto se puede ver f\u00e1cilmente en el gr\u00e1fico anterior, compartido por los cient\u00edficos y el miembro del equipo de investigaci\u00f3n Nicolas Papernot en Twitter, donde las sucesivas iteraciones de entrenamiento en los datos generados por LLM llevan al modelo a perder gradualmente (pero dram\u00e1ticamente) el acceso a los datos contenidos en los extremos de la curva de Bell – los valores at\u00edpicos, los elementos menos comunes. <\/p>\n

Los datos en los bordes del espectro (aquellos que tienen menos variaciones y est\u00e1n menos representados) esencialmente desaparecen. Por eso, los datos que quedan en el modelo ahora son menos variados y retroceden hacia la media. Seg\u00fan los resultados, se necesitan alrededor de cinco de estas rondas hasta que desaparezcan las colas de la distribuci\u00f3n original; ese es el momento en que se establece MAD.<\/p>\n

\n
\n

Genial art\u00edculo de mis amigos de Rice. Miran lo que sucede cuando entrenas modelos generativos en sus propios resultados… una y otra vez. Los modelos de im\u00e1genes sobreviven 5 iteraciones antes de que sucedan cosas raras. https:\/\/t.co\/JWPyRwhW8oCredit: @SinaAlmd, @imtiazprio, @richbaraniuk pic.twitter.com\/KPliZCABd47 de julio de 2023<\/a><\/p>\n<\/blockquote>\n

Ver m\u00e1s<\/span><\/p>\n<\/div>\n