Twitch ha prohibido «Nothing, Forever», la transmisión de Seinfeld generada por IA, durante al menos 14 días luego de un arrebato transfóbico y homofóbico. Es el último ejemplo de «odio adentro, odio afuera» cuando los chatbots de IA están entrenados en contenido ofensivo sin la moderación adecuada.
Como Seinfeld, «Nothing, Forever» alterna entre fragmentos de comedia y escenas en el apartamento del comediante (se llama «Larry Feinberg» en la versión de IA). Como informó por primera vez Vicio, durante uno de los actos de standup recientes con guión de IA, la contraparte de Seinfeld sugirió que ser transgénero es una enfermedad mental. En lo que casi parecía ser consciente de lo ofensivo del material, el comediante de IA agregó rápidamente: “Pero nadie se ríe, así que me detendré. Gracias por venir esta noche. Nos vemos la próxima vez. ¿Adónde fueron todos?
Aunque Twitch no ha confirmado que la «broma» fuera el motivo de la prohibición, la transmisión se eliminó poco después de que se emitiera el segmento problemático. Los creadores del programa culpan de la diatriba hiriente a un cambio de modelo que, sin darse cuenta, dejó la transmisión sin herramientas de moderación.
“Esta noche, comenzamos a tener una interrupción en el uso del modelo GPT-3 Davinci de OpenAI, lo que provocó que el programa exhibiera comportamientos erráticos (es posible que haya visto salas vacías ciclándose)”, escribió un miembro del personal en Discord. “OpenAI tiene un modelo menos sofisticado, Curie, que fue el predecesor de Davinci. Cuando davinci comenzó a fallar, cambiamos a Curie para tratar de mantener el programa funcionando sin ningún tiempo de inactividad. El cambio a Curie fue lo que resultó en la generación de un texto inapropiado. Aprovechamos las herramientas de moderación de contenido de OpenAI, que han funcionado hasta ahora para el modelo Davinci, pero no tuvieron éxito con Curie. Hemos podido identificar la causa raíz de nuestro problema con el modelo Davinci y no utilizaremos Curie como alternativa en el futuro. Esperamos que esto arroje un poco de luz sobre cómo sucedió esto”.
Contracción nerviosa
El equipo elaboró en otra publicación de Discord (a través de el borde). “Creímos erróneamente que estábamos aprovechando el sistema de moderación de contenido de OpenAI para sus modelos de generación de texto. Estamos trabajando ahora para implementar la API de moderación de contenido de OpenAI (es una herramienta que podemos usar para verificar la seguridad del contenido) antes de volver a ponerlo en marcha e investigando los sistemas secundarios de moderación de contenido como redundancias».
Aunque el equipo parece disculparse genuinamente, enfatizando que la diatriba intolerante fue un error técnico que no representa sus puntos de vista, reitera la importancia de la moderación constante de la IA. Es posible que recuerde el chatbot de Twitter de Microsoft, que solo duró unas 16 horas después de que los usuarios le enseñaran a arrojar teorías de conspiración, puntos de vista racistas y comentarios misóginos. Luego estaba el bot entrenado completamente en 4chan, que resultó exactamente como era de esperar. Ya sea que «Nothing, Forever» regrese o no, la próxima vez que un equipo de desarrolladores se enfrente a la elección entre evitar un tiempo de inactividad inesperado y asegurarse de que esos filtros estén en su lugar, elija lo último.
Todos los productos recomendados por Engadget son seleccionados por nuestro equipo editorial, independiente de nuestra empresa matriz. Algunas de nuestras historias incluyen enlaces de afiliados. Si compra algo a través de uno de estos enlaces, podemos ganar una comisión de afiliado. Todos los precios son correctos en el momento de la publicación.