OctoML dice que ha puesto fin a su relación comercial con Civitai días después de una investigación de 404 Medios reveló que la plataforma de conversión de texto a imagen se estaba utilizando para generar imágenes que «podrían clasificarse como pornografía infantil». Civitai anteriormente confiaba en OctoAI de OctoML para la generación de imágenes. Si bien OctoML inicialmente indicó que continuaría trabajando con Civitai e introdujo nuevas medidas para frenar la creación de imágenes dañinas, 404 Medios informó el sábado que ahora ha decidido cortar los lazos con la plataforma por completo.
De acuerdo a 404 MediosEn el informe del 5 de diciembre, las comunicaciones internas mostraron que OctoML era consciente de que algunos usuarios de Civitai estaban creando material sexualmente explícito que incluía imágenes no consensuadas de personas reales. y representaciones pornográficas de niños. En un informe de seguimiento este fin de semana, la publicación señaló que OctoML implementó un filtro para bloquear la generación de todo el contenido NSFW en Civitai antes de anunciar su decisión de retirarse. Civitai también agregó nuevos métodos de moderación en respuesta a la investigación a principios de esta semana, incluida una incrustación obligatoria llamada Civitai Safe Helper (Minor) que impide que el modelo genere imágenes de niños si «se detecta un tema o palabra clave para adultos», según 404.
Civitai, respaldada por Andreessen Horowitz, ha sido objeto de escrutinio anteriormente por su función de “recompensas” que desafía a los usuarios a generar imágenes realistas de personas reales para obtener recompensas. En noviembre, 404 Medios descubrió que se estaba utilizando para hacer deepfakes no consensuados de celebridades, personas influyentes e incluso un ciudadano privado que eran, en muchos casos, de naturaleza sexual. Los sujetos eran principalmente mujeres. De acuerdo a 404 MediosDesde entonces, Civitai ha agregado un filtro para evitar la creación de contenido NSFW con “ciertas” celebridades.
Sin embargo, OctoML, que utiliza los servidores de Amazon Web Services, ya no quiere participar. En una declaración a 404 Medios El sábado, OctoML dijo: “Hemos decidido terminar nuestra relación comercial con Civitai. Esta decisión se alinea con nuestro compromiso de garantizar el uso seguro y responsable de la IA”.