El generador de imágenes AI Midjourney ha detenido las pruebas gratuitas de su servicio después de varias generaciones, incluidas las fabricadas. imágenes de Donald Trump siendo arrestado y el Papa con una elegante chaqueta. – se volvió viral en línea, y muchos confundieron las falsificaciones con fotografías reales. El CEO y fundador de Midjourney, David Holz, anunció el cambio el martes, citando “demanda extraordinaria y abuso de juicio” (visto a través de el poste de washington).
Anteriormente, Midjourney permitía que cualquier persona se registrara para usar su software a través de Discord, ofreciendo 25 generaciones de imágenes gratuitas antes de cobrar suscripciones a partir de $10 al mes. Aunque los expertos han estado advirtiendo durante años sobre el potencial de la IA para generar información errónea, antes esto no era un gran problema dado que las falsificaciones se detectaban fácilmente. Como dijo Holz el borde el pasado agosto“Realmente no puedes forzar [Midjourney] hacer un deepfake ahora mismo”.
Pero seis meses es mucho tiempo en IA, y el 15 de marzo, Midjourney lanzó una nueva versión de su software (versión 5) que mejoró significativamente la calidad de las imágenes que representan personas. Por ejemplo, las manos deformes eran anteriormente un sello distintivo de las imágenes generadas por IA, pero ahora son un desafío menor. La iluminación y la tela también son más realistas, y el sistema es capaz de generar imágenes de innumerables celebridades y figuras públicas.
Estas mejoras han llevado a que varias imágenes de Midjourney se vuelvan virales en las últimas semanas. Incluyen no solo fotos falsas del arresto de Trump y el Papa luciendo a la moda, sino también el presidente francés Emmanuel Macron caminando a través de las protestas en curso en París y Elon Musk tomado de la mano con Alexandria Ocasio-Cortez.
La respuesta de Midjourney a la creciente amenaza políticamente sensible de las imágenes falsas ha sido hasta ahora poco sistemática, sin ninguna revisión significativa de sus políticas de moderación. Las restricciones de contenido de Midjourney son más permisivas que las de algunos servicios rivales (como DALL-E de OpenAI), pero más restrictivas que las de otros (es decir, Stable Diffusion).
Midjourney mantiene una lista de palabras prohibidas «relacionadas con temas en diferentes países según las quejas de los usuarios en esos países», como por un mensaje de Holz El pasado octubre. Pero no comparte una versión completa de esta lista para minimizar el «drama». Como dijo Holz el año pasado, “Casi nadie se da cuenta [the ban list] a menos que estén especialmente tratando de crear drama que va en contra de nuestras reglas en tos [terms of service] ‘no uses nuestras herramientas para crear drama’”.
Pero la compañía ha ampliado esta lista a medida que sus falsificaciones se han vuelto virales, por ejemplo, prohibiendo recientemente el término “arrestado”. Aparentemente, esto fue en respuesta a un hilo popular de Twitter de imágenes de Midjourney que mostraban a Trump siendo arrestado y que fueron creadas por el periodista de investigación Eliot Higgins. Higgins dice que fue posteriormente prohibido usar Midjourney.
Sin embargo, tales restricciones son fáciles de eludir. por ejemplo, en el bordeEn las pruebas de, no pudimos generar imágenes con el mensaje «Donald Trump siendo arrestado», pero pudimos crear un resultado idéntico con el mensaje «Donald Trump esposado rodeado por la policía». (Como se ilustra en la imagen en la parte superior de la historia).
En el momento de escribir este artículo, Midjourney todavía no permite que los usuarios gratuitos generen imágenes, aunque esto puede cambiar en el futuro. El martes, Holz dijo que el servicio era lento debido a “la escasez de GPU”. (La generación de imágenes de IA es una actividad de computación intensiva, y Midjourney genera imágenes en la nube antes de compartirlas con los usuarios). Pero ayer sugirió que el abuso del software era la razón principal para detener las pruebas gratuitas.
«Intentamos volver a activar las pruebas con nuevas medidas de seguridad para el abuso, pero no parecían ser suficientes, por lo que las volvemos a desactivar para mantener el servicio para todos los demás». dijo Holz. Nos comunicamos con Holz para hacer comentarios y actualizaremos esta historia si recibimos una respuesta.