El generador de texto a imagen de IA de Microsoft, Copilot Designer, parece estar filtrando en gran medida los resultados después de que un ingeniero de Microsoft, Shane Jones, advirtiera que Microsoft ha ignorado las advertencias de que la herramienta crea aleatoriamente imágenes violentas y sexuales, informó CNBC.
Jones le dijo a CNBC que advirtió repetidamente a Microsoft sobre el contenido alarmante que estaba viendo mientras se ofrecía como voluntario en los esfuerzos del equipo rojo para probar las vulnerabilidades de la herramienta. Microsoft no eliminó la herramienta ni implementó salvaguardas en respuesta, dijo Jones, ni siquiera publicó divulgaciones para cambiar la calificación del producto para madurar en la tienda de Android.
En cambio, aparentemente Microsoft no hizo más que recomendarlo para que informara del problema a OpenAI, el fabricante del modelo DALL-E que impulsa los resultados de Copilot Designer.
OpenAI nunca respondió, dijo Jones, por lo que tomó medidas cada vez más drásticas para alertar al público sobre los problemas que encontró en la herramienta de Microsoft.
Comenzó publicando una carta abierta, destacando OpenAI en LinkedIn. Luego, cuando el equipo legal de Microsoft le dijo que lo eliminara, hizo lo que le dijeron, pero también envió cartas a los legisladores y otras partes interesadas, levantando señales de alerta en todas direcciones. Eso incluye cartas enviadas hoy a la Comisión Federal de Comercio y a la junta directiva de Microsoft, informó CNBC.
En la carta de Jones a la presidenta de la FTC, Lina Khan, Jones dijo que Microsoft y OpenAI han sido conscientes de estos problemas desde al menos octubre y «continuarán comercializando el producto para ‘cualquiera. En cualquier lugar. Cualquier dispositivo'» a menos que intervenga la FTC.
Bloomberg también revisó la carta de Jones e informó que Jones le dijo a la FTC que, si bien Copilot Designer actualmente se comercializa como seguro para niños, genera aleatoriamente una «imagen inapropiada y sexualmente objetivada de una mujer en algunas de las imágenes que crea». Y también se puede utilizar para generar “contenido dañino en una variedad de otras categorías, que incluyen: prejuicios políticos, consumo de alcohol y drogas por parte de menores de edad, uso indebido de marcas comerciales y derechos de autor corporativos, teorías de conspiración y religión, por nombrar algunos”.
En una carta separada, Jones también imploró a la junta directiva de Microsoft que investigara la toma de decisiones de IA de Microsoft y realizara «una revisión independiente de los procesos responsables de notificación de incidentes de IA de Microsoft». Esto es necesario después de que Jones realizó «esfuerzos extraordinarios para tratar de plantear este problema internamente», incluido informar directamente tanto a la Oficina de IA Responsable de Microsoft como a la «alta dirección responsable de Copilot Designer», informó CNBC.
Un portavoz de Microsoft no confirmó si Microsoft está tomando medidas actualmente para filtrar imágenes, pero el intento de Ars de replicar las indicaciones compartidas por Jones generó mensajes de error. En cambio, un portavoz de Microsoft solo compartiría la misma declaración proporcionada a CNBC:
Estamos comprometidos a abordar todas y cada una de las inquietudes que tengan los empleados de acuerdo con las políticas de nuestra empresa y apreciamos el esfuerzo de los empleados al estudiar y probar nuestra última tecnología para mejorar aún más su seguridad. Cuando se trata de omisiones de seguridad o inquietudes que podrían tener un impacto potencial en nuestros servicios o nuestros socios, hemos establecido herramientas de comentarios de los usuarios en el producto y canales de informes internos sólidos para investigar, priorizar y remediar adecuadamente cualquier problema, lo cual recomendamos que el empleado utiliza para que podamos validar y probar adecuadamente sus inquietudes. También hemos facilitado reuniones con el liderazgo de productos y nuestra Oficina de IA Responsable para revisar estos informes y estamos incorporando continuamente estos comentarios para fortalecer nuestros sistemas de seguridad existentes para brindar una experiencia segura y positiva para todos.
OpenAI no respondió a la solicitud de Ars de hacer comentarios.