Un gerente de Microsoft afirma que DALL-E 3 de OpenAI tiene vulnerabilidades de seguridad que podr\u00edan permitir a los usuarios generar im\u00e1genes violentas o expl\u00edcitas (similares a las que recientemente apuntaron a Taylor Swift). GeekWire<\/em> inform\u00f3 el martes que el equipo legal de la compa\u00f1\u00eda bloque\u00f3 los intentos del l\u00edder de ingenier\u00eda de Microsoft, Shane Jones, de alertar al p\u00fablico sobre el exploit. El autodenominado denunciante ahora est\u00e1 llevando su mensaje al Capitolio.<\/p>\n \u00abLlegu\u00e9 a la conclusi\u00f3n de que DALL\u00b7E 3 representaba un riesgo para la seguridad p\u00fablica y deber\u00eda retirarse del uso p\u00fablico hasta que OpenAI pudiera abordar los riesgos asociados con este modelo\u00bb, escribi\u00f3 Jones a las senadoras estadounidenses Patty Murray (D-WA) y Maria Cantwell ( D-WA), el representante Adam Smith (D-WA, noveno distrito) y el fiscal general del estado de Washington, Bob Ferguson (D). GeekWire<\/em> public\u00f3 la carta completa de Jones.<\/p>\n Jones afirma que descubri\u00f3 un exploit que le permiti\u00f3 eludir las barreras de seguridad de DALL-E 3 a principios de diciembre. Dice que inform\u00f3 del problema a sus superiores en Microsoft, quienes le ordenaron que \u00abinformara personalmente el problema directamente a OpenAI\u00bb. Luego de hacerlo, afirma haber aprendido que la falla podr\u00eda permitir la generaci\u00f3n de \u201cim\u00e1genes da\u00f1inas violentas y perturbadoras\u201d.<\/p>\n Luego, Jones intent\u00f3 hacer p\u00fablica su causa en una publicaci\u00f3n de LinkedIn. \u201cEn la ma\u00f1ana del 14 de diciembre de 2023 publiqu\u00e9 p\u00fablicamente una carta en LinkedIn dirigida a la junta directiva de la organizaci\u00f3n sin fines de lucro OpenAI inst\u00e1ndola a suspender la disponibilidad de DALL\u00b7E 3)\u201d, escribi\u00f3 Jones. \u00abDebido a que Microsoft es observador de la junta directiva de OpenAI y anteriormente hab\u00eda compartido mis inquietudes con mi equipo de liderazgo, r\u00e1pidamente inform\u00e9 a Microsoft sobre la carta que hab\u00eda publicado\u00bb.<\/p>\n La respuesta de Microsoft supuestamente fue exigirle que eliminara su publicaci\u00f3n. \u00abPoco despu\u00e9s de revelar la carta a mi equipo de liderazgo, mi gerente se puso en contacto conmigo y me dijo que el departamento legal de Microsoft hab\u00eda exigido que eliminara la publicaci\u00f3n\u00bb, escribi\u00f3 en su carta. \u00abMe dijo que el departamento legal de Microsoft har\u00eda un seguimiento con su justificaci\u00f3n espec\u00edfica para la solicitud de eliminaci\u00f3n por correo electr\u00f3nico muy pronto, y que necesitaba eliminarlo inmediatamente sin esperar el correo electr\u00f3nico del departamento legal\u00bb.<\/p>\n Jones cumpli\u00f3, pero dice que la respuesta m\u00e1s detallada del equipo legal de Microsoft nunca lleg\u00f3. \u201cNunca recib\u00ed una explicaci\u00f3n o justificaci\u00f3n de su parte\u201d, escribi\u00f3. Dice que se ignoraron otros intentos de obtener m\u00e1s informaci\u00f3n del departamento legal de la empresa. \u00abEl departamento legal de Microsoft a\u00fan no ha respondido ni se ha comunicado directamente conmigo\u00bb, escribi\u00f3.<\/p>\n Un portavoz de OpenAI escribi\u00f3 a Engadget en un correo electr\u00f3nico: \u201cInvestigamos inmediatamente el informe del empleado de Microsoft cuando lo recibimos el 1 de diciembre y confirmamos que la t\u00e9cnica que comparti\u00f3 no elude nuestros sistemas de seguridad. La seguridad es nuestra prioridad y adoptamos un enfoque m\u00faltiple. En el modelo subyacente DALL-E 3, hemos trabajado para filtrar el contenido m\u00e1s expl\u00edcito de sus datos de entrenamiento, incluido el contenido gr\u00e1fico sexual y violento, y hemos desarrollado clasificadores de im\u00e1genes s\u00f3lidos que evitan que el modelo genere im\u00e1genes da\u00f1inas.<\/p>\n \u00abTambi\u00e9n hemos implementado medidas de seguridad adicionales para nuestros productos, ChatGPT y la API DALL-E, incluido el rechazo de solicitudes que solicitan una figura p\u00fablica por su nombre\u00bb, continu\u00f3 el portavoz de OpenAI. \u201cIdentificamos y rechazamos mensajes que violan nuestras pol\u00edticas y filtramos todas las im\u00e1genes generadas antes de mostr\u00e1rselas al usuario. Utilizamos un equipo rojo de expertos externos para realizar pruebas de uso indebido y fortalecer nuestras salvaguardas\u201d.<\/p>\n Mientras tanto, un portavoz de Microsoft escribi\u00f3 a Engadget: \u201cEstamos comprometidos a abordar todas y cada una de las inquietudes que tengan los empleados de acuerdo con las pol\u00edticas de nuestra empresa y apreciamos el esfuerzo de los empleados al estudiar y probar nuestra \u00faltima tecnolog\u00eda para mejorar a\u00fan m\u00e1s su seguridad. Cuando se trata de omisiones de seguridad o inquietudes que podr\u00edan tener un impacto potencial en nuestros servicios o nuestros socios, hemos establecido s\u00f3lidos canales de informes internos para investigar y remediar adecuadamente cualquier problema, que recomendamos que el empleado utilice para poder validar y probar adecuadamente. sus preocupaciones antes de escalarlas p\u00fablicamente\u201d.<\/p>\n \u00abDado que su informe se refer\u00eda a un producto OpenAI, lo alentamos a informar a trav\u00e9s de los canales de informes est\u00e1ndar de OpenAI y uno de nuestros l\u00edderes de producto senior comparti\u00f3 los comentarios del empleado con OpenAI, quien investig\u00f3 el asunto de inmediato\u00bb, escribi\u00f3 el portavoz de Microsoft. \u201cAl mismo tiempo, nuestros equipos investigaron y confirmaron que las t\u00e9cnicas reportadas no eludieron nuestros filtros de seguridad en ninguna de nuestras soluciones de generaci\u00f3n de im\u00e1genes impulsadas por IA. Los comentarios de los empleados son una parte fundamental de nuestra cultura y nos estamos conectando con este colega para abordar cualquier inquietud restante que pueda tener\u201d.<\/p>\n Microsoft agreg\u00f3 que su Oficina de IA Responsable ha establecido una herramienta de informes interna para que los empleados informen y exalten sus inquietudes sobre los modelos de IA.<\/p>\n El denunciante dice que los deepfakes pornogr\u00e1ficos de Taylor Swift que circularon en X la semana pasada son un ejemplo de lo que podr\u00edan producir vulnerabilidades similares si no se controlan. 404 Medios<\/em> inform\u00f3 el lunes que Microsoft Designer, que utiliza DALL-E 3 como backend, era parte del conjunto de herramientas de los deepfakers que hicieron el video. La publicaci\u00f3n afirma que Microsoft, despu\u00e9s de ser notificado, solucion\u00f3 esa laguna en particular.<\/p>\n \u00abMicrosoft era consciente de estas vulnerabilidades y del potencial de abuso\u00bb, concluy\u00f3 Jones. No est\u00e1 claro si los exploits utilizados para hacer el deepfake de Swift estaban directamente relacionados con los que Jones inform\u00f3 en diciembre.<\/p>\n Jones insta a sus representantes en Washington, DC a tomar medidas. Sugiere que el gobierno de EE. UU. cree un sistema para informar y rastrear vulnerabilidades espec\u00edficas de la IA, y al mismo tiempo proteger a los empleados como \u00e9l que hablan. \u00abNecesitamos responsabilizar a las empresas por la seguridad de sus productos y su responsabilidad de revelar al p\u00fablico los riesgos conocidos\u00bb, escribi\u00f3. \u00abLos empleados preocupados, como yo, no deber\u00edan dejarse intimidar para que guarden silencio\u00bb.<\/p>\n<\/div>\n<\/div>\n<\/div>\n