\n<\/p>\n
Sarah Bird, directora de productos de IA responsable de Microsoft, dice El borde<\/em> en una entrevista que su equipo ha dise\u00f1ado varias caracter\u00edsticas de seguridad nuevas que ser\u00e1n f\u00e1ciles de usar para los clientes de Azure que no contratan grupos de miembros del equipo rojo para probar los servicios de IA que crearon. microsoft dice que estas herramientas impulsadas por LLM pueden detectar vulnerabilidades potenciales<\/a>monitoree las alucinaciones \u00abque sean plausibles pero no compatibles\u00bb y bloquee mensajes maliciosos en tiempo real para los clientes de Azure AI que trabajan con cualquier modelo alojado en la plataforma. <\/p>\n<\/div>\n \u201cSabemos que no todos los clientes tienen una gran experiencia en ataques de inyecci\u00f3n r\u00e1pida o contenido de odio, por lo que el sistema de evaluaci\u00f3n genera las indicaciones necesarias para simular este tipo de ataques. Luego, los clientes pueden obtener una puntuaci\u00f3n y ver los resultados\u201d, afirma. <\/p>\n<\/div>\n Tres caracter\u00edsticas: Escudos r\u00e1pidos<\/a>que bloquea inyecciones de avisos o avisos maliciosos de documentos externos que instruyen a los modelos a ir en contra de su entrenamiento; Detecci\u00f3n de conexi\u00f3n a tierra<\/a>, que encuentra y bloquea las alucinaciones; y evaluaciones de seguridad<\/a>, que eval\u00faan las vulnerabilidades del modelo, ahora est\u00e1n disponibles en versi\u00f3n preliminar en Azure AI. Pr\u00f3ximamente estar\u00e1n disponibles otras dos funciones para dirigir los modelos hacia resultados seguros y realizar un seguimiento de las indicaciones para se\u00f1alar a los usuarios potencialmente problem\u00e1ticos. <\/p>\n<\/div>\n Ya sea que el usuario est\u00e9 escribiendo un mensaje o si el modelo est\u00e9 procesando datos de terceros, el sistema de monitoreo lo evaluar\u00e1 para ver si activa alguna palabra prohibida o si tiene mensajes ocultos antes de decidir enviarlo al modelo para que responda. Luego, el sistema analiza la respuesta del modelo y verifica si el modelo alucin\u00f3 informaci\u00f3n que no est\u00e1 en el documento o en el mensaje.<\/p>\n<\/div>\n En el caso de las im\u00e1genes de Google Gemini, los filtros hechos para reducir el sesgo tuvieron efectos no deseados, que es un \u00e1rea donde Microsoft dice que sus herramientas Azure AI permitir\u00e1n un control m\u00e1s personalizado. Bird reconoce que existe la preocupaci\u00f3n de que Microsoft y otras empresas puedan estar decidiendo qu\u00e9 es o no apropiado para los modelos de IA, por lo que su equipo agreg\u00f3 una forma para que los clientes de Azure puedan alternar el filtrado del discurso de odio o la violencia que el modelo ve y bloquea. <\/p>\n<\/div>\n