Para la mayoria de la gente, La idea de usar herramientas de inteligencia artificial en la vida diaria, o incluso jugar con ellas, solo se ha generalizado en los últimos meses, con nuevos lanzamientos de herramientas de IA generativa de una gran cantidad de grandes empresas tecnológicas y nuevas empresas, como ChatGPT de OpenAI y Bard de Google. . Pero detrás de escena, la tecnología ha estado proliferando durante años, junto con preguntas sobre la mejor manera de evaluar y asegurar estos nuevos sistemas de IA. El lunes, Microsoft revelará detalles sobre el equipo dentro de la empresa que, desde 2018, se ha encargado de descubrir cómo atacar las plataformas de IA para revelar sus debilidades.
En los cinco años transcurridos desde su formación, el equipo rojo de IA de Microsoft ha pasado de lo que era esencialmente un experimento a un equipo interdisciplinario completo de expertos en aprendizaje automático, investigadores de seguridad cibernética e incluso ingenieros sociales. El grupo trabaja para comunicar sus hallazgos dentro de Microsoft y en toda la industria tecnológica utilizando el lenguaje tradicional de la seguridad digital, de modo que las ideas sean accesibles en lugar de requerir conocimientos especializados de IA que muchas personas y organizaciones aún no tienen. Pero, en verdad, el equipo concluyó que la seguridad de la IA tiene diferencias conceptuales importantes con respecto a la defensa digital tradicional, que requieren diferencias en la forma en que el equipo rojo de la IA aborda su trabajo.
“Cuando empezamos, la pregunta era: ‘¿Qué vas a hacer fundamentalmente que sea diferente? ¿Por qué necesitamos un equipo rojo de IA?’”, dice Ram Shankar Siva Kumar, fundador del equipo rojo de IA de Microsoft. “Pero si observa el equipo rojo de IA solo como un equipo rojo tradicional, y si toma solo la mentalidad de seguridad, eso puede no ser suficiente. Ahora tenemos que reconocer el aspecto responsable de la IA, que es la responsabilidad de las fallas del sistema de IA, por lo que genera contenido ofensivo, genera contenido sin fundamento. Ese es el santo grial de los equipos rojos de IA. No solo analizando las fallas de seguridad, sino también las fallas responsables de la IA”.
Shankar Siva Kumar dice que tomó tiempo resaltar esta distinción y argumentar que la misión del equipo rojo de IA realmente tendría este doble enfoque. Gran parte del trabajo inicial se relacionó con el lanzamiento de herramientas de seguridad más tradicionales, como la Matriz de amenazas de aprendizaje automático adversario de 2020, una colaboración entre Microsoft, el grupo de investigación y desarrollo sin fines de lucro MITRE y otros investigadores. Ese año, el grupo también lanzó herramientas de automatización de código abierto para pruebas de seguridad de IA, conocidas como Microsoft Counterfit. Y en 2021, el equipo rojo publicó un marco adicional de evaluación de riesgos de seguridad de IA.
Sin embargo, con el tiempo, el equipo rojo de IA ha podido evolucionar y expandirse a medida que se hace más evidente la urgencia de abordar las fallas y fallas del aprendizaje automático.
En una de las primeras operaciones, el equipo rojo evaluó un servicio de implementación en la nube de Microsoft que tenía un componente de aprendizaje automático. El equipo ideó una forma de lanzar un ataque de denegación de servicio a otros usuarios del servicio en la nube mediante la explotación de una falla que les permitió crear solicitudes maliciosas para abusar de los componentes de aprendizaje automático y crear estratégicamente máquinas virtuales, los sistemas informáticos emulados que se utilizan en la nube. . Al colocar cuidadosamente las máquinas virtuales en posiciones clave, el equipo rojo podría lanzar ataques de «vecino ruidoso» en otros usuarios de la nube, donde la actividad de un cliente impacta negativamente en el rendimiento de otro cliente.