\n<\/p>\n
Para la mayoria de la gente,<\/span> La idea de usar herramientas de inteligencia artificial en la vida diaria, o incluso jugar con ellas, solo se ha generalizado en los \u00faltimos meses, con nuevos lanzamientos de herramientas de IA generativa de una gran cantidad de grandes empresas tecnol\u00f3gicas y nuevas empresas, como ChatGPT de OpenAI y Bard de Google. . Pero detr\u00e1s de escena, la tecnolog\u00eda ha estado proliferando durante a\u00f1os, junto con preguntas sobre la mejor manera de evaluar y asegurar estos nuevos sistemas de IA. El lunes, Microsoft revelar\u00e1 detalles sobre el equipo dentro de la empresa que, desde 2018, se ha encargado de descubrir c\u00f3mo atacar las plataformas de IA para revelar sus debilidades.<\/p>\n En los cinco a\u00f1os transcurridos desde su formaci\u00f3n, el equipo rojo de IA de Microsoft ha pasado de lo que era esencialmente un experimento a un equipo interdisciplinario completo de expertos en aprendizaje autom\u00e1tico, investigadores de seguridad cibern\u00e9tica e incluso ingenieros sociales. El grupo trabaja para comunicar sus hallazgos dentro de Microsoft y en toda la industria tecnol\u00f3gica utilizando el lenguaje tradicional de la seguridad digital, de modo que las ideas sean accesibles en lugar de requerir conocimientos especializados de IA que muchas personas y organizaciones a\u00fan no tienen. Pero, en verdad, el equipo concluy\u00f3 que la seguridad de la IA tiene diferencias conceptuales importantes con respecto a la defensa digital tradicional, que requieren diferencias en la forma en que el equipo rojo de la IA aborda su trabajo.<\/p>\n \u201cCuando empezamos, la pregunta era: ‘\u00bfQu\u00e9 vas a hacer fundamentalmente que sea diferente? \u00bfPor qu\u00e9 necesitamos un equipo rojo de IA?’\u201d, dice Ram Shankar Siva Kumar, fundador del equipo rojo de IA de Microsoft. \u201cPero si observa el equipo rojo de IA solo como un equipo rojo tradicional, y si toma solo la mentalidad de seguridad, eso puede no ser suficiente. Ahora tenemos que reconocer el aspecto responsable de la IA, que es la responsabilidad de las fallas del sistema de IA, por lo que genera contenido ofensivo, genera contenido sin fundamento. Ese es el santo grial de los equipos rojos de IA. No solo analizando las fallas de seguridad, sino tambi\u00e9n las fallas responsables de la IA\u201d.<\/p>\n Shankar Siva Kumar dice que tom\u00f3 tiempo resaltar esta distinci\u00f3n y argumentar que la misi\u00f3n del equipo rojo de IA realmente tendr\u00eda este doble enfoque. Gran parte del trabajo inicial se relacion\u00f3 con el lanzamiento de herramientas de seguridad m\u00e1s tradicionales, como la Matriz de amenazas de aprendizaje autom\u00e1tico adversario de 2020, una colaboraci\u00f3n entre Microsoft, el grupo de investigaci\u00f3n y desarrollo sin fines de lucro MITRE y otros investigadores. Ese a\u00f1o, el grupo tambi\u00e9n lanz\u00f3 herramientas de automatizaci\u00f3n de c\u00f3digo abierto para pruebas de seguridad de IA, conocidas como Microsoft Counterfit. Y en 2021, el equipo rojo public\u00f3 un marco adicional de evaluaci\u00f3n de riesgos de seguridad de IA.<\/p>\n Sin embargo, con el tiempo, el equipo rojo de IA ha podido evolucionar y expandirse a medida que se hace m\u00e1s evidente la urgencia de abordar las fallas y fallas del aprendizaje autom\u00e1tico. <\/p>\n En una de las primeras operaciones, el equipo rojo evalu\u00f3 un servicio de implementaci\u00f3n en la nube de Microsoft que ten\u00eda un componente de aprendizaje autom\u00e1tico. El equipo ide\u00f3 una forma de lanzar un ataque de denegaci\u00f3n de servicio a otros usuarios del servicio en la nube mediante la explotaci\u00f3n de una falla que les permiti\u00f3 crear solicitudes maliciosas para abusar de los componentes de aprendizaje autom\u00e1tico y crear estrat\u00e9gicamente m\u00e1quinas virtuales, los sistemas inform\u00e1ticos emulados que se utilizan en la nube. . Al colocar cuidadosamente las m\u00e1quinas virtuales en posiciones clave, el equipo rojo podr\u00eda lanzar ataques de \u00abvecino ruidoso\u00bb en otros usuarios de la nube, donde la actividad de un cliente impacta negativamente en el rendimiento de otro cliente.<\/p>\n<\/div>\n