La carta de los legisladores también afirma que se está apresurando al NIST para definir estándares a pesar de que la investigación para probar los sistemas de IA se encuentra en una etapa temprana. Como resultado, existe un «desacuerdo significativo» entre los expertos en IA sobre cómo trabajar o incluso medir y definir los problemas de seguridad con la tecnología, afirma. «El estado actual del campo de investigación de seguridad de la IA crea desafíos para el NIST a medida que desempeña su papel de liderazgo en el tema», afirma la carta.
La portavoz del NIST, Jennifer Huergo, confirmó que la agencia había recibido la carta y dijo que “responderá a través de los canales apropiados”.
El NIST está tomando algunas medidas que aumentarían la transparencia, incluida la emisión de una solicitud de información el 19 de diciembre, solicitando aportes de expertos externos y empresas sobre estándares para evaluar y formar equipos rojos de modelos de IA. No está claro si se trataba de una respuesta a la carta enviada por los miembros del Congreso.
Las preocupaciones planteadas por los legisladores son compartidas por algunos expertos en IA que han pasado años desarrollando formas de probar los sistemas de IA. «Como organismo científico no partidista, el NIST es la mejor esperanza para acabar con el revuelo y la especulación en torno al riesgo de la IA», dice Rumman Chowdhury, científico de datos y director ejecutivo de Parity Consulting, que se especializa en probar modelos de IA para detectar sesgos y otros problemas. «Pero para hacer bien su trabajo, necesitan más que mandatos y buenos deseos».
Yacine Jernite, líder social y de aprendizaje automático en Hugging Face, una empresa que apoya proyectos de inteligencia artificial de código abierto, dice que las grandes tecnológicas tienen muchos más recursos que la agencia, dado un papel clave en la implementación del ambicioso plan de inteligencia artificial de la Casa Blanca. «El NIST ha realizado un trabajo increíble para ayudar a gestionar los riesgos de la IA, pero la presión para encontrar soluciones inmediatas para problemas a largo plazo hace que su misión sea extremadamente difícil», dice Jernite. «Tienen muchos menos recursos que las empresas que desarrollan más sistemas de IA visibles”.
Margaret Mitchell, científica jefe de ética de Hugging Face, dice que el creciente secreto en torno a los modelos comerciales de IA hace que la medición sea más desafiante para una organización como el NIST. «No podemos mejorar lo que no podemos medir», afirma.
La orden ejecutiva de la Casa Blanca exige que el NIST realice varias tareas, incluido el establecimiento de un nuevo Instituto de Seguridad de Inteligencia Artificial para apoyar el desarrollo de una IA segura. En abril, se anunció un grupo de trabajo en el Reino Unido centrado en la seguridad de la IA. Recibirá 126 millones de dólares en financiación inicial.
La orden ejecutiva le dio al NIST una fecha límite agresiva para elaborar, entre otras cosas, pautas para evaluar modelos de IA, principios para modelos de “equipo rojo” (probar adversariamente) y desarrollar un plan para lograr que las naciones aliadas de Estados Unidos acepten los estándares del NIST. y elaborar un plan para «promover estándares técnicos globales responsables para el desarrollo de la IA».
Aunque no está claro cómo el NIST interactúa con las grandes empresas tecnológicas, las discusiones sobre el marco de gestión de riesgos del NIST, que tuvieron lugar antes del anuncio de la orden ejecutiva, involucraron a Microsoft; Anthropic, una startup formada por ex empleados de OpenAI que está construyendo modelos de IA de última generación; Asociación sobre IA, que representa a las grandes empresas tecnológicas; y el Future of Life Institute, una organización sin fines de lucro dedicada al riesgo existencial, entre otros.
“Como científico social cuantitativo, amo y odio al mismo tiempo que la gente se dé cuenta de que el poder está en la medición”, dice Chowdhury.