Aurich/Getty
El plan del presidente estadounidense Joe Biden para contener los peligros de la inteligencia artificial ya corre el riesgo de ser descarrilado por los contadores del Congreso.
Una orden ejecutiva de la Casa Blanca sobre IA anunciada en octubre insta a Estados Unidos a desarrollar nuevos estándares para someter a prueba los sistemas de IA a fin de descubrir sus sesgos, amenazas ocultas y tendencias deshonestas. Pero la agencia encargada de establecer estos estándares, el Instituto Nacional de Estándares y Tecnología (NIST), carece del presupuesto necesario para completar ese trabajo de forma independiente antes de la fecha límite del 26 de julio de 2024, según varias personas con conocimiento del trabajo.
Hablando en la conferencia NeurIPS AI en Nueva Orleans la semana pasada, Elham Tabassi, director asociado de tecnologías emergentes del NIST, describió esto como «una fecha límite casi imposible» para la agencia.
A algunos miembros del Congreso les preocupa que el NIST se vea obligado a depender en gran medida de la experiencia en IA de empresas privadas que, debido a sus propios proyectos de IA, tienen un interés personal en dar forma a los estándares.
El gobierno de EE. UU. ya ha recurrido al NIST para ayudar a regular la IA. En enero de 2023, la agencia publicó un marco de gestión de riesgos de IA para guiar a las empresas y al gobierno. El NIST también ha ideado formas de medir la confianza del público en las nuevas herramientas de inteligencia artificial. Pero la agencia, que estandariza todo, desde ingredientes alimentarios hasta materiales radiactivos y relojes atómicos, tiene recursos escasos en comparación con los de las empresas a la vanguardia de la IA. OpenAI, Google y Meta probablemente gastaron cada uno más de 100 millones de dólares para entrenar los potentes modelos de lenguaje que sustentan aplicaciones como ChatGPT, Bard y Llama 2.
El presupuesto del NIST para 2023 fue de 1.600 millones de dólares y la Casa Blanca ha solicitado que se aumente en un 29 por ciento en 2024 para iniciativas no directamente relacionadas con la IA. Varias fuentes familiarizadas con la situación en el NIST dicen que el presupuesto actual de la agencia no alcanzará para resolver las pruebas de seguridad de la IA por sí solo.
El 16 de diciembre, el mismo día en que Tabassi habló en NeurIPS, seis miembros del Congreso firmaron una carta abierta bipartidista expresando su preocupación por la perspectiva de que el NIST reclute empresas privadas con poca transparencia. «Hemos aprendido que el NIST tiene la intención de otorgar subvenciones o premios a organizaciones externas para investigaciones externas», escribieron. La carta advierte que no parece haber ninguna información disponible públicamente sobre cómo se decidirán esos premios.
La carta de los legisladores también afirma que se está apresurando al NIST para definir estándares a pesar de que la investigación para probar los sistemas de IA se encuentra en una etapa temprana. Como resultado, existe un «desacuerdo significativo» entre los expertos en IA sobre cómo trabajar o incluso medir y definir los problemas de seguridad con la tecnología, afirma. «El estado actual del campo de investigación de seguridad de la IA crea desafíos para el NIST a medida que desempeña su papel de liderazgo en el tema», afirma la carta.
La portavoz del NIST, Jennifer Huergo, confirmó que la agencia había recibido la carta y dijo que “responderá a través de los canales apropiados”.
El NIST está tomando algunas medidas que aumentarían la transparencia, incluida la emisión de una solicitud de información el 19 de diciembre, solicitando aportes de expertos externos y empresas sobre estándares para evaluar y formar equipos rojos de modelos de IA. No está claro si se trataba de una respuesta a la carta enviada por los miembros del Congreso.
Las preocupaciones planteadas por los legisladores son compartidas por algunos expertos en IA que han pasado años desarrollando formas de probar los sistemas de IA. «Como organismo científico no partidista, el NIST es la mejor esperanza para acabar con el revuelo y la especulación en torno al riesgo de la IA», dice Rumman Chowdhury, científico de datos y director ejecutivo de Parity Consulting, que se especializa en probar modelos de IA para detectar sesgos y otros problemas. «Pero para hacer bien su trabajo, necesitan más que mandatos y buenos deseos».
Yacine Jernite, líder social y de aprendizaje automático en Hugging Face, una empresa que apoya proyectos de inteligencia artificial de código abierto, dice que las grandes tecnológicas tienen muchos más recursos que la agencia, dado un papel clave en la implementación del ambicioso plan de inteligencia artificial de la Casa Blanca. «El NIST ha realizado un trabajo increíble para ayudar a gestionar los riesgos de la IA, pero la presión para encontrar soluciones inmediatas para problemas a largo plazo hace que su misión sea extremadamente difícil», dice Jernite. «Tienen muchos menos recursos que las empresas que desarrollan más sistemas de IA visibles”.
Margaret Mitchell, científica jefe de ética de Hugging Face, dice que el creciente secreto en torno a los modelos comerciales de IA hace que la medición sea más desafiante para una organización como el NIST. «No podemos mejorar lo que no podemos medir», afirma.
La orden ejecutiva de la Casa Blanca exige que el NIST realice varias tareas, incluido el establecimiento de un nuevo Instituto de Seguridad de Inteligencia Artificial para apoyar el desarrollo de una IA segura. En abril, se anunció un grupo de trabajo en el Reino Unido centrado en la seguridad de la IA. Recibirá 126 millones de dólares en financiación inicial.
La orden ejecutiva le dio al NIST una fecha límite agresiva para elaborar, entre otras cosas, pautas para evaluar modelos de IA, principios para modelos de “equipo rojo” (probar adversariamente) y desarrollar un plan para lograr que las naciones aliadas de Estados Unidos acepten los estándares del NIST. y elaborar un plan para «promover estándares técnicos globales responsables para el desarrollo de la IA».
Aunque no está claro cómo el NIST interactúa con las grandes empresas tecnológicas, las discusiones sobre el marco de gestión de riesgos del NIST, que tuvieron lugar antes del anuncio de la orden ejecutiva, involucraron a Microsoft; Anthropic, una startup formada por ex empleados de OpenAI que está construyendo modelos de IA de última generación; Asociación sobre IA, que representa a las grandes empresas tecnológicas; y el Future of Life Institute, una organización sin fines de lucro dedicada al riesgo existencial, entre otros.
“Como científico social cuantitativo, amo y odio al mismo tiempo que la gente se dé cuenta de que el poder está en la medición”, dice Chowdhury.
Esta historia apareció originalmente en wired.com.