El Instituto Nacional de Estándares y Tecnología (NIST), la agencia del Departamento de Comercio de EE. UU. que desarrolla y prueba tecnología para el gobierno, las empresas y el público en general de EE. UU., anunció el lunes el lanzamiento de NIST GenAI, un nuevo programa encabezado por el NIST para evaluar la generación. Tecnologías de IA, incluida la IA generadora de texto e imágenes.
NIST GenAI publicará puntos de referencia, ayudará a crear sistemas de detección de «autenticidad del contenido» (es decir, verificación de deepfake) y fomentará el desarrollo de software para detectar la fuente de información falsa o engañosa generada por IA, explica el NIST en el sitio web NIST GenAI recientemente lanzado y en comunicado de prensa.
“El programa NIST GenAI emitirá una serie de problemas desafiantes [intended] para evaluar y medir las capacidades y limitaciones de las tecnologías de IA generativa”, se lee en el comunicado de prensa. «Estas evaluaciones se utilizarán para identificar estrategias para promover la integridad de la información y guiar el uso seguro y responsable del contenido digital».
El primer proyecto de NIST GenAI es un estudio piloto para construir sistemas que puedan distinguir de manera confiable entre los medios creados por humanos y los generados por IA, comenzando con el texto. (Si bien muchos servicios pretenden detectar deepfakes, los estudios y nuestras propias pruebas han demostrado que, en el mejor de los casos, son inestables, especialmente cuando se trata de texto). NIST GenAI está invitando a equipos de la academia, la industria y los laboratorios de investigación a enviar cualquiera de los “generadores”: Sistemas de IA para generar contenido, o “discriminadores”, que son sistemas diseñados para identificar contenido generado por IA.
Los generadores del estudio deben generar resúmenes de 250 palabras o menos, proporcionando un tema y un conjunto de documentos, mientras que los discriminadores deben detectar si un resumen determinado está potencialmente escrito por IA. Para garantizar la equidad, NIST GenAI proporcionará los datos necesarios para probar los generadores. Sistemas capacitados con datos disponibles públicamente y que no “[comply] con las leyes y regulaciones aplicables «no serán aceptados», dice el NIST.
La inscripción para el piloto comenzará el 1 de mayo, y la primera ronda de dos finalizará el 2 de agosto. Se espera que los resultados finales del estudio se publiquen en febrero de 2025.
El lanzamiento de NIST GenAI y el estudio centrado en deepfake se producen en un momento en que el volumen de información errónea y desinformación generada por IA crece exponencialmente.
Según datos de Clarity, una empresa de detección de deepfakes, este año se han creado y publicado un 900% más de deepfakes en comparación con el mismo período del año pasado. Está causando alarma, comprensiblemente. A reciente encuesta de YouGov encontró que el 85% de los estadounidenses estaban preocupados por la difusión en línea de deepfakes engañosos.
El lanzamiento de NIST GenAI es parte de la respuesta del NIST a la orden ejecutiva del presidente Joe Biden sobre IA, que estableció reglas que exigen una mayor transparencia por parte de las empresas de IA sobre cómo funcionan sus modelos y estableció una serie de nuevos estándares, incluso para etiquetar el contenido generado por IA. .
También es el primer anuncio del NIST relacionado con la IA después del nombramiento de Paul Christiano, un ex investigador de OpenAI, para el Instituto de Seguridad de IA de la agencia.
Christiano fue una elección controvertida por sus opiniones “doomeristas”; Una vez predijo que «hay un 50% de posibilidades de que el desarrollo de la IA termine en [humanity’s destruction].” Los críticos, que al parecer incluyen a científicos del NIST, temen que Cristiano pueda alentar al AI Safety Institute a centrarse en “escenarios de fantasía” en lugar de riesgos realistas y más inmediatos de la IA.
NIST dice que NIST GenAI informará el trabajo del AI Safety Institute.