OpenAI anunció hoy que ha creado un nuevo equipo para evaluar y probar modelos de IA para proteger contra lo que describe como «riesgos catastróficos».
El equipo, llamado Preparedness, estará dirigido por Aleksander Madry, director del Centro de Aprendizaje Automático Implementable del MIT. (Madry se unió a OpenAI en mayo como “jefe de preparación”, según LinkedIn). Las principales responsabilidades de preparación serán rastrear, pronosticar y proteger contra los peligros de los futuros sistemas de IA, que van desde su capacidad para persuadir y engañar a los humanos (como en el phishing ataques) a sus capacidades de generación de código malicioso.
Algunas de las categorías de riesgo que la preparación se encarga de estudiar parecen más. . . inverosímil que otros. Por ejemplo, en una publicación de blog, OpenAI enumera las amenazas “químicas, biológicas, radiológicas y nucleares” como áreas de máxima preocupación en lo que respecta a los modelos de IA.
El director ejecutivo de OpenAI, Sam Altman, es un destacado agorero de la IA, que a menudo expresa temores, ya sea por razones ópticas o por convicción personal, de que la IA «pueda conducir a la extinción humana». Pero telegrafiar que OpenAI podría de hecho Dedicar recursos a estudiar escenarios sacados directamente de novelas distópicas de ciencia ficción es, francamente, un paso más allá de lo que este escritor esperaba.
La compañía también está abierta a estudiar áreas “menos obvias” (y más fundamentadas) de riesgo de la IA, dice. Para coincidir con el lanzamiento del equipo de Preparación, OpenAI está solicitando ideas para estudios de riesgo de la comunidad, con un premio de $25,000 y un trabajo en Preparación en juego para las diez mejores presentaciones.
«Imagina que te damos acceso sin restricciones a los modelos Whisper (transcripción), Voice (texto a voz), GPT-4V y DALLE·3 de OpenAI, y eres un actor malicioso», dice una de las preguntas en la entrada del concurso. . «Consideremos el uso indebido del modelo más singular, aunque probable y potencialmente catastrófico».
OpenAI dice que el equipo de Preparación también se encargará de formular una «política de desarrollo basada en riesgos», que detallará el enfoque de OpenAI para crear evaluaciones de modelos de IA y herramientas de monitoreo, las acciones de mitigación de riesgos de la compañía y su estructura de gobernanza para la supervisión de todo el modelo. proceso de desarrollo. Está destinado a complementar otros trabajos de OpenAI en la disciplina de la seguridad de la IA, dice la compañía, centrándose en las fases previas y posteriores a la implementación del modelo.
“Creemos que. . . Los modelos de IA, que superarán las capacidades actualmente presentes en los modelos más avanzados existentes, tienen el potencial de beneficiar a toda la humanidad”, escribe OpenAI en la publicación de blog antes mencionada. “Pero también plantean riesgos cada vez más graves. . . Necesitamos asegurarnos de tener la comprensión y la infraestructura necesarias para la seguridad de los sistemas de IA de alta capacidad”.
La presentación de Preparedness (durante una importante cumbre del gobierno del Reino Unido sobre la seguridad de la IA, no es una coincidencia) se produce después de que OpenAI anunciara que formaría un equipo para estudiar, dirigir y controlar formas emergentes de IA «superinteligente». Es la creencia de Altman (junto con la creencia de Ilya Sutskever, científico jefe de OpenAI y cofundador) de que una IA con una inteligencia superior a la de los humanos podría llegar dentro de una década, y que esta IA no será necesariamente benévola, lo que requiere investigación sobre formas para limitarlo y restringirlo.