Escuchaste sobre el avión no tripulado AI de la Fuerza Aérea que se volvió rebelde y atacó a sus operadores dentro de una simulación?
La advertencia fue contada por el Coronel Tucker Hamilton, jefe de pruebas y operaciones de IA en la Fuerza Aérea de EE. UU., durante un discurso en un evento aeroespacial y de defensa en Londres a fines del mes pasado. Aparentemente, implicó tomar el tipo de algoritmo de aprendizaje que se ha utilizado para entrenar computadoras para jugar videojuegos y juegos de mesa como Chess and Go y usarlo para entrenar un dron para cazar y destruir misiles tierra-aire.
“A veces, el operador humano le decía que no eliminara esa amenaza, pero obtuvo sus puntos al eliminar esa amenaza”, se informó ampliamente que Hamilton le dijo a la audiencia en Londres. “Entonces, ¿qué hizo? […] Mató al operador porque esa persona le impedía lograr su objetivo”.
¡Santo T-800! Suena como el tipo de cosas que los expertos en inteligencia artificial han comenzado a advertir que los algoritmos cada vez más inteligentes e inconformistas podrían hacer. La historia rápidamente se volvió viral, por supuesto, con varios sitios de noticias prominentes recogiéndola, y Twitter pronto se llenó de tomas calientes preocupadas.
Solo hay un problema: el experimento nunca sucedió.
“El Departamento de la Fuerza Aérea no ha realizado ninguna simulación de este tipo con drones de IA y sigue comprometido con el uso ético y responsable de la tecnología de IA”, nos asegura la portavoz de la Fuerza Aérea, Ann Stefanek, en un comunicado. “Este fue un experimento mental hipotético, no una simulación”.
El propio Hamilton también se apresuró a dejar las cosas claras, diciendo que «habló mal» durante su charla.
Para ser justos, los militares a veces realizan ejercicios de «juego de guerra» de mesa que presentan escenarios hipotéticos y tecnologías que aún no existen.
El «experimento mental» de Hamilton también puede haber sido informado por investigaciones reales de IA que muestran problemas similares al que él describe.
OpenAI, la compañía detrás de ChatGPT, el chatbot sorprendentemente inteligente y frustrantemente defectuoso en el centro del auge de la IA actual, realizó un experimento en 2016 que mostró cómo los algoritmos de IA que tienen un objetivo particular a veces pueden comportarse mal. Los investigadores de la compañía descubrieron que un agente de IA entrenado para acumular puntos en un videojuego que consiste en conducir un bote comenzó a estrellar el bote contra objetos porque resultó ser una forma de obtener más puntos.
Pero es importante tener en cuenta que este tipo de mal funcionamiento, aunque teóricamente posible, no debería ocurrir a menos que el sistema esté diseñado incorrectamente.
Will Roper, quien fue subsecretario de adquisiciones de la Fuerza Aérea de EE. UU. y dirigió un proyecto para poner un algoritmo de refuerzo a cargo de algunas funciones en un avión espía U2, explica que un algoritmo de IA simplemente no tendría la opción de atacar a su operadores dentro de una simulación. Eso sería como un algoritmo de juego de ajedrez capaz de voltear el tablero para evitar perder más piezas, dice.
Si la IA termina usándose en el campo de batalla, «comenzará con arquitecturas de seguridad de software que usan tecnologías como la contenedorización para crear ‘zonas seguras’ para la IA y zonas prohibidas donde podemos demostrar que la IA no puede ir». Roper dice.
Esto nos lleva de vuelta al momento actual de angustia existencial en torno a la IA. La velocidad a la que están mejorando los modelos de lenguaje como el que está detrás de ChatGPT ha inquietado a algunos expertos, incluidos muchos de los que trabajan en la tecnología, lo que provocó llamados a una pausa en el desarrollo de algoritmos más avanzados y advertencias sobre una amenaza para la humanidad a la par con la nuclear. armas y pandemias.
Estas advertencias claramente no ayudan cuando se trata de analizar historias descabelladas sobre algoritmos de IA que se vuelven contra los humanos. Y la confusión no es lo que necesitamos cuando hay problemas reales que abordar, incluidas las formas en que la IA generativa puede exacerbar los sesgos sociales y difundir la desinformación.
Pero este meme sobre el mal comportamiento de la IA militar nos dice que necesitamos urgentemente más transparencia sobre el funcionamiento de los algoritmos de vanguardia, más investigación e ingeniería centradas en cómo construirlos e implementarlos de manera segura, y mejores formas de ayudar al público a comprender lo que se está implementando. Estos pueden resultar especialmente importantes ya que los militares, como todos los demás, se apresuran a hacer uso de los últimos avances.