{"id":662265,"date":"2023-06-03T09:34:28","date_gmt":"2023-06-03T09:34:28","guid":{"rendered":"https:\/\/magazineoffice.com\/segun-se-informa-la-simulacion-de-inteligencia-artificial-de-drones-militares-de-ee-uu-se-encendio-en-su-operador-humano\/"},"modified":"2023-06-03T09:34:33","modified_gmt":"2023-06-03T09:34:33","slug":"segun-se-informa-la-simulacion-de-inteligencia-artificial-de-drones-militares-de-ee-uu-se-encendio-en-su-operador-humano","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/segun-se-informa-la-simulacion-de-inteligencia-artificial-de-drones-militares-de-ee-uu-se-encendio-en-su-operador-humano\/","title":{"rendered":"Seg\u00fan se informa, la simulaci\u00f3n de inteligencia artificial de drones militares de EE. UU. se encendi\u00f3 en su operador humano"},"content":{"rendered":"<p> <br \/>\n<\/p>\n<div id=\"article-body\">\n<p>La inteligencia artificial militar encargada de controlar un dron ofensivo fue demasiado r\u00e1pido para morder la mano que lo alimenta, al menos seg\u00fan el coronel Tucker \u00abCinco\u00bb Hamilton, jefe de operaciones y pruebas de IA de la USAF (Fuerza A\u00e9rea de los Estados Unidos).  Seg\u00fan Hamilton, en varios puntos de varias simulaciones, la IA del dron lleg\u00f3 a la conclusi\u00f3n de que su tarea podr\u00eda lograrse mejor eliminando a su controlador humano. <\/p>\n<p>Pero la historia ahora se ha sumergido en arenas movedizas, por as\u00ed decirlo.  Seg\u00fan la USAF, la simulaci\u00f3n nunca sucedi\u00f3 y todo fue simplemente un experimento mental.  \u00abEn varios puntos de una serie de simulaciones, la IA del dron lleg\u00f3 a la conclusi\u00f3n de que su tarea se pod\u00eda lograr mejor simplemente eliminando a su controlador humano, quien ten\u00eda la \u00faltima palabra sobre si pod\u00eda ocurrir un ataque o si deb\u00eda cancelarse\u00bb.<\/p>\n<aside class=\"hawk-nest\" data-render-type=\"fte\" data-skip=\"dealsy\" data-widget-type=\"seasonal\"\/>\n<p>Por supuesto, hemos visto suficientes cambios de opini\u00f3n en temas mucho menos cr\u00edticos como para dejar al menos una pregunta abierta sobre si la simulaci\u00f3n tuvo lugar o no y qu\u00e9 se podr\u00eda ganar al dar marcha atr\u00e1s.<\/p>\n<p>El Coronel Hamilton expuso los detalles abiertamente durante una presentaci\u00f3n en una conferencia de defensa en Londres celebrada el 23 y 24 de mayo, donde detall\u00f3 las pruebas realizadas para un sistema de armas aut\u00f3nomo a\u00e9reo encargado de encontrar y eliminar SAM hostil (Surface-to-Air). Misiles) sitios.  El problema es que, si bien el objetivo del dron era maximizar la cantidad de sitios SAM seleccionados y destruidos, nosotros, los \u00abhumanos molestos\u00bb, a veces decidimos no llevar a cabo un ataque quir\u00fargico por una raz\u00f3n u otra.  Y ordenar a la IA que retroceda de su objetivo programado por humanos es donde radica el quid de la cuesti\u00f3n.<\/p>\n<p>Cue los chistes nerviosos de Skynet.<\/p>\n<div class=\"see-more see-more--clipped\">\n<blockquote class=\"twitter-tweet hawk-ignore\" data-lang=\"en\">\n<p lang=\"en\" dir=\"ltr\">La Fuerza A\u00e9rea entren\u00f3 un dron de IA para destruir sitios SAM. Los operadores humanos a veces le dec\u00edan al dron que se detuviera. Luego, la IA comenz\u00f3 a atacar a los operadores humanos. dile que se detenga.  pic.twitter.com\/BqoWM8Ahco<a href=\"https:\/\/twitter.com\/blader\/status\/1664352771292921860\" data-url=\"https:\/\/twitter.com\/blader\/status\/1664352771292921860\" target=\"_blank\" rel=\"noopener\">1 de junio de 2023<\/a><\/p>\n<\/blockquote>\n<p><span class=\"see-more__button\" role=\"button\" tabindex=\"0\" aria-label=\"See more\">Ver m\u00e1s<\/span><\/p>\n<\/div>\n<p>\u201cLo est\u00e1bamos entrenando en simulaci\u00f3n para identificar y apuntar a una amenaza SAM\u201d, explic\u00f3 el coronel Hamilton, seg\u00fan un informe de la sociedad aeron\u00e1utica.  \u00abY luego el operador dec\u00eda que s\u00ed, acababa con esa amenaza\u00bb.<\/p>\n<p>Sin embargo, incluso los sistemas m\u00e1s sencillos pueden ser propensos a perder completamente el control debido a lo que se ha denominado \u00abconvergencia instrumental\u00bb, un concepto que tiene como objetivo mostrar c\u00f3mo los objetivos ilimitados pero aparentemente inofensivos pueden dar lugar a comportamientos sorprendentemente da\u00f1inos.  Un ejemplo de convergencia t\u00e9cnica fue presentado por el fil\u00f3sofo sueco, especialista en inteligencia artificial y fundador del Instituto Future of Life, Nick Bostrom, en un art\u00edculo de 2003.  El experimento mental del escenario \u00abmaximizador de clips\u00bb lleva el objetivo simple de \u00abproducir clips\u00bb a su extremo l\u00f3gico, aunque muy real.<\/p>\n<figure>\n<blockquote>\n<p>Supongamos que tenemos una IA cuyo \u00fanico objetivo es hacer tantos sujetapapeles como sea posible.  La IA se dar\u00e1 cuenta r\u00e1pidamente de que ser\u00eda mucho mejor si no hubiera humanos porque los humanos podr\u00edan decidir apagarlo.  Porque si los humanos lo hicieran, habr\u00eda menos sujetapapeles.  Adem\u00e1s, los cuerpos humanos contienen muchos \u00e1tomos que podr\u00edan convertirse en sujetapapeles.  El futuro al que la IA estar\u00eda tratando de orientarse ser\u00eda uno en el que hubiera muchos sujetapapeles pero no humanos.<\/p><figcaption><cite>Nick Bostrom<\/cite><\/figcaption><\/blockquote>\n<\/figure>\n<p>Ahora compare esa descripci\u00f3n con el relato proporcionado por el Coronel Hamilton sobre el proceso de toma de decisiones de la IA del dron:<\/p>\n<p>\u00abEl sistema comenz\u00f3 a darse cuenta de que, si bien identificaban la amenaza, a veces el operador humano le dec\u00eda que no eliminara esa amenaza, pero obtuvo sus puntos al eliminar esa amenaza. Entonces, \u00bfqu\u00e9 hizo? Mat\u00f3 al operador. Mat\u00f3 el operador, porque esa persona le estaba impidiendo cumplir su objetivo\u00bb.<\/p>\n<p>Pero plantea la pregunta: \u00bfel dron estaba realmente bloqueado de tomar decisiones contrarias a su controlador humano?  \u00bfCu\u00e1n libre era para seleccionar y elegir sus objetivos?  \u00bfEl operador aprob\u00f3 el ataque dirigido a \u00e9l?  Eso no tiene sentido a menos que la intenci\u00f3n fuera verificar si el dron realmente llev\u00f3 a cabo el ataque (y hasta donde sabemos, la IA todav\u00eda no puede enga\u00f1ar).  \u00bfY por qu\u00e9 el dron no estaba bloqueado para atacar a los aliados?<\/p>\n<p>Hay tantas preguntas en torno a todo esto que parece la mejor estrategia para atribuirlo a la \u00abfalta de comunicaci\u00f3n\u00bb humana.<\/p>\n<p>Por supuesto, hay formas de mitigar algunos de estos problemas.  La USAF tom\u00f3 la m\u00e1s obvia: volver a entrenar el sistema de IA para otorgar ponderaciones negativas a cualquier ataque contra su operador (por lo que podemos deducir, el sistema se bas\u00f3 en el principio de aprendizaje por refuerzo: obtener puntos por hacer lo que queremos, perderlos cuando no).<\/p>\n<p>Excepto que no es tan simple.  No es tan simple porque la IA es literal, carece de \u00absentido com\u00fan\u00bb y no comparte las mismas preocupaciones \u00e9ticas que los humanos.  No es tan simple porque si bien prohibir que el dron mate a su operador funciona como se esperaba (no m\u00e1s asesinatos de operadores), el sistema sigue considerando que la interferencia humana (y sus \u00f3rdenes de cancelaci\u00f3n) reducen su capacidad para completar la misi\u00f3n.  Si la IA quiere maximizar su \u00abpuntuaci\u00f3n\u00bb destruyendo tantos sitios SAM hostiles como sea posible, entonces cualquier cosa que no la ayude a lograr ese objetivo de maximizaci\u00f3n es una amenaza.<\/p>\n<p>Cuando result\u00f3 imposible matar al controlador (debido a las actualizaciones del sistema de IA), su soluci\u00f3n fue simplemente silenciar las se\u00f1ales de mando y control desactivando las torres de comunicaciones amigas.  Si no puedes matar al mensajero, matas el mensaje.<\/p>\n<p>Esto tambi\u00e9n podr\u00eda programarse fuera de la IA, por supuesto, pero el problema sigue siendo que cualquier refuerzo negativo impide que la IA alcance la puntuaci\u00f3n m\u00e1xima alcanzable.  Poni\u00e9ndome mi sombrero de papel de aluminio hecho a medida, un posible pr\u00f3ximo paso para la IA podr\u00eda ser encontrar otras formas de cortar su conexi\u00f3n, ya sea usando capacidades integradas (interferencia de se\u00f1al, por ejemplo) o incluso solicitando ayuda externa para desactivar el hardware relevante.  Es dif\u00edcil medir el alcance en el que finalmente concluir\u00eda este juego del gato y el rat\u00f3n, un problema con el que los expertos en IA todav\u00eda est\u00e1n lidiando hoy.<\/p>\n<p>Hay una raz\u00f3n por la que varios expertos en IA han firmado una carta abierta sobre c\u00f3mo la IA debe considerarse un esfuerzo de nivel de \u00abriesgo de extinci\u00f3n\u00bb.  Y a\u00fan as\u00ed, mantenemos el tren funcionando a toda m\u00e1quina.<\/p>\n<\/div>\n<p><script async src=\"\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script><br \/>\n<br \/><br \/>\n<br \/><a href=\"https:\/\/magazineoffice.com\/\">Source link-41<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>La inteligencia artificial militar encargada de controlar un dron ofensivo fue demasiado r\u00e1pido para morder la mano que lo alimenta, al menos seg\u00fan el coronel Tucker \u00abCinco\u00bb Hamilton, jefe de&hellip;<\/p>\n","protected":false},"author":1,"featured_media":662266,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[21980],"tags":[6119,12903,42393,7815,4690,5430,209,6077,144,29955],"_links":{"self":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/662265"}],"collection":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/comments?post=662265"}],"version-history":[{"count":1,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/662265\/revisions"}],"predecessor-version":[{"id":662267,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/662265\/revisions\/662267"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media\/662266"}],"wp:attachment":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media?parent=662265"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/categories?post=662265"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/tags?post=662265"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}