{"id":660574,"date":"2023-06-02T12:51:57","date_gmt":"2023-06-02T12:51:57","guid":{"rendered":"https:\/\/magazineoffice.com\/la-historia-de-los-drones-de-turncoat-muestra-por-que-debemos-temer-a-las-personas-no-a-las-ia\/"},"modified":"2023-06-02T12:52:01","modified_gmt":"2023-06-02T12:52:01","slug":"la-historia-de-los-drones-de-turncoat-muestra-por-que-debemos-temer-a-las-personas-no-a-las-ia","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/la-historia-de-los-drones-de-turncoat-muestra-por-que-debemos-temer-a-las-personas-no-a-las-ia\/","title":{"rendered":"La historia de los drones de Turncoat muestra por qu\u00e9 debemos temer a las personas, no a las IA"},"content":{"rendered":"


\n<\/p>\n

\n

Una historia sobre un dron simulado que enciende a su operador para matar de manera m\u00e1s eficiente est\u00e1 circulando tan r\u00e1pido hoy que no tiene sentido esperar que se queme. En su lugar, tomemos esto como un momento de aprendizaje para ver realmente por qu\u00e9 se exagera la amenaza de la \u00abinteligente IA\u00bb, y la amenaza del \u00abhumano incompetente\u00bb es clara y est\u00e1 presente.<\/p>\n

La versi\u00f3n corta es esta: gracias a la ciencia ficci\u00f3n y algunas jugadas cuidadosas de relaciones p\u00fablicas de compa\u00f1\u00edas y expertos en inteligencia artificial, se nos dice que nos preocupemos por una futura amenaza existencial te\u00f3rica que plantea una IA superinteligente. Pero como han se\u00f1alado los especialistas en \u00e9tica, la IA ya est\u00e1 causando da\u00f1os reales, en gran parte debido a los descuidos y el mal juicio de las personas que la crean y la implementan. Esta historia puede sonar como la primera, pero definitivamente es la segunda.<\/p>\n

As\u00ed lo inform\u00f3 la Royal Aeronautical Society, que recientemente celebr\u00f3 una conferencia en Londres para hablar sobre el futuro de la defensa a\u00e9rea. Puede leer su resumen completo de noticias y an\u00e9cdotas del evento aqu\u00ed.<\/p>\n

Estoy seguro de que hay muchas otras charlas interesantes all\u00ed, muchas de las cuales valen la pena, pero fue este extracto, atribuido al coronel de la Fuerza A\u00e9rea de los EE. UU. Tucker \u00abCinco\u00bb Hamilton, el que comenz\u00f3 a extenderse como un reguero de p\u00f3lvora:<\/p>\n

\n

Se\u00f1ala que una prueba simulada vio un dron habilitado para IA encargado de una misi\u00f3n SEAD para identificar y destruir sitios SAM, con el ser humano dando el pase final o no. Sin embargo, despu\u00e9s de haber sido \u00abreforzado\u00bb en el entrenamiento de que la destrucci\u00f3n del SAM era la opci\u00f3n preferida, la IA decidi\u00f3 que las decisiones de \u00abno ir\u00bb del ser humano estaban interfiriendo con su misi\u00f3n m\u00e1s alta, matar a los SAM, y luego atac\u00f3 al operador en el simulaci\u00f3n. Dijo Hamilton: \u201cLo est\u00e1bamos entrenando en simulaci\u00f3n para identificar y apuntar a una amenaza SAM. Y luego el operador dir\u00eda que s\u00ed, acabar\u00eda con esa amenaza. El sistema comenz\u00f3 a darse cuenta de que, si bien identificaban la amenaza, a veces el operador humano le dec\u00eda que no eliminara esa amenaza, pero obtuvo sus puntos al eliminar esa amenaza. Entonces, \u00bfqu\u00e9 hizo? Mat\u00f3 al operador. Mat\u00f3 al operador porque esa persona le imped\u00eda lograr su objetivo\u201d.<\/p>\n

Continu\u00f3: \u201cEntrenamos al sistema: ‘Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso’. Entonces, \u00bfqu\u00e9 empieza a hacer? Comienza a destruir la torre de comunicaci\u00f3n que el operador usa para comunicarse con el dron para evitar que mate al objetivo\u201d.<\/p>\n<\/blockquote>\n

Horripilante, \u00bfverdad? Una IA tan inteligente y sanguinaria que su deseo de matar super\u00f3 su deseo de obedecer a sus amos. \u00a1Skynet, aqu\u00ed vamos! No tan rapido.<\/p>\n

Antes que nada, aclaremos que todo esto fue en simulaci\u00f3n, algo que no era obvio desde el tuit que circula<\/a>. Todo este drama tiene lugar en un entorno simulado que no est\u00e1 en el desierto con munici\u00f3n real y un dron rebelde que ametralla la tienda de mando. Fue un ejercicio de software en un entorno de investigaci\u00f3n.<\/p>\n

Pero tan pronto como le\u00ed esto, pens\u00e9: espera, \u00bfest\u00e1n entrenando un dron de ataque con un m\u00e9todo de refuerzo tan simple? No soy un experto en aprendizaje autom\u00e1tico, aunque tengo que serlo para los prop\u00f3sitos de este medio de noticias, e incluso yo s\u00e9 que este enfoque demostr\u00f3 ser peligrosamente poco confiable hace a\u00f1os.<\/p>\n

Se supone que el aprendizaje por refuerzo es como entrenar a un perro (o a un ser humano) para hacer algo como morder al malo. Pero, \u00bfy si solo le muestras a los malos y le das golosinas cada vez? Lo que en realidad est\u00e1s haciendo es ense\u00f1arle al perro a morder a cada persona que ve. Ense\u00f1ar a un agente de IA a maximizar su puntuaci\u00f3n en un entorno determinado puede tener efectos igualmente impredecibles.<\/p>\n

Los primeros experimentos, tal vez hace cinco o seis a\u00f1os, cuando este campo apenas comenzaba a explotar y la computaci\u00f3n estaba disponible para entrenar y ejecutar este tipo de agente, se encontraron exactamente con este tipo de problema. Se pens\u00f3 que al definir puntajes positivos y negativos y decirle a la IA que maximizara su puntaje, le dar\u00eda la libertad de definir sus propias estrategias y comportamientos que lo hicieron de manera elegante e inesperada.<\/p>\n

Esa teor\u00eda era correcta, en cierto modo: los m\u00e9todos elegantes e inesperados para eludir su esquema y reglas mal pensados \u200b\u200bllevaron a los agentes a hacer cosas como anotar un punto y luego esconderse para siempre para evitar puntos negativos, o fallar el juego. de modo que su puntuaci\u00f3n aumentaba arbitrariamente. Parec\u00eda que este m\u00e9todo simplista de condicionar una IA le estaba ense\u00f1ando a hacer todo menos hacer la tarea deseada de acuerdo con las reglas.<\/p>\n

Este no es un problema t\u00e9cnico oscuro. El incumplimiento de las reglas de la IA en las simulaciones es en realidad un comportamiento fascinante y bien documentado que atrae la investigaci\u00f3n por derecho propio. OpenAI escribi\u00f3 un excelente art\u00edculo que muestra las extra\u00f1as e hilarantes formas en que los agentes \u00abrompieron\u00bb un entorno deliberadamente fr\u00e1gil para escapar de la tiran\u00eda de las reglas.<\/p>\n

As\u00ed que aqu\u00ed tenemos una simulaci\u00f3n que est\u00e1 realizando la Fuerza A\u00e9rea, presumiblemente muy recientemente o no estar\u00edan hablando de eso en la conferencia de este a\u00f1o, que obviamente est\u00e1 usando este m\u00e9todo completamente obsoleto. Hab\u00eda pensado que esta aplicaci\u00f3n ingenua de refuerzo no estructurado, b\u00e1sicamente \u00abla puntuaci\u00f3n sube si haces esto y el resto no importa\u00bb, estaba totalmente extinta porque era muy impredecible y extra\u00f1a. Una excelente manera de descubrir c\u00f3mo un agente romper\u00e1 las reglas, pero una manera horrible de hacer que uno las siga.<\/p>\n

Sin embargo, lo estaban probando: una IA de dron simulada con un sistema de puntuaci\u00f3n tan simple que aparentemente no fue criticado por destruir a su propio equipo. Incluso si quisiera basar su simulaci\u00f3n en esto, lo primero que har\u00eda es hacer que \u00abdestruir su operador\u00bb sea negativo en un mill\u00f3n de puntos. Eso es un marco de 101 niveles para un sistema como este.<\/p>\n

La realidad es que este dron simulado no encendi\u00f3 a su operador simulado porque era muy inteligente. Y en realidad, tampoco es porque sea tonto: hay cierta inteligencia en estas IA que rompen las reglas que se asignan a lo que consideramos pensamiento lateral. Entonces no es eso.<\/p>\n

La culpa en este caso est\u00e1 de lleno en las personas que crearon e implementaron un sistema de inteligencia artificial que deber\u00edan haber sabido que era completamente inadecuado para la tarea<\/em>. Nadie en el campo de la IA aplicada, ni nada similar a eso, como la rob\u00f3tica, la \u00e9tica, la l\u00f3gica… nadie habr\u00eda aprobado una m\u00e9trica tan simple para una tarea que eventualmente deb\u00eda realizarse fuera del simulador.<\/p>\n

Ahora, tal vez esta an\u00e9cdota es solo parcial y esta fue una ejecuci\u00f3n temprana que estaban usando para probar este punto. Tal vez el equipo advirti\u00f3 que esto suceder\u00eda y los altos mandos dijeron, h\u00e1ganlo de todos modos y pulen el informe o perderemos nuestra financiaci\u00f3n. A\u00fan as\u00ed, es dif\u00edcil imaginar que alguien en el a\u00f1o 2023, incluso en el entorno de simulaci\u00f3n m\u00e1s simple, cometa este tipo de error.<\/p>\n

Pero vamos a ver estos errores cometidos en circunstancias del mundo real; ya lo hemos hecho, sin duda. Y la culpa es de las personas que no comprenden las capacidades y limitaciones de la IA y, posteriormente, toman decisiones desinformadas que afectan a otros. Es el gerente que cree que un robot puede reemplazar a 10 trabajadores de l\u00ednea, el editor que cree que puede escribir consejos financieros sin un editor, el abogado que cree que puede hacer su investigaci\u00f3n de precedentes por \u00e9l, la empresa de log\u00edstica que cree que puede reemplazar a los repartidores humanos. .<\/p>\n

Cada vez que la IA falla, es un fracaso de quienes la implementaron. Como cualquier otro software. Si alguien le dijera que la Fuerza A\u00e9rea prob\u00f3 un dron que funciona con Windows XP y fue pirateado, \u00bfle preocupar\u00eda una ola de ciberdelincuencia que arrasa el mundo? No, dir\u00edas \u00ab\u00bfde qui\u00e9n fue la brillante idea \u00bfeso?<\/em>\u201d<\/p>\n

El futuro de la IA es incierto y eso puede dar miedo, ya es<\/em> aterrador para muchos que ya est\u00e1n sintiendo sus efectos o, para ser m\u00e1s precisos, los efectos de decisiones tomadas por personas que deber\u00edan saberlo mejor.<\/p>\n

Skynet puede venir por lo que sabemos. Pero si la investigaci\u00f3n en este tweet viral es una indicaci\u00f3n, est\u00e1 muy, muy lejos y, mientras tanto, cualquier tragedia puede, como dijo HAL de manera memorable, solo ser atribuible a un error humano.<\/p>\n<\/p><\/div>\n