\n<\/p>\n
\u201cEsto realmente no funcion\u00f3\u201d, dice Nicolas Heess, tambi\u00e9n cient\u00edfico investigador de DeepMind y uno de los coautores del art\u00edculo con Lever. Debido a la complejidad del problema, la gran variedad de opciones disponibles y la falta de conocimiento previo sobre la tarea, los agentes realmente no ten\u00edan idea de por d\u00f3nde empezar, de ah\u00ed las contorsiones y contracciones.<\/p>\n
Entonces, en cambio, Heess, Lever y sus colegas usaron primitivas motoras probabil\u00edsticas neurales (NPMP), un m\u00e9todo de ense\u00f1anza que empuj\u00f3 el modelo de IA hacia patrones de movimiento m\u00e1s parecidos a los humanos, con la expectativa de que este conocimiento subyacente ayudar\u00eda a resolver el problema de c\u00f3mo moverse por el campo de f\u00fatbol virtual. \u201cB\u00e1sicamente sesga su control motor hacia un comportamiento humano realista, movimientos humanos realistas\u201d, dice Lever. \u201cY eso se aprende de la captura de movimiento, en este caso, actores humanos jugando al f\u00fatbol\u201d.<\/p>\n
Esto \u201creconfigura el espacio de acci\u00f3n\u201d, dice Lever. Los movimientos de los agentes ya est\u00e1n restringidos por sus cuerpos y articulaciones similares a los humanos que solo pueden doblarse de ciertas maneras, y estar expuestos a datos de humanos reales los restringe a\u00fan m\u00e1s, lo que ayuda a simplificar el problema. \u201cHace que las cosas \u00fatiles sean m\u00e1s f\u00e1ciles de descubrir por ensayo y error\u201d, dice Lever. NPMP acelera el proceso de aprendizaje. Se debe lograr un \u00abequilibrio sutil\u00bb entre ense\u00f1ar a la IA a hacer las cosas de la manera en que las hacen los humanos y, al mismo tiempo, darle suficiente libertad para descubrir sus propias soluciones a los problemas, que pueden ser m\u00e1s eficientes que las que se nos ocurren a nosotros mismos. .<\/p>\n
El entrenamiento b\u00e1sico fue seguido por ejercicios para un solo jugador: correr, driblar y patear la pelota, imitando la forma en que los humanos pueden aprender a jugar un nuevo deporte antes de sumergirse en una situaci\u00f3n de partido completo. Las recompensas de aprendizaje por refuerzo eran cosas como seguir con \u00e9xito un objetivo sin el bal\u00f3n o driblar el bal\u00f3n cerca de un objetivo. Este plan de estudios de habilidades fue una forma natural de desarrollar tareas cada vez m\u00e1s complejas, dice Lever.<\/p>\n
El objetivo era alentar a los agentes a reutilizar las habilidades que podr\u00edan haber aprendido fuera del contexto del f\u00fatbol dentro de un entorno de f\u00fatbol, \u200b\u200bpara generalizar y ser flexibles al cambiar entre diferentes estrategias de movimiento. Los agentes que hab\u00edan dominado estos ejercicios fueron utilizados como maestros. De la misma manera que se alent\u00f3 a la IA a imitar lo que hab\u00eda aprendido de la captura de movimiento humano, tambi\u00e9n se la recompens\u00f3 por no desviarse demasiado de las estrategias que los agentes docentes usaron en escenarios particulares, al menos al principio. \u201cEste es en realidad un par\u00e1metro del algoritmo que se optimiza durante el entrenamiento\u201d, dice Lever. \u201cCon el tiempo, en principio, pueden reducir su dependencia de los maestros\u201d.<\/p>\n
Con sus jugadores virtuales entrenados, era hora de un poco de acci\u00f3n en los partidos: comenzando con juegos de 2 contra 2 y 3 contra 3 para maximizar la cantidad de experiencia que los agentes acumularon durante cada ronda de simulaci\u00f3n (e imitando c\u00f3mo los jugadores j\u00f3venes comienzan con juegos peque\u00f1os en la vida real). ). Los aspectos m\u00e1s destacados, que puedes ver aqu\u00ed, tienen la energ\u00eda ca\u00f3tica de un perro persiguiendo una pelota en el parque: los jugadores no corren sino que tropiezan hacia adelante, perpetuamente a punto de caer al suelo. Cuando se marcan goles, no se debe a movimientos de pase intrincados, sino a despejes prometedores y rebotes similares a los de un futbol\u00edn en la pared trasera.<\/p>\n<\/div>\n