Cuando se trata de rastrear los avances incrementales de Potencial de IA, los humanos tenemos una extraña tendencia a pensar en términos de juegos de mesa que probablemente no he jugado desde la infancia. Aunque no hay escasez de ejemplos, incluso reciente unosdestacando la capacidad de la IA para adueñarse por completo del espacio de juego de cartón, esas pruebas solo llegan hasta cierto punto para ilustrar la efectividad de la tecnología para resolver problemas del mundo real.
Un «desafío» potencialmente mucho mejor sería poner una IA al lado de los humanos en una competencia de programación. Alfabeto-propiedad de DeepMind hizo precisamente eso con su código alfa modelo. ¿Los resultados? Bueno, AlphaCode funcionó bien pero no excepcionalmente. El rendimiento general del modelo, según un artículo publicado en Ciencias compartida con Gizmodo, corresponde a un “programador novato” con unos meses a un año de formación. Parte de esos hallazgos se hicieron público por DeepMind a principios de este año.
En la prueba, AlphaCode fue capaz de lograr un «rendimiento de nivel aproximadamente humano» y resolver problemas de lenguaje natural nunca antes vistos en una competencia mediante la predicción de segmentos de código y la creación de millones de soluciones potenciales. Después de generar la plétora de soluciones, AlphaCode las filtró hasta un máximo de 10 soluciones, todas las cuales, según los investigadores, se generaron, «sin ningún conocimiento incorporado sobre la estructura del código informático».
AlphaCode recibió una clasificación promedio en el 54,3 % superior en evaluaciones simuladas en competencias de codificación recientes en la plataforma de codificación competitiva Codeforces cuando se limita a soluciones de generación 10 por problema. Sin embargo, el 66% de esos problemas se resolvieron utilizando su primera presentación.
Puede que eso no suene tan impresionante, especialmente cuando se compara con actuaciones de modelos aparentemente más fuertes contra humanos en juegos de mesa complejos, aunque los investigadores señalan que tener éxito en las competencias de codificación es excepcionalmente difícil. Para tener éxito, AlphaCode primero tuvo que comprender problemas de codificación complejos en lenguajes naturales y luego «razonar» sobre problemas imprevistos en lugar de simplemente memorizar fragmentos de código. AlphaCode fue capaz de resolver problemas que no había visto antes, y los investigadores afirman que no encontraron evidencia de que su modelo simplemente copiara core logix de los datos de entrenamiento. Combinados, los investigadores dicen que esos factores hacen que el rendimiento de AlphaCode sea un «gran paso adelante».
«En última instancia, AlphaCode se desempeña notablemente bien en desafíos de codificación nunca antes vistos, independientemente del grado en que ‘realmente’ comprenda la tarea», escribió el profesor J. Zico Kolter de Carnegie Mellon University, Bosch Center for AI en un reciente Perspectiva artículo comentando el estudio.
AlphaCode no es el único modelo de IA que se está desarrollando teniendo en cuenta la codificación. En particular, OpenAI tiene adaptado su modelo de lenguaje natural GPT-3 para crear una función de autocompletar que puede perjudicar las líneas de código. GitHub también tiene su propia herramienta popular de programación de IA llamada Copiloto. Sin embargo, ninguno de esos programas ha demostrado tanta destreza compitiendo contra humanos para resolver problemas competitivos complejos.
Aunque todavía estamos en los primeros días de la generación de código asistida por IA, los investigadores de DeepMind confían en que los éxitos recientes de AlphaCode conducirán a aplicaciones útiles para los programadores humanos en el futuro. Además de aumentar la productividad general, los investigadores dicen que AlphaCode también podría «hacer que la programación sea más accesible para una nueva generación de desarrolladores». Al más alto nivel, los investigadores dicen que AlphaCode algún día podría conducir potencialmente a un cambio cultural en la programación donde los humanos existen principalmente para formular problemas que la IALuego se les asigna la tarea de resolver.
Al mismo tiempo, algunos detractores en el espacio de la IA han cuestionado la eficacia de los modelos básicos de capacitación que sustentan muchos modelos avanzados de IA. El mes pasado, un programador llamado Matthew Butterick presentó una primera de este tipo demanda judicial contra Microsoft-propiedad de GitHub, argumentando que su herramienta de asistente Copilot AI ignora o elimina descaradamente las licencias presentadas por los ingenieros de software durante su fase de aprendizaje y prueba. Ese uso liberal del código de otros programadores, argumenta Butterick, equivale a «piratería de software en una escala sin precedentes». Los resultados de esa demanda podrían jugar un papel importante en detejemen eng la facilidad con la que los desarrolladores de IA, en particular aquellos que entrenan sus modelos en el código de humanos anteriores, pueden mejorar y hacer avanzar sus modelos.