El panel final del día en nuestra conferencia Frontiers de este año fue presentado por mí, aunque iba a ser difícil seguir el panel del experto en IA de Ars, Benj Edwards, porque no tenía planeada una introducción bonita. El tema que cubríamos era lo que podría pasarles a los desarrolladores cuando la IA generativa sea lo suficientemente buena como para crear un buen código de manera consistente y, afortunadamente, nuestros panelistas pensaron que no teníamos mucho de qué preocuparnos. No a corto plazo, al menos.
Junto con la fundadora y directora ejecutiva de Luta Security, Katie Moussouris, y el investigador principal de la Universidad de Georgetown, Drew Lohn, el consenso general fue que, aunque los modelos de lenguaje grandes pueden hacer cosas extremadamente impresionantes, liberarlos para crear código de producción es una idea terrible. Si bien la IA generativa ha demostrado la capacidad de crear código, incluso un examen superficial demuestra que los modelos de lenguaje grande (LLM) de hoy en día a menudo hacen lo mismo al codificar que cuando giran historias: solo inventan un montón de cosas. (El término artístico aquí es «alucinación», pero Benj tiende a preferir el término «confabulación», ya que refleja con mayor precisión lo que parece que están haciendo los modelos).
Por lo tanto, aunque hoy en día se puede confiar en los LLM para hacer cosas simples, como crear una expresión regular, confiarles su código de producción es mucho más complicado.
Un gran problema subyacente, dice Katie, es que los modelos generativos son tan buenos como el código en el que están entrenados. «Mis amigos de Veracode hicieron un pequeño estudio durante los últimos 12 meses y el 70 por ciento del código que existe contiene fallas de seguridad», explicó. «Entonces, si tiene un modelo entrenado en un código que es 70 por ciento vulnerable… es muy probable que el código resultante contenga fallas de seguridad». Esto significa que a pesar de que el código puede ser en su mayoría funcional, como mi expresión regular generada por Bing Chat arriba, también existe una alta probabilidad de que tenga problemas integrados.
Drew se basó en ese punto y señaló que ha habido investigaciones académicas en el área que corroboran el problema. «Un par de personas en NYU y Stanford tienen algunos documentos que muestran estas cosas… incluso si lo emparejas con un humano, el humano escribe un código más vulnerable con la ayuda de la IA». La preocupación de Drew es que el problema se convierte en una serpiente que se muerde la cola: a medida que la IA genera código con pequeños problemas, ese código se usa luego como datos de entrenamiento para modelos más generativos, y esos pequeños problemas se vuelven profundamente sistémicos.
Ambos panelistas aconsejan precaución en nuestro futuro generado por IA, y ambos explicaron que la revisión humana en todos los niveles del proceso de desarrollo sigue siendo vital. Todavía no estamos cerca de poder producir código en piloto automático, aunque parece bastante probable que finalmente llegue el día. Hablando personalmente, no tendría ningún problema en confiar en la IA generativa para generar pequeñas cosas que podría hacer pero preferiría no hacer: scripts de shell simples, expresiones regulares y otras tareas pesadas que me llevarían mucho tiempo escribir. Se necesita mucho menos tiempo para examinar un par de líneas de código generado que para crear, para alguien que no es desarrollador como yo.
Y si mi expresión regular marca el comienzo de la singularidad que hace que la IA destruya a la humanidad, lo siento mucho.