OpenAI ha cerrado su clasificador de IA, una herramienta que pretendía determinar la probabilidad de que otra IA escribiera un pasaje de texto. Si bien muchos lo usaron y quizás confiaron imprudentemente en él para detectar trampas de bajo esfuerzo, OpenAI lo retiró debido a su «baja tasa de precisión» ampliamente criticada.
La teoría de que el texto generado por IA tiene alguna característica o patrón de identificación que se puede detectar de manera confiable parece intuitiva, pero hasta ahora no se ha confirmado en la práctica. Aunque algunos textos generados pueden tener una indicación obvia, las diferencias entre los modelos de lenguaje grandes y la rapidez con la que se han desarrollado han hecho que esas indicaciones sean casi imposibles de confiar.
La propia prueba de TechCrunch de un grupo de herramientas de detección de escritura de IA fue concluyente de que, en el mejor de los casos, son impredecibles y, en el peor, totalmente inútiles. De siete fragmentos de texto generados que se entregaron a una variedad de detectores, GPTZero identificó cinco correctamente y el clasificador de OpenAI solo uno. Y eso fue con un modelo de lenguaje que no era de vanguardia ni siquiera en ese momento.
Pero algunos tomaron las afirmaciones de detección al pie de la letra, o más bien muy por encima de eso, ya que OpenAI envió la herramienta clasificadora con una lista de limitaciones lo suficientemente significativas como para preguntarse por qué lo sacaron. A la gente le preocupaba que sus estudiantes, solicitantes de empleo o autónomos enviaran texto generado y lo pusieran en el clasificador para probarlo, y aunque no se debería haber confiado en los resultados, a veces lo eran.
Dado que los modelos de lenguaje solo han mejorado y proliferado, parece que alguien en la empresa decidió que era hora de desconectar esta voluble herramienta. “Estamos trabajando para incorporar comentarios y actualmente estamos investigando técnicas de procedencia más efectivas para el texto”, se lee en un anexo del 20 de julio a la publicación del anuncio del clasificador. (Decrypt parece haber sido el primero en notar el cambio).
Pregunté sobre el momento y el razonamiento detrás del cierre del clasificador, y lo actualizaré si recibo una respuesta. Pero es curioso que suceda en el momento en que OpenAI se unió a varias otras compañías en un «compromiso voluntario» liderado por la Casa Blanca para desarrollar IA de manera ética y transparente.
Entre los compromisos adquiridos por las empresas está el de desarrollar métodos robustos de detección y/o marca de agua. O intentando hacerlo, de todos modos: a pesar de que todas las empresas han hecho ruido en este sentido durante los últimos 6 meses más o menos, aún no hemos visto ninguna marca de agua o método de detección que no se eluda trivialmente.
Sin duda, el primero en lograr esta hazaña será ampliamente recompensado (cualquier herramienta de este tipo, si fuera realmente confiable, sería invaluable en innumerables circunstancias), por lo que probablemente sea superfluo incluirla en cualquier acuerdo de IA.