Si bien aprender matemáticas de alto nivel no es tarea fácil, enseñar conceptos matemáticos a menudo puede ser igual de complicado. Esa puede ser la razón por la que muchos maestros recurren a ChatGPT en busca de ayuda. Según un artículo reciente de Forbes, el 51 % de los docentes encuestados afirmaron que habían usado ChatGPT para ayudar a enseñar, y el 10 % lo usaba a diario. ChatGPT puede ayudar a transmitir información técnica en términos más básicos, pero es posible que no siempre brinde la solución correcta, especialmente para matemáticas de nivel superior.
Un equipo internacional de investigadores probó lo que el software podía manejar al proporcionar al programa de IA generativa preguntas desafiantes de matemáticas a nivel de posgrado. Si bien ChatGPT falló en un número significativo de ellos, sus respuestas correctas sugirieron que podría ser útil para investigadores y profesores de matemáticas como un tipo de motor de búsqueda especializado.
Representando los músculos matemáticos de ChatGPT
Los medios tienden a retratar la inteligencia matemática de ChatGPT como brillante o incompetente. “Solo se han enfatizado los extremos”, explicó Frieder Simon, candidato a doctorado de la Universidad de Oxford y autor principal del estudio. Por ejemplo, ChatGPT superó la prueba de coeficiente intelectual de inteligencia verbal-lingüística de Psychology Today, con 147 puntos, pero falló miserablemente en el examen de CPA de Accounting Today. “Hay un medio [road] para algunos casos de uso; ChatGPT está funcionando bastante bien [for some students and educators]pero para otros, no tanto”, explicó Simon.
En el nivel de prueba de las clases de matemáticas de la escuela secundaria y de pregrado, ChatGPT se desempeña bien, clasificándose en el percentil 89 para la prueba de matemáticas SAT. Incluso recibió una B en el examen final de computación cuántica del experto en tecnología Scott Aaronson.
Pero es posible que se necesiten diferentes pruebas para revelar los límites de las capacidades de ChatGPT. “Algo en lo que se han centrado los medios es en la capacidad de ChatGPT para aprobar varias pruebas estandarizadas populares”, afirmó Leah Henrickson, profesora de medios digitales en la Universidad de Queensland. “Estas son pruebas para las que los estudiantes pasan literalmente años preparándose. A menudo se nos hace creer que estas pruebas evalúan nuestra inteligencia, pero la mayoría de las veces evalúan nuestra capacidad para recordar hechos. ChatGPT puede pasar estas pruebas porque puede recordar hechos que ha recogido en su entrenamiento”.
Simon y su equipo de investigación propusieron un conjunto único de preguntas de matemáticas de nivel superior para evaluar si ChatGPT también tenía habilidades para tomar exámenes y resolver problemas. “[Previous studies looked at] si la salida ha sido correcta o incorrecta”, agregó Simon. “Y queríamos ir más allá e implementar una metodología mucho más detallada en la que realmente podemos evaluar cómo falla ChatGPT, si falla y de qué manera falla”. Para crear un sistema de prueba más complejo, los investigadores compilaron indicaciones de varios campos en un conjunto de problemas más grande que llamaron GHOSTS.