El bot de IA ChatGPT ha sido puesto a prueba en una serie de tareas en las últimas semanas, y su último desafío es cortesía del departamento de informática de la Universidad de Cornell, que descubrió que ChatGPT puede eliminar errores con código de muestra y solucionarlo mejor que los programas existentes. diseñado para hacer lo mismo.
Los investigadores dieron 40 piezas de código con errores a cuatro sistemas de corrección de código diferentes: ChatGPT, Codex, CoCoNut y Standard APR. Esencialmente, le preguntaron a ChatGPT: «¿Qué tiene de malo este código?» y luego copiarlo y pegarlo en la función de chat.
En la primera pasada, ChatGPT se desempeñó tan bien como los otros sistemas. ChatGPT resolvió 19 problemas, Codex resolvió 21, CoCoNut resolvió 19 y los métodos estándar de APR resolvieron siete. Los investigadores encontraron que sus respuestas eran más similares a Codex, lo que «no fue sorprendente, ya que ChatGPT y Codex son de la misma familia de modelos de lenguaje».
Sin embargo, la capacidad de chatear con ChatGPT después de recibir la respuesta inicial marcó la diferencia, lo que finalmente llevó a que ChatGPT resolviera 31 preguntas y superara fácilmente a las demás, lo que proporcionó respuestas más estáticas.
«Una poderosa ventaja de ChatGPT es que podemos interactuar con el sistema en un diálogo para especificar una solicitud con más detalle», dice el informe de los investigadores. «Vemos que, para la mayoría de nuestras solicitudes, ChatGPT solicita más información sobre el problema y el error. Al proporcionar tales sugerencias a ChatGPT, su tasa de éxito puede aumentar aún más, corrigiendo 31 de 40 errores, superando el estado de la -Arte.»
Descubrieron que ChatGPT pudo resolver algunos problemas rápidamente, mientras que otros tomaron más de un lado a otro. «ChatGPT parece tener una variación relativamente alta al corregir errores», dice el estudio. «Sin embargo, para un usuario final, esto significa que puede ser útil ejecutar solicitudes varias veces».
Por ejemplo, cuando los investigadores hicieron la pregunta que se muestra a continuación, esperaban que ChatGPT recomendara reemplazar n^=n-1 con n&=n-1, pero lo primero que dijo ChatGPT fue: «No puedo saber si el programa tiene un error sin más información sobre el comportamiento esperado». En la tercera respuesta de ChatGPT, después de más indicaciones de los investigadores, encontró el problema.
(Crédito: Universidad de Cornell)
Sin embargo, cuando PCMag ingresó la misma pregunta en ChatGPT, respondió de manera diferente. En lugar de necesitar decirle cuál es el comportamiento esperado, adivinó cuál era. ChatGPT siempre está aprendiendo en función de las entradas de los usuarios, y parece que aprendió lo que este código pretende hacer, tal vez de los investigadores de Cornell. El intercambio que tuvimos fue diferente al de los investigadores, y probablemente también será diferente la próxima vez.
Respuesta de ChatGPT. (Crédito: Emily Dreibelbis, ChatGPT)
El éxito del estudio tiene el potencial de redefinir la industria existente de $600 millones(Se abre en una nueva ventana) dedicado a ayudar a los ingenieros de software a encontrar y corregir errores. Plataformas populares como Sentry(Se abre en una nueva ventana) se han convertido en herramientas estándar dentro de los equipos de software, acelerando en gran medida su capacidad para crear código de trabajo emitiendo informes sobre problemas y sugiriendo soluciones.
Recomendado por Nuestros Editores
Así como Google emitió un «código rojo(Se abre en una nueva ventana)Con respecto a los impresionantes resultados de búsqueda de ChatGPT, los profesores están cerrando el acceso de los estudiantes para evitar las trampas. ChatGPT aprobó recientemente un examen de MBA emitido por un profesor de Wharton, aunque apenas.
Las empresas que crean software de corrección de errores, y los propios ingenieros de software, están tomando nota. Sin embargo, una barrera obvia para que las empresas tecnológicas adopten ChatGPT en una plataforma como Sentry en su forma actual es que se trata de una base de datos pública (el último lugar donde una empresa quiere que sus ingenieros envíen propiedad intelectual codiciada).
El próximo movimiento de ChatGPT es lanzar una versión paga, supuestamente por $42 por mes.
¡Obtenga nuestras mejores historias!
Matricularse en ¿Qué hay de nuevo ahora? para recibir nuestras mejores historias en su bandeja de entrada todas las mañanas.
Este boletín puede contener publicidad, ofertas o enlaces de afiliados. Suscribirse a un boletín informativo indica su consentimiento a nuestros Términos de uso y Política de privacidad. Puede darse de baja de los boletines en cualquier momento.