No, ChatGPT-4 no puede obtener un título del MIT

John0


Esto no es un consejo de inversión. El autor no tiene cargo en ninguna de las acciones mencionadas. Wccftech.com tiene una política de divulgación y ética.

ChatGPT de OpenAI es una herramienta maravillosa, aunque con fallas en varios aspectos. Aprovechar las capacidades del modelo de lenguaje grande (LLM) mientras se mantienen sus limitaciones en la visión periférica es el enfoque correcto por ahora.

Recientemente, un artículo hizo olas al afirmar que ChatGPT-4 puede obtener una puntuación del 100 por ciento en el plan de estudios EECS del MIT. Lo que siguió, sin embargo, es una historia sórdida de fuentes de datos poco éticas e indicaciones repetidas para obtener el resultado deseado. Profundicemos más.

Hace unos días, el profesor Iddo Drori publicó un artículo titulado «Exploring the MIT Mathematics and EECS Curriculum Using Large Language Models». El documento analizó un «conjunto de datos completo de 4.550 preguntas y soluciones de conjuntos de problemas, exámenes parciales y exámenes finales en todos los cursos de Matemáticas e Ingeniería Eléctrica e Informática (EECS) del MIT necesarios para obtener un título». En un resultado sorprendente, el documento concluye:

“Nuestros resultados demuestran que GPT-3.5 resuelve con éxito un tercio de todo el plan de estudios del MIT, mientras que GPT-4, con una ingeniería rápida, logra una tasa de resolución perfecta en un conjunto de prueba que excluye las preguntas basadas en imágenes”.

Dadas estas sorprendentes afirmaciones, el documento se volvió viral en las redes sociales y obtuvo más de 500 retweets en un solo día.

Luego, las afirmaciones del periódico fueron examinadas por Raunak Chowdhuri y sus colegas. Contrariamente a las afirmaciones del documento, Chowdhuri encontró problemas evidentes en la metodología utilizada:

  • El conjunto de datos contenía 10 preguntas irresolubles. Esto significaba que ChatGPT-4 recibía soluciones dentro de las indicaciones o que las preguntas no se calificaban correctamente. Tras un examen más profundo, Chowdhuri descubrió que, de hecho, ChatGPT estaba filtrando soluciones dentro de las indicaciones a través de lo que se conoce como «pocos ejemplos de tomas», que son problemas y sus soluciones que se proporcionan a un modelo como contexto adicional.
  • Los errores tipográficos y los errores en el código fuente contaminan las indicaciones y conducen a un resultado diferente al descrito en el documento mismo.
  • Debido a los parámetros intercambiados, particularmente cuando se trata de la función de disparo cero, el modelo devuelve respuestas confusas que posiblemente no se puedan calificar.
  • El documento afirma que las respuestas de ChatGPT se verificaron dos veces manualmente. Sin embargo, Chowdhuri descubrió que el programa estaba usando «respuestas correctas grabadas para guiar sus acciones», es decir, cuándo cambiar entre el aprendizaje de intentos cero y el aprendizaje de pocos intentos.

Además, varios profesores del MIT emitieron una declaración en la que revelaron que el documento obtuvo el conjunto de datos del MIT sin autorización:

“El 15 de junio, Iddo Drori publicó en arXiv un documento de trabajo asociado con un conjunto de datos de exámenes y tareas de docenas de cursos del MIT. Lo hizo sin el consentimiento de muchos de sus coautores y a pesar de haber sido informado de problemas que deberían corregirse antes de la publicación”.

La declaración concluye con la siguiente línea:

“Y no, GPT-4 no puede obtener un título del MIT”.

¿Crees que el potencial de ChatGPT está siendo dañado por documentos poco éticos? Háganos saber sus pensamientos en la sección de comentarios a continuación.

Comparte esta historia

Facebook

Gorjeo





Source link-29