\n<\/p>\n
\n
\t\t\t\t\tEsto no es un consejo de inversi\u00f3n. El autor no tiene cargo en ninguna de las acciones mencionadas. Wccftech.com tiene una pol\u00edtica de divulgaci\u00f3n y \u00e9tica.\n\t\t\t\t<\/p>\n
ChatGPT de OpenAI es una herramienta maravillosa, aunque con fallas en varios aspectos. Aprovechar las capacidades del modelo de lenguaje grande (LLM) mientras se mantienen sus limitaciones en la visi\u00f3n perif\u00e9rica es el enfoque correcto por ahora.<\/p>\n
Recientemente, un art\u00edculo hizo olas al afirmar que ChatGPT-4 puede obtener una puntuaci\u00f3n del 100 por ciento en el plan de estudios EECS del MIT. Lo que sigui\u00f3, sin embargo, es una historia s\u00f3rdida de fuentes de datos poco \u00e9ticas e indicaciones repetidas para obtener el resultado deseado. Profundicemos m\u00e1s.<\/p>\n
\n\ud83c\udf93 Explorando el plan de estudios de Matem\u00e1ticas y EECS del MIT utilizando modelos de lenguaje grandes. \ud83e\udde0\ud83d\ude80 #AI<\/a> #Educaci\u00f3n<\/a> #MIT<\/a> Leer m\u00e1s: https:\/\/t.co\/0DxLZj2YhE pic.twitter.com\/2YXLrn1RwM<\/a><\/p>\n
\u2014 Iddo Drori (@iddo) 16 de junio de 2023<\/a><\/p>\n<\/blockquote>\n
Hace unos d\u00edas, el profesor Iddo Drori public\u00f3 un art\u00edculo titulado \u00abExploring the MIT Mathematics and EECS Curriculum Using Large Language Models\u00bb. El documento analiz\u00f3 un \u00abconjunto de datos completo de 4.550 preguntas y soluciones de conjuntos de problemas, ex\u00e1menes parciales y ex\u00e1menes finales en todos los cursos de Matem\u00e1ticas e Ingenier\u00eda El\u00e9ctrica e Inform\u00e1tica (EECS) del MIT necesarios para obtener un t\u00edtulo\u00bb. En un resultado sorprendente, el documento concluye:<\/p>\n
\n\u201cNuestros resultados demuestran que GPT-3.5 resuelve con \u00e9xito un tercio de todo el plan de estudios del MIT, mientras que GPT-4, con una ingenier\u00eda r\u00e1pida, logra una tasa de resoluci\u00f3n perfecta en un conjunto de prueba que excluye las preguntas basadas en im\u00e1genes\u201d.<\/p>\n<\/blockquote>\n
Dadas estas sorprendentes afirmaciones, el documento se volvi\u00f3 viral en las redes sociales y obtuvo m\u00e1s de 500 retweets en un solo d\u00eda.<\/p>\n
\nUn trabajo reciente de @Lo har\u00eda<\/a> afirm\u00f3 que GPT4 puede obtener una puntuaci\u00f3n del 100 % en el plan de estudios EECS del MIT con las indicaciones adecuadas.<\/p>\n
Mis amigos y yo est\u00e1bamos emocionados de leer el an\u00e1lisis detr\u00e1s de tal haza\u00f1a, pero despu\u00e9s de investigar m\u00e1s a fondo, lo que encontramos nos dej\u00f3 sorprendidos y decepcionados.https:\/\/t.co\/mpDqlenk04<\/p>\n
\ud83e\uddf5 https:\/\/t.co\/EVTToZUzL8<\/p>\n
\u2014 Raunak Chowdhuri (@sauhaarda) 17 de junio de 2023<\/a><\/p>\n<\/blockquote>\n
Luego, las afirmaciones del peri\u00f3dico fueron examinadas por Raunak Chowdhuri y sus colegas. Contrariamente a las afirmaciones del documento, Chowdhuri encontr\u00f3 problemas evidentes en la metodolog\u00eda utilizada:<\/p>\n
\n
- El conjunto de datos conten\u00eda 10 preguntas irresolubles. Esto significaba que ChatGPT-4 recib\u00eda soluciones dentro de las indicaciones o que las preguntas no se calificaban correctamente. Tras un examen m\u00e1s profundo, Chowdhuri descubri\u00f3 que, de hecho, ChatGPT estaba filtrando soluciones dentro de las indicaciones a trav\u00e9s de lo que se conoce como \u00abpocos ejemplos de tomas\u00bb, que son problemas y sus soluciones que se proporcionan a un modelo como contexto adicional.<\/li>\n
- Los errores tipogr\u00e1ficos y los errores en el c\u00f3digo fuente contaminan las indicaciones y conducen a un resultado diferente al descrito en el documento mismo.<\/li>\n
- Debido a los par\u00e1metros intercambiados, particularmente cuando se trata de la funci\u00f3n de disparo cero, el modelo devuelve respuestas confusas que posiblemente no se puedan calificar.<\/li>\n
- El documento afirma que las respuestas de ChatGPT se verificaron dos veces manualmente. Sin embargo, Chowdhuri descubri\u00f3 que el programa estaba usando \u00abrespuestas correctas grabadas para guiar sus acciones\u00bb, es decir, cu\u00e1ndo cambiar entre el aprendizaje de intentos cero y el aprendizaje de pocos intentos.<\/li>\n<\/ul>\n
\nACTUALIZACI\u00d3N FINAL: El 24 de junio, Armando Solar-Lezama (Profesor en EECS y COO\/Director Asociado de CSAIL, MIT), Tonio Buonassisi (Profesor de Ingenier\u00eda Mec\u00e1nica, MIT) y Yoon Kim (Profesor Asistente en EECS y CSAIL, MIT) emiti\u00f3 una declaraci\u00f3n p\u00fablica sobre el documento. https:\/\/t.co\/ITVrK80Hvk pic.twitter.com\/BMmlO6GUa6<\/a><\/p>\n