A medida que los modelos de aprendizaje de idiomas (LLM) continúan avanzando, también lo hacen las preguntas sobre cómo pueden beneficiar a la sociedad en áreas como el campo médico. Un estudio reciente de la Facultad de Medicina Clínica de la Universidad de Cambridge encontró que el GPT-4 de OpenAI funcionó casi tan bien en una evaluación oftalmológica como los expertos en el campo, el Tiempos financieros reportado por primera vez.

En el estudio, publicado en Más salud digital, los investigadores probaron el LLM, su predecesor GPT-3.5, el PaLM 2 de Google y el LLaMA de Meta con 87 preguntas de opción múltiple. Cinco oftalmólogos expertos, tres oftalmólogos en formación y dos médicos jóvenes no especializados recibieron el mismo examen simulado. Las preguntas surgieron de un libro de texto para realizar pruebas a los alumnos sobre todo, desde la sensibilidad a la luz hasta las lesiones. Los contenidos no están disponibles públicamente, por lo que los investigadores creen que los LLM no podrían haber sido capacitados en ellos previamente. ChatGPT, equipado con GPT-4 o GPT-3.5, tuvo tres oportunidades de responder definitivamente o su respuesta se marcó como nula.

GPT-4 obtuvo una puntuación más alta que los estudiantes y los médicos jóvenes, respondiendo correctamente 60 de las 87 preguntas. Si bien esto fue significativamente más alto que el promedio de 37 respuestas correctas de los médicos jóvenes, apenas superó el promedio de 59,7 de los tres estudiantes. Mientras que un oftalmólogo experto solo respondió con precisión 56 preguntas, los cinco obtuvieron una puntuación promedio de 66,4 respuestas correctas, superando a la máquina. PaLM 2 obtuvo una puntuación de 49 y GPT-3.5 obtuvo una puntuación de 42. LLaMa obtuvo la puntuación más baja con 28, quedando por debajo de los médicos jóvenes. En particular, estos ensayos se produjeron a mediados de 2023.

Si bien estos resultados tienen beneficios potenciales, también existen bastantes riesgos y preocupaciones. Los investigadores notaron que el estudio ofrecía una cantidad limitada de preguntas, especialmente en ciertas categorías, lo que significa que los resultados reales podrían variar. Los LLM también tienen tendencia a «alucinar» o inventar cosas. Eso es una cosa si es un hecho irrelevante, pero afirmar que hay cataratas o cáncer es otra historia. Como ocurre en muchos casos de uso de LLM, los sistemas también carecen de matices, lo que crea más oportunidades de inexactitud.

Las diferencias, que se están reduciendo ligeramente en francés y en matemáticas, pero que siguen siendo importantes, entre los estudiantes más desfavorecidos y los formados fuera de la educación prioritaria. Esta es la observación que permitieron las evaluaciones de mitad de año de CP que tuvieron lugar del 15 al 26 de enero de 2024, y cuyos resultados fueron revelados por la evaluación, prospectiva y de desempeño (DEPP), del jueves 11 de abril.

En francés, a mediados del CP, el 84% de los niños ha dominado la habilidad “comprensión de oraciones habladas” y el 88,2% ha dominado la habilidad titulada “conocimiento de los nombres de las letras y del sonido que producen”. Tres cuartas partes de los estudiantes “ingresó la lectura correctamente” y tres de cada cuatro alumnos aciertan correctamente en el ejercicio de escritura de palabras, cuatro de cada cinco en la escritura de sílabas. Resultados sin cambios respecto a las evaluaciones de 2023.

Los resultados en matemáticas también se mantienen estables. Sobre la resolución de problemas, “Las dificultades observadas al inicio del POP, al igual que al inicio del CE1, se confirman para los alumnos del POP a mitad de camino”avanza la puntuación del DEPP ya que sólo seis de cada diez estudiantes tienen un dominio satisfactorio de esta habilidad.

En detalle, estos resultados son en realidad muy heterogéneos según el sector de escolaridad de los estudiantes. De hecho, si el 86,5% de los estudiantes fuera de la educación prioritaria dominan la habilidad de “comprender oraciones oralmente”, esta tasa es sólo del 69% para los niños educados en escuelas de educación prioritaria. En matemáticas, si el 60,9% de los alumnos fuera de educación prioritaria saben “resolver problemas”, sólo el 48% en los centros de educación prioritaria. Cifras estables respecto a 2023.

Diferencia de doce puntos en lectura

La diferencia es aún mayor entre los estudiantes formados en la red educativa prioritaria reforzada (REP+), considerada la más frágil académicamente, y los que están fuera de la educación prioritaria, ya que la brecha alcanza los 22 puntos en comprensión oral. Una brecha que se ha reducido en sólo 1,3 puntos respecto a 2023, debido al aumento del rendimiento de los estudiantes matriculados en REP+. Aún existe una brecha de 12 puntos entre ambas poblaciones escolares en cuanto a habilidades lectoras, sin que se note ningún cambio importante, detalla el DEPP.

Lea también (2023) | Artículo reservado para nuestros suscriptores. Educación prioritaria: un informe relanza el debate sobre la reforma del sistema

Añadir a tus selecciones

Asimismo, en matemáticas, las brechas siguen siendo significativas entre los estudiantes matriculados en educación pública no prioritaria y los de REP+: 12,6 puntos en ejercicios de resolución de problemas y 15,9 puntos en ejercicios de resta. En este último punto, observamos una reducción de las brechas de habilidades respecto a 2023 de 1,8 puntos.

Te queda el 21,39% de este artículo por leer. El resto está reservado para suscriptores.

El Ministro deEducación Gabriel Attal se mostró alarmado el lunes por los resultados «preocupantes» en francés y matemáticas de las evaluaciones nacionales realizadas en cuarto grado en septiembre, y prometió «medidas fuertes» en la escuela secundaria a principios de diciembre. «En cuarto grado, vemos que durante la secundaria el nivel se estanca, o incluso retrocede, lo que significa que la secundaria no logra reducir las brechas que se observan al ingresar al sexto grado. El riesgo, si no hacemos nada, es que nuestra la universidad se está derrumbando», explicó Gabriel Attal en una entrevista con parisino.

«Preocupante»

Según el ministro, los resultados de los alumnos de 4º grado «no son satisfactorios y son incluso bastante preocupantes. Un poco más de la mitad de los alumnos no lee adecuadamente y en matemáticas, más de la mitad no domina la resolución de problemas y la geometría». El ministerio hizo públicos el lunes por la tarde los resultados de las evaluaciones nacionales, realizadas en septiembre, que se centraron en las competencias en francés y matemáticas en CP, CE1, CM1, sexto y cuarto grado.

Por primera vez este año, los estudiantes de 4º grado se beneficiaron de una evaluación nacional común a todas las escuelas intermedias. «Los primeros análisis muestran resultados contrastantes según los sectores educativos. Así, se observan diferencias significativas entre los estudiantes matriculados en la educación prioritaria y los del sector público que excluye la educación prioritaria», escribe el ministerio en un comunicado de prensa. «Por ejemplo, en francés, el 14,2% de los estudiantes del sector público, excluida la educación prioritaria, se encuentran en el grupo de rendimiento más bajo. Este es el caso del 38,6% de los estudiantes REP+ y el 27,2% de los estudiantes REP” (red de educación prioritaria), cita el ministerio. .

Grupos de nivel en francés y matemáticas.

Según el ministro, «no hay una reducción real de las diferencias entre el 6º y el 4º grado en el nivel de los estudiantes. Se deben tomar medidas enérgicas para elevar el nivel en la escuela secundaria en francés y matemáticas». Para contrarrestar este descenso, el Ministro quiere «grupos de nivel de francés y de matemáticas. El tamaño del grupo se reducirá para los estudiantes con más dificultades», mencionó, al tiempo que prometió anunciar «medidas fuertes a principios de diciembre en la escuela secundaria, para entrada en vigor a partir del próximo curso escolar».

Poco después de su llegada al frente de este ministerio, Gabriel Attal quiso «poner el acento en los conocimientos fundamentales» anunciando dos horas diarias de lectura en el CP, «al menos un texto escrito» cada semana para los alumnos del CM2.