\n<\/p>\n
A medida que los modelos de aprendizaje de idiomas (LLM) contin\u00faan avanzando, tambi\u00e9n lo hacen las preguntas sobre c\u00f3mo pueden beneficiar a la sociedad en \u00e1reas como el campo m\u00e9dico. Un estudio reciente de la Facultad de Medicina Cl\u00ednica de la Universidad de Cambridge encontr\u00f3 que el GPT-4 de OpenAI funcion\u00f3 casi tan bien en una evaluaci\u00f3n oftalmol\u00f3gica como los expertos en el campo, el Tiempos financieros<\/em> reportado por primera vez.<\/p>\n En el estudio, publicado en M\u00e1s salud digital<\/em>, los investigadores probaron el LLM, su predecesor GPT-3.5, el PaLM 2 de Google y el LLaMA de Meta con 87 preguntas de opci\u00f3n m\u00faltiple. Cinco oftalm\u00f3logos expertos, tres oftalm\u00f3logos en formaci\u00f3n y dos m\u00e9dicos j\u00f3venes no especializados recibieron el mismo examen simulado. Las preguntas surgieron de un libro de texto para realizar pruebas a los alumnos sobre todo, desde la sensibilidad a la luz hasta las lesiones. Los contenidos no est\u00e1n disponibles p\u00fablicamente, por lo que los investigadores creen que los LLM no podr\u00edan haber sido capacitados en ellos previamente. ChatGPT, equipado con GPT-4 o GPT-3.5, tuvo tres oportunidades de responder definitivamente o su respuesta se marc\u00f3 como nula.<\/p>\n GPT-4 obtuvo una puntuaci\u00f3n m\u00e1s alta que los estudiantes y los m\u00e9dicos j\u00f3venes, respondiendo correctamente 60 de las 87 preguntas. Si bien esto fue significativamente m\u00e1s alto que el promedio de 37 respuestas correctas de los m\u00e9dicos j\u00f3venes, apenas super\u00f3 el promedio de 59,7 de los tres estudiantes. Mientras que un oftalm\u00f3logo experto solo respondi\u00f3 con precisi\u00f3n 56 preguntas, los cinco obtuvieron una puntuaci\u00f3n promedio de 66,4 respuestas correctas, superando a la m\u00e1quina. PaLM 2 obtuvo una puntuaci\u00f3n de 49 y GPT-3.5 obtuvo una puntuaci\u00f3n de 42. LLaMa obtuvo la puntuaci\u00f3n m\u00e1s baja con 28, quedando por debajo de los m\u00e9dicos j\u00f3venes. En particular, estos ensayos se produjeron a mediados de 2023.<\/p>\n Si bien estos resultados tienen beneficios potenciales, tambi\u00e9n existen bastantes riesgos y preocupaciones. Los investigadores notaron que el estudio ofrec\u00eda una cantidad limitada de preguntas, especialmente en ciertas categor\u00edas, lo que significa que los resultados reales podr\u00edan variar. Los LLM tambi\u00e9n tienen tendencia a \u00abalucinar\u00bb o inventar cosas. Eso es una cosa si es un hecho irrelevante, pero afirmar que hay cataratas o c\u00e1ncer es otra historia. Como ocurre en muchos casos de uso de LLM, los sistemas tambi\u00e9n carecen de matices, lo que crea m\u00e1s oportunidades de inexactitud.<\/p>\n<\/div>\n