{"id":1096191,"date":"2024-04-18T22:41:32","date_gmt":"2024-04-18T22:41:32","guid":{"rendered":"https:\/\/magazineoffice.com\/hugging-face-lanza-un-punto-de-referencia-para-probar-la-ia-generativa-en-tareas-de-salud\/"},"modified":"2024-04-18T22:41:35","modified_gmt":"2024-04-18T22:41:35","slug":"hugging-face-lanza-un-punto-de-referencia-para-probar-la-ia-generativa-en-tareas-de-salud","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/hugging-face-lanza-un-punto-de-referencia-para-probar-la-ia-generativa-en-tareas-de-salud\/","title":{"rendered":"Hugging Face lanza un punto de referencia para probar la IA generativa en tareas de salud"},"content":{"rendered":"


\n<\/p>\n

\n
<\/div>\n<\/p><\/div>\n
\n

Los modelos de IA generativa se est\u00e1n incorporando cada vez m\u00e1s a los entornos sanitarios, en algunos casos quiz\u00e1s de forma prematura. Los primeros usuarios creen que desbloquear\u00e1n una mayor eficiencia y al mismo tiempo revelar\u00e1n conocimientos que de otro modo se pasar\u00edan por alto. Mientras tanto, los cr\u00edticos se\u00f1alan que estos modelos tienen fallas y sesgos que podr\u00edan contribuir a peores resultados de salud.<\/p>\n

Pero, \u00bfexiste una forma cuantitativa de saber qu\u00e9 tan \u00fatil o da\u00f1ino podr\u00eda ser un modelo cuando se le asignan tareas como resumir registros de pacientes o responder preguntas relacionadas con la salud?<\/span><\/p>\n

Hugging Face, la startup de IA, propone una soluci\u00f3n en una prueba comparativa recientemente lanzada llamada Open Medical-LLM. Creado en asociaci\u00f3n con investigadores de la organizaci\u00f3n sin fines de lucro Open Life Science AI y el Grupo de Procesamiento del Lenguaje Natural de la Universidad de Edimburgo, Open Medical-LLM tiene como objetivo estandarizar la evaluaci\u00f3n del desempe\u00f1o de los modelos generativos de IA en una variedad de tareas relacionadas con la medicina.<\/span><\/p>\n

\n
\n

Nuevo: \u00a1Tabla de clasificaci\u00f3n abierta de LLM m\u00e9dico! \ud83e\ude7a<\/p>\n

En los chatbots b\u00e1sicos, los errores son molestias.
En los LLM m\u00e9dicos, los errores pueden tener consecuencias potencialmente mortales \ud83e\ude78<\/p>\n

Por lo tanto, es vital comparar\/seguir los avances en los LLM m\u00e9dicos antes de pensar en la implementaci\u00f3n.<\/p>\n

Blog: https:\/\/t.co\/pddLtkmhsz<\/p>\n

– Clementina Fourrier \ud83c\udf4a (@clefourrier) 18 de abril de 2024<\/a><\/p>\n<\/blockquote>\n<\/div>\n

Open Medical-LLM no es un desde cero<\/em> punto de referencia, per se, sino m\u00e1s bien una uni\u00f3n de conjuntos de pruebas existentes (MedQA, PubMedQA, MedMCQA, etc.) dise\u00f1ados para probar modelos para el conocimiento m\u00e9dico general y campos relacionados, como anatom\u00eda, farmacolog\u00eda, gen\u00e9tica y pr\u00e1ctica cl\u00ednica. El punto de referencia contiene preguntas abiertas y de opci\u00f3n m\u00faltiple que requieren razonamiento y comprensi\u00f3n m\u00e9dicos, bas\u00e1ndose en material que incluye ex\u00e1menes de licencia m\u00e9dica de EE. UU. e India y bancos de preguntas de ex\u00e1menes universitarios de biolog\u00eda.<\/p>\n

\u201c[Open Medical-LLM] permite a investigadores y profesionales identificar las fortalezas y debilidades de diferentes enfoques, impulsar mayores avances en el campo y, en \u00faltima instancia, contribuir a una mejor atenci\u00f3n y resultados al paciente\u201d, escribi\u00f3 Hugging Face en una publicaci\u00f3n de blog.<\/p>\n

\"atenci\u00f3n<\/p>\n

Cr\u00e9ditos de imagen:<\/strong> abrazando la cara<\/p>\n<\/div>\n

Hugging Face est\u00e1 posicionando el punto de referencia como una \u201cevaluaci\u00f3n s\u00f3lida\u201d de los modelos de IA generativa destinados a la atenci\u00f3n m\u00e9dica. Pero algunos expertos m\u00e9dicos en las redes sociales advirtieron que no se debe dar demasiada importancia a Open Medical-LLM, para que no se produzcan despliegues mal informados.<\/p>\n

En X, Liam McCoy, m\u00e9dico residente en neurolog\u00eda de la Universidad de Alberta, se\u00f1al\u00f3 que la brecha entre el \u201centorno artificial\u201d de las respuestas a preguntas m\u00e9dicas y actual<\/em> la pr\u00e1ctica cl\u00ednica puede ser bastante amplia.<\/p>\n

\n
\n

Es un gran progreso ver estas comparaciones cara a cara, pero es importante que recordemos tambi\u00e9n cu\u00e1n grande es la brecha entre el entorno artificial de respuesta a preguntas m\u00e9dicas y la pr\u00e1ctica cl\u00ednica real. Sin mencionar los riesgos idiosincr\u00e1sicos que estas m\u00e9tricas no pueden capturar.<\/p>\n

– Liam McCoy, MD MSc (@LiamGMcCoy) 18 de abril de 2024<\/a><\/p>\n<\/blockquote>\n<\/div>\n

La cient\u00edfica investigadora de Hugging Face, Cl\u00e9mentine Fourrier, coautora de la publicaci\u00f3n del blog, estuvo de acuerdo.<\/p>\n

\u201cEstas tablas de clasificaci\u00f3n s\u00f3lo deben usarse como una primera aproximaci\u00f3n de qu\u00e9 [generative AI model] explorar para un caso de uso determinado, pero siempre se necesita una fase m\u00e1s profunda de prueba para examinar los l\u00edmites y la relevancia del modelo en condiciones reales\u201d. Fourier respondi\u00f3<\/a> en X. \u201cM\u00e9dico [models] Los pacientes no deben usarlos por s\u00ed solos, sino que deben capacitarse para que se conviertan en herramientas de apoyo para los m\u00e9dicos\u201d.<\/p>\n

Esto recuerda la experiencia de Google cuando intent\u00f3 llevar una herramienta de detecci\u00f3n de retinopat\u00eda diab\u00e9tica con inteligencia artificial a los sistemas de salud en Tailandia.<\/p>\n

Google cre\u00f3 un sistema de aprendizaje profundo que escanea im\u00e1genes del ojo en busca de evidencia de retinopat\u00eda, una de las principales causas de p\u00e9rdida de visi\u00f3n. Pero a pesar de la alta precisi\u00f3n te\u00f3rica, la herramienta result\u00f3 poco pr\u00e1ctica en pruebas del mundo real, frustrando tanto a los pacientes como a las enfermeras con resultados inconsistentes y una falta general de armon\u00eda con las pr\u00e1cticas sobre el terreno.<\/p>\n

Es revelador que de los 139 dispositivos m\u00e9dicos relacionados con la IA que la Administraci\u00f3n de Alimentos y Medicamentos de EE. UU. ha aprobado hasta la fecha, ninguno utiliza IA generativa. Es excepcionalmente dif\u00edcil probar c\u00f3mo se trasladar\u00e1 el rendimiento de una herramienta de IA generativa en el laboratorio a hospitales y cl\u00ednicas ambulatorias y, quiz\u00e1s lo m\u00e1s importante, c\u00f3mo los resultados podr\u00edan evolucionar con el tiempo.<\/p>\n

Eso no quiere decir que Open Medical-LLM no sea \u00fatil o informativo. La tabla de clasificaci\u00f3n de resultados, al menos, sirve como recordatorio de cu\u00e1n mal<\/em> Los modelos responden a preguntas b\u00e1sicas sobre salud. Pero Open Medical-LLM, y ning\u00fan otro punto de referencia, es un sustituto de las pruebas del mundo real cuidadosamente pensadas.<\/p>\n<\/p><\/div>\n