Med-PaLM 2 de Google, una herramienta de IA diseñada para responder preguntas sobre información médica, ha estado en pruebas en el hospital de investigación de Mayo Clinic, entre otros, desde abril, El periodico de Wall Street informó esta mañana. Med-PaLM 2 es una variante de PaLM 2, que fue Anunciado en Google I/O en mayo de este año. PaLM 2 es el modelo de lenguaje en el que se basa Bard de Google.
El documento también menciona investigación que Google hizo pública en mayo (pdf) que muestra que Med-PaLM 2 todavía sufre algunos de los problemas de precisión que ya estamos acostumbrados a ver en modelos de lenguaje grande. En el estudio, los médicos encontraron más inexactitudes e información irrelevante en las respuestas proporcionadas por Med-PaLM y Med-PalM 2 de Google que en las de otros médicos.
Aún así, en casi todas las demás métricas, como mostrar evidencia de razonamiento, respuestas respaldadas por consenso o no mostrar signos de comprensión incorrecta, Med-PaLM 2 se desempeñó más o menos tan bien como los médicos reales.
WSJ informa que los clientes que prueben Med-PaLM 2 controlarán sus datos, que estarán encriptados, y Google no tendrá acceso a ellos.
Según el director senior de investigación de Google, Greg Corrado, WSJ dice, Med-PaLM 2 todavía está en sus primeras etapas. Corrado dijo que si bien no le gustaría que fuera parte del «viaje de atención médica» de su propia familia, cree que Med-PaLM 2 «toma los lugares en la atención médica donde la IA puede ser beneficiosa y los expande 10 veces».
Nos comunicamos con Google y Mayo Clinic para obtener más información.