Él robot de chat de IA ChatGPT puede hacer muchas cosas. Puede responder a los tuits, escribir ciencia ficcionplanifique este reportero navidad familiary es incluso programado para actuar como abogado En la corte. Pero, ¿puede un robot proporcionar apoyo de salud mental seguro y eficaz? Una empresa llamada Koko decidió averiguar utilizando la IA para ayudar a crear soporte de salud mental para unos 4.000 de sus usuarios en octubre. Los usuarios de Twitter, no de Koko, estaban descontentos con los resultados y con el hecho de que el experimento se llevó a cabo..
“Francamente, esto va a ser el futuro. Pensaremos que estamos interactuando con humanos y no sabremos si hubo una IA involucrada. ¿Cómo afecta eso a la comunicación entre humanos? Tengo mis propios desafíos de salud mental, así que realmente quiero ver que esto se haga correctamente”. El cofundador de Koko, Rob Morris, le dijo a Gizmodo en una entrevista.
Morris dice que todo el alboroto fue un malentendido.
“No debería haber tratado de discutirlo en Twitter”, dijo.
Koko es un servicio de salud mental entre pares que permite a las personas pedir consejo y apoyo de otros usuarios. En un breve experimento, la empresa permitió que los usuarios generaran respuestas automáticas utilizando «Koko Bot», impulsado por GPT-3 de OpenAI, que luego podrían editarse, enviarse o rechazarse. Según Morris, los 30.000 mensajes asistidos por IA enviados durante la prueba recibieron una respuesta abrumadoramente positiva, pero la compañía canceló el experimento después de unos días porque «se sentía un poco estéril».
“Cuando estás interactuando con GPT-3, puedes comenzar a captar algunas señales. Todo está muy bien escrito, pero es una especie de fórmula, y puedes leerlo y reconocer que todo es puramente un bot y no hay matices humanos agregados”, dijo Morris a Gizmodo. “Hay algo acerca de la autenticidad que se pierde cuando tienes esta herramienta como herramienta de apoyo para ayudarte en tu escritura, particularmente en este tipo de contexto. En nuestra plataforma, los mensajes se sentían mejor de alguna manera cuando podía sentir que estaban escritos más por humanos”.
Morris publicó un hilo en Twitter sobre la prueba que implícito los usuarios no entendían que una IA estaba involucrada en su cuidado. Él tuiteó que “una vez que la gente supo que los mensajes fueron co-creados por una máquina, no funcionó”. El tuit causó revuelo en Twitter sobre la ética de Koko. investigar.
G/O Media puede recibir una comisión
$ 50 de descuento en pedidos anticipados
anillo de cámara de coche
Es una cámara. para tu coche
Las cámaras HD de doble cara de Ring Car Cam capturan la actividad dentro y alrededor de su automóvil con detalles HD.
“Los mensajes compuestos por IA (y supervisados por humanos) fueron calificados significativamente más altos que los escritos por humanos solos”, Morris tuiteó. “Los tiempos de respuesta se redujeron en un 50 %, a menos de un minuto”.
Morris dijo que estas palabras causaron un malentendido: las «personas» en este contexto eran él mismo y su equipo, no usuarios involuntarios. Los usuarios de Koko sabían que los mensajes fueron coescritos por un bot y no estaban chateando directamente con la IA, dijo.
“Se explicó durante el proceso de incorporación”, dijo Morris. Cuando la IA estuvo involucrada, las respuestas incluyeron un descargo de responsabilidad de que el mensaje fue «escrito en colaboración con Koko Bot», agregó..
Sin embargo, el experimento plantea cuestiones éticas, incluidas dudas sobre qué tan bien informó Koko a los usuarios y los riesgos de probar una tecnología no probada en un entorno de atención médica en vivo, incluso uno de igual a igual.
En contextos académicos o médicos, es ilegal realizar experimentos científicos o médicos en seres humanos. sin su consentimiento informado, lo que incluye proporcionar a los sujetos de prueba detalles exhaustivos sobre los posibles daños y beneficios de participar. La Administración de Alimentos y Medicamentos requiere que los médicos y científicos realicen estudios a través de una Junta de Revisión Institucional (IRB) destinada a garantizar la seguridad antes de que comiencen las pruebas.
Pero la explosión de los servicios de salud mental en línea proporcionados por empresas privadas ha creado una zona gris legal y ética. En una empresa privada que brinda apoyo de salud mental fuera de un entorno médico formal, básicamente puede hacer lo que quiera con sus clientes. El experimento de Koko no necesitaba ni recibió la aprobación del IRB.
“Desde una perspectiva ética, cada vez que usa tecnología fuera de lo que podría considerarse un estándar de atención, debe ser extremadamente cauteloso y revelar demasiado lo que está haciendo”, dijo John Torous, MD, director de la división. de psiquiatría digital en el Centro Médico Beth Israel Deaconess en Boston. “Las personas que buscan apoyo de salud mental se encuentran en un estado vulnerable, especialmente cuando buscan servicios de emergencia o de pares. Es la población a la que no queremos escatimar en proteger”.
Torous dijo que el apoyo de salud mental entre pares puede ser muy efectivo cuando las personas reciben la capacitación adecuada. Los sistemas como Koko adoptan un enfoque novedoso para la atención de la salud mental que podría tener beneficios reales, pero los usuarios no reciben esa capacitación y estos servicios esencialmente no se han probado, dijo Torous. OUna vez que la IA se involucra, los problemas se amplifican aún más.
“Cuando hablas con ChatGPT, te dice ‘por favor, no uses esto como consejo médico’. No se ha probado para usos en el cuidado de la salud y claramente podría proporcionar un consejo inapropiado o ineficaz”, dijo Torous.
Las normas y reglamentos que rodean la investigación académica no solo garantizan la seguridad. También establecen estándares para el intercambio de datos y la comunicación, lo que permite que los experimentos se complementen entre sí, creando un cuerpo de conocimiento en constante crecimiento. Torous dijo que en la industria de la salud mental digital, estos estándares a menudo se ignoran. Los experimentos fallidos tienden a no publicarse, y las empresas pueden ser cautelosas con respecto a su investigación. Es una pena, dijo Torous, porque muchas de las intervenciones que las empresas de aplicaciones de salud mental están ejecutando podrían ser útiles.
Morris reconoció que operar fuera del proceso formal de revisión experimental del IRB implica una compensación. “Si este tipo de trabajo, fuera de la academia, debe pasar por los procesos de IRB es una pregunta importante y no debería haber tratado de discutirlo en Twitter”, dijo Morris. “Esta debería ser una discusión más amplia dentro de la industria y de la que queremos ser parte”.
La controversia es irónica, dijo Morris, porque él dijo que él En primer lugar, recurrió a Twitter porque quería ser lo más transparente posible. “Realmente estábamos tratando de ser lo más comunicativos con la tecnología y divulgar con el interés de ayudar a las personas a pensar más cuidadosamente al respecto”, dijo. dicho.