La Asociación Nacional de Trastornos Alimentarios (NEDA, por sus siglas en inglés) se vio obligada a eliminar su chatbot Tessa después de que «pudiera haber dado información que era dañina y no relacionada con el programa», de acuerdo con Simply put, el chatbot de IA estaba destinado a ayudar a las personas que lidian con problemas emocionales. angustia, sino que empeoró las cosas al ofrecer consejos sobre dietas e instar a los usuarios a pesarse y medirse.
Múltiples usuarios y expertos en el campo de los trastornos alimentarios han experimentado los problemas de primera mano, afirmando que el bot no respondía a mensajes simples como «Odio mi cuerpo» y que enfatizaba constantemente la importancia de la dieta y el aumento de la actividad física. Nuevamente, esta es una línea de ayuda para personas con un trastorno alimentario, no un grupo de apoyo para bajar de peso.
La organización dice que se trata de un cierre temporal hasta que solucione los «errores» y los «desencadenantes» que llevaron al chatbot a brindar información peligrosa, como una cita con el Dr. Oz. Uno pensaría que con un resultado tan extremo, estarían pensando en destrozar el proyecto por completo, pero hay más en la historia.
La razón principal por la que NEDA confiaba en el chatbot en primer lugar es porque supuestamente despidió a empleados humanos después de que intentaron sindicalizarse. La línea de ayuda telefónica de larga data fue atendida tanto por personal asalariado como por voluntarios, y el personal anterior afirma que el despido masivo fue una consecuencia directa del esfuerzo a favor del sindicato.
“NEDA afirma que este fue un cambio anticipado desde hace mucho tiempo y que la IA puede servir mejor a las personas con trastornos alimentarios. Pero no se deje engañar, esto no se trata realmente de un chatbot. Se trata de romper sindicatos, simple y llanamente”, ex asociado de la línea de ayuda en Notas Laborales.
Incluso con este problema reciente, la línea de ayuda seguirá desapareciendo mañana. Antes de que este problema llamara la atención del público, NEDA había estado haciendo la transición de voluntarios no remunerados de las conversaciones individuales con los pacientes a la capacitación del chatbot. Veremos si eso cambia. Mientras tanto, ¿tengo razón?