En un tribunal de Londres esta semana, el forense Andrew Walker tuvo la difícil tarea de evaluar una pregunta que los defensores de la seguridad infantil se han estado haciendo durante años: ¿Qué tan responsables son las redes sociales del contenido que los algoritmos envían a los menores? El caso ante Walker involucró a una niña de 14 años llamada Molly Russell, quien se quitó la vida en 2017 después de ver miles de publicaciones en plataformas como Instagram y Pinterest que promocionaban la autolesión. En un momento durante la investigación, Walker describió el contenido que le gustó o guardó a Russell en los días previos a su muerte como tan inquietante, dijo el forense en el tribunal, que le resultó «casi imposible de ver».
Hoy, Walker concluyó que la muerte de Russell no podía considerarse un suicidio, informa Bloomberg. En cambio, describió la causa de su muerte como «un acto de autolesión mientras sufría depresión y los efectos negativos del contenido en línea».
Bloomberg informó que Walker tomó esta decisión basándose en el uso «prolífico» de Russell de Instagram (dar me gusta, compartir o guardar 16 300 publicaciones en seis meses antes de su muerte) y Pinterest (5793 pines durante la misma cantidad de tiempo) combinados con la forma en que las plataformas atendió contenido para contribuir al estado depresivo de Russell.
«Las plataformas operaban de tal manera usando algoritmos que resultaban, en algunas circunstancias, en periodos de borrachera de imágenes, videoclips y texto», que «romantizaban los actos de autolesión» y «buscaban aislar y desalentar la discusión con quienes podría haber podido ayudar», dijo Walker.
Tras el fallo de Walker, la familia de Russell emitió una declaración proporcionada a Ars, calificándola como una decisión histórica y diciendo que el tribunal ni siquiera revisó el contenido más perturbador que encontró Molly.
“Esta última quincena ha sido particularmente dolorosa para nuestra familia”, se lee en el comunicado de la familia Russell. «Extrañamos a Molly con más agonía que de costumbre, pero esperamos que el escrutinio que ha recibido este caso ayude a prevenir muertes similares alentadas por el contenido inquietante que todavía está disponible en las plataformas de redes sociales, incluidas las dirigidas por Meta».
Bloomberg informa que el abogado de la familia, Oliver Sanders, solicitó que Walker «envíe instrucciones sobre cómo evitar que esto vuelva a suceder a Pinterest, Meta, el gobierno del Reino Unido y el regulador de comunicaciones». En su declaración, la familia presionó a los reguladores del Reino Unido para que aprueben y hagan cumplir rápidamente el Proyecto de ley de seguridad en línea del Reino Unido, que The New York Times informó que podría instituir «nuevas salvaguardas para los usuarios más jóvenes en todo el mundo».
Las defensas de Pinterest y Facebook tomaron diferentes tácticas
Durante la investigación, Pinterest y Meta adoptaron diferentes enfoques para defender sus políticas. Pinterest se disculpó y dijo que no tenía la tecnología que tiene actualmente para moderar de manera más efectiva el contenido al que estuvo expuesta Molly. Pero la jefa de salud y bienestar de Meta, Elizabeth Lagone, frustró a la familia al decirle al tribunal que el contenido que veía Molly se consideraba «seguro» según los estándares de Meta.
«Escuchamos a un alto ejecutivo de Meta describir este flujo mortal de contenido que los algoritmos de la plataforma enviaron a Molly como ‘SEGURIDAD’ y que no contraviene las políticas de la plataforma», escribió la familia Russell en su declaración. «Si este rastro demente de contenido chupavidas fuera seguro, mi hija Molly probablemente todavía estaría viva».
Un portavoz de Meta le dijo a Bloomberg que la compañía está «comprometida a garantizar que Instagram sea una experiencia positiva para todos, en particular para los adolescentes», prometiendo «considerar cuidadosamente el informe completo del forense cuando lo proporcione».
La familia de Molly se aseguró de elogiar a Pinterest por su transparencia durante la investigación, e instó a otras compañías de redes sociales a mirar a Pinterest como modelo cuando traten con cualquiera que desafíe las decisiones de política de contenido.
«Por primera vez hoy, las plataformas tecnológicas han sido consideradas formalmente responsables de la muerte de un niño», dijo el comunicado de los Russell. «En el futuro, como familia, esperamos que cualquier otra compañía de redes sociales llamada para ayudar en una investigación siga el ejemplo de Pinterest, que tomó medidas para aprender lecciones y se comprometió sincera y respetuosamente con el proceso de investigación».
Bloomberg informó que Pinterest ha dicho que «la historia de Molly ha reforzado nuestro compromiso de crear un espacio seguro y positivo para nuestros usuarios». En respuesta al fallo, Pinterest dijo que «continuó fortaleciendo» sus «políticas en torno al contenido de autolesiones».
Ni Pinterest ni Meta respondieron de inmediato a la solicitud de comentarios de Ars. [Update: Pinterest told Ars that its thoughts are with the Russell family, saying it has listened carefully to the court and the family throughout the inquest. According to Pinterest, it is «committed to making ongoing improvements to help ensure that the platform is safe for everyone» and internally «the Coroner’s report will be considered with care.» Since Molly’s death, Pinterest said it has taken steps to improve content moderation, including blocking more than 25,000 self-harm related search terms and, since 2019, has combined «human moderation with automated machine learning technologies to reduce policy-violating content on the platform.»]