En el verano de 2017, tres adolescentes de Wisconsin murieron en un accidente automovilístico a alta velocidad. En el momento de la colisión, los niños estaban registrando su velocidad con el filtro de velocidad de Snapchat: 123 millas por hora. Este no fue el primer incidente de este tipo: el mismo filtro se vinculó a varios otros accidentes entre 2015 y 2017.
Los padres de los adolescentes de Wisconsin demandaron a Snapchat, alegando que su producto, que otorgaba «trofeos, rachas y reconocimiento social» a los usuarios que superaban las 100 millas por hora, fue diseñado de manera negligente para alentar la conducción peligrosa a alta velocidad. Un tribunal inferior encontró inicialmente que la Sección 230 de la Ley de Decencia en las Comunicaciones eximía a Snapchat de responsabilidad, alegando que la aplicación no era responsable del contenido de terceros creado por personas que usaban su Filtro de velocidad. Pero en 2021, el Noveno Circuito revocó el fallo del tribunal inferior.
Las plataformas son en gran medida inmunes a ser consideradas responsables de este tipo de contenido debido a la Sección 230. Pero, en este caso importante:Lemmon contra Snap–el Noveno Circuito hizo una distinción crítica entre el diseño de productos dañinos propios de una plataforma y su alojamiento de contenido dañino de terceros. El argumento no era que Snapchat hubiera creado o alojado contenido dañino, sino que había diseñado negligentemente una función, el Filtro de velocidad, que incentivaba el comportamiento peligroso. El Noveno Circuito encontró correctamente que el tribunal inferior se equivocó al invocar la Sección 230 como defensa. Era el instrumento legal equivocado. En cambio, el tribunal centró su atención en el diseño negligente del filtro de velocidad de Snapchat, un agravio común de responsabilidad del producto.
Frustrantemente, en los años intermedios, y más recientemente en los argumentos orales de la Corte Suprema de EE. UU. del mes pasado a favor de González contra Google, los tribunales no han logrado comprender o distinguir entre el contenido dañino y las opciones de diseño perjudiciales. Los jueces que escuchan estos casos y los legisladores que trabajan para controlar los abusos en línea y la actividad dañina deben tener en cuenta esta distinción y centrarse en el diseño negligente de los productos de las plataformas en lugar de distraerse con las amplias afirmaciones de inmunidad de la Sección 230 sobre el contenido dañino.
En el corazon de González es la cuestión de si la Sección 230 protege a YouTube no solo cuando aloja contenido de terceros, sino también cuando hace recomendaciones específicas sobre lo que los usuarios deben mirar. El abogado de González argumentó que YouTube no debería recibir la inmunidad de la Sección 230 por recomendar videos, alegando que el acto de curar y recomendar el material de terceros que muestra es creación de contenido por derecho propio. El abogado de Google replicó que su algoritmo de recomendación es neutral y trata todo el contenido que recomienda a los usuarios de la misma manera. Pero estos argumentos no dan en el blanco. No hay necesidad de invocar la Sección 230 para evitar los daños que se están considerando en este caso. No es que la función de recomendación de YouTube haya creado contenido nuevo, sino que los algoritmos de recomendación «neutrales» están diseñados de manera negligente para no diferenciar, por ejemplo, videos de ISIS y videos de gatos. De hecho, las recomendaciones favorecen activamente el contenido dañino y peligroso.
Funciones de recomendación como Ver a continuación y Recomendado para ti de YouTube, que se encuentran en el centro de González–Contribuyen materialmente al daño porque dan prioridad al material escandaloso y sensacionalista, y alientan y recompensan monetariamente a los usuarios por crear dicho contenido. YouTube diseñó sus funciones de recomendación para aumentar la participación de los usuarios y los ingresos publicitarios. Los creadores de este sistema deberían haber sabido que alentaría y promovería comportamientos dañinos.
Aunque la mayoría de los tribunales han aceptado una interpretación radical de la Sección 230 que va más allá de simplemente inmunizar a las plataformas para que no sean responsables del contenido peligroso de terceros, algunos jueces han ido más allá y comenzaron a imponer un escrutinio más estricto sobre el diseño negligente al invocar la responsabilidad del producto. En 2014, por ejemplo, Omegle, un servicio de chat de video que empareja a usuarios aleatorios, emparejó a una niña de 11 años con un hombre de 30 años que la acosaría y abusaría sexualmente de ella durante años. En 2022, el juez que conoce de este caso, Soy contra Omegle, encontró que la Sección 230 protegía en gran medida el material real enviado por ambas partes. Pero la plataforma aún era responsable por su elección de diseño negligente para conectar a los depredadores sexuales con víctimas menores de edad. La semana pasada se presentó un caso similar contra Grindr. Un joven canadiense de 19 años está demandando a la aplicación porque lo conectó con hombres adultos que lo violaron durante un período de cuatro días cuando era menor de edad. Nuevamente, la demanda afirma que Grindr fue negligente en su proceso de verificación de edad y que buscó activamente que los usuarios menores de edad se unieran a la aplicación dirigiendo su publicidad en TikTok a menores. Estos casos, como Lemmon contra Snapafirman la importancia de centrarse en las características de diseño de productos nocivos en lugar del contenido nocivo.
Estos casos sientan un precedente prometedor sobre cómo hacer que las plataformas sean más seguras. Cuando los intentos de controlar los abusos en línea se centran en el contenido de terceros y la Sección 230, se ven envueltos en espinosos problemas de libertad de expresión que dificultan la realización de cambios significativos. Pero si los litigantes, los jueces y los reguladores eluden estos problemas de contenido y, en cambio, se centran en la responsabilidad del producto, estarán llegando a la raíz del problema. Responsabilizar a las plataformas por decisiones de diseño negligentes que fomentan y monetizan la creación y proliferación de contenido dañino es la clave para abordar muchos de los peligros que persisten en línea.
Opinión CABLEADA publica artículos de colaboradores externos que representan una amplia gama de puntos de vista. Leer más opiniones aquíy consulte nuestras pautas de envío aquí. Envíe un artículo de opinión en [email protected].