La semana pasada, CABLEADO publicó una serie de historias detalladas basadas en datos sobre un algoritmo problemático que la ciudad holandesa de Róterdam implementó con el objetivo de erradicar el fraude de beneficios.
En asociación con Lighthouse Reports, una organización europea que se especializa en periodismo de investigación, WIRED obtuvo acceso al funcionamiento interno del algoritmo bajo las leyes de libertad de información y exploró cómo evalúa quién tiene más probabilidades de cometer fraude.
Descubrimos que el algoritmo discrimina en función de la etnia y el género, otorgando injustamente a las mujeres y las minorías puntajes de riesgo más altos, lo que puede conducir a investigaciones que causan un daño significativo a la vida personal de los reclamantes. Un artículo interactivo profundiza en las entrañas del algoritmo y lo lleva a través de dos ejemplos hipotéticos para mostrar que, si bien la raza y el género no se encuentran entre los factores que se introducen en el algoritmo, otros datos, como el dominio del idioma holandés de una persona, pueden actuar como un proxy. que permite la discriminación.
El proyecto muestra cómo los algoritmos diseñados para hacer que los gobiernos sean más eficientes, y que a menudo se anuncian como más justos y más basados en datos, pueden amplificar de forma encubierta los sesgos sociales. La investigación de WIRED y Lighthouse también encontró que otros países están probando enfoques igualmente defectuosos para encontrar a los estafadores.
“Los gobiernos han estado incorporando algoritmos en sus sistemas durante años, ya sea una hoja de cálculo o algún sofisticado aprendizaje automático”, dice Dhruv Mehrotra, reportero de datos de investigación de WIRED que trabajó en el proyecto. “Pero cuando un algoritmo como este se aplica a cualquier tipo de aplicación de la ley punitiva y predictiva, se vuelve de alto impacto y bastante aterrador”.
El impacto de una investigación impulsada por el algoritmo de Rotterdam podría ser desgarrador, como se vio en el caso de una madre de tres hijos que se enfrentó a un interrogatorio.
Pero Mehrotra dice que el proyecto solo pudo resaltar tales injusticias porque WIRED y Lighthouse tuvieron la oportunidad de inspeccionar cómo funciona el algoritmo: muchos otros sistemas operan con impunidad al amparo de la oscuridad burocrática. Él dice que también es importante reconocer que los algoritmos como el que se usó en Rotterdam a menudo se construyen sobre sistemas intrínsecamente injustos.
“A menudo, los algoritmos solo están optimizando una tecnología que ya es punitiva para el bienestar, el fraude o la vigilancia”, dice. “No quieres decir que si el algoritmo fuera justo estaría bien”.
También es fundamental reconocer que los algoritmos se están generalizando cada vez más en todos los niveles de gobierno y, sin embargo, su funcionamiento a menudo está completamente oculto para los más afectados.
Otra investigación que llevó a cabo Mehrota en 2021, antes de unirse a WIRED, muestra cómo el software de predicción de delitos utilizado por algunos departamentos de policía apuntó injustamente a las comunidades negras y latinas. En 2016, ProPublica reveló sorprendentes sesgos en los algoritmos utilizados por algunos tribunales de EE. UU. para predecir qué acusados penales corren mayor riesgo de reincidir. Otros algoritmos problemáticos determinan a qué escuelas asisten los niños, recomiendan a quién deben contratar las empresas y deciden qué solicitudes de hipoteca de las familias se aprueban.
Muchas empresas también usan algoritmos para tomar decisiones importantes, por supuesto, y estas a menudo son incluso menos transparentes que las del gobierno. Hay un movimiento creciente para responsabilizar a las empresas por la toma de decisiones algorítmicas y un impulso por una legislación que requiere una mayor visibilidad. Pero el problema es complejo, y hacer que los algoritmos sean más justos a veces puede empeorar las cosas.