De hecho, lo que hemos descrito aquí es en realidad el mejor de los casos, en el que es posible hacer cumplir la equidad haciendo cambios simples que afectan el desempeño de cada grupo. En la práctica, los algoritmos de equidad pueden comportarse de manera mucho más radical e impredecible. Esta encuesta encontró que, en promedio, la mayoría de los algoritmos en visión por computadora mejoraron la equidad al dañar a todos los grupos, por ejemplo, al disminuir la memoria y la precisión. A diferencia de nuestra hipótesis, en la que hemos disminuido el daño sufrido por un grupo, es posible que nivelar hacia abajo pueda hacer que todos empeoren directamente.
Carreras de nivelación en contra de los objetivos de equidad algorítmica y objetivos más amplios de igualdad en la sociedad: mejorar los resultados de los grupos históricamente desfavorecidos o marginados. Reducir el rendimiento de los grupos de alto rendimiento evidentemente no beneficia a los grupos de peor rendimiento. Además, nivelar hacia abajo puede dañar directamente a los grupos históricamente desfavorecidos. La elección de eliminar un beneficio en lugar de compartirlo con otros muestra una falta de preocupación, solidaridad y voluntad de aprovechar la oportunidad para solucionar el problema. Estigmatiza a los grupos históricamente desfavorecidos y solidifica la separación y la desigualdad social que condujo a un problema en primer lugar.
Cuando construimos sistemas de IA para tomar decisiones sobre la vida de las personas, nuestras decisiones de diseño codifican juicios de valor implícitos sobre lo que se debe priorizar. Nivelar hacia abajo es una consecuencia de la elección de medir y corregir la equidad únicamente en términos de disparidad entre grupos, mientras se ignora la utilidad, el bienestar, la prioridad y otros bienes que son fundamentales para las cuestiones de igualdad en el mundo real. No es el destino inevitable de la justicia algorítmica; más bien, es el resultado de tomar el camino de menor resistencia matemática, y no por razones sociales, legales o éticas generales.
Para avanzar tenemos tres opciones:
• Podemos continuar implementando sistemas sesgados que ostensiblemente benefician solo a un segmento privilegiado de la población mientras dañan severamente a otros.
• Podemos seguir definiendo la equidad en términos matemáticos formalistas y desplegar IA que sea menos precisa para todos los grupos y dañina para algunos grupos.
• Podemos tomar medidas y lograr la equidad a través de «subir de nivel».
Creemos que subir de nivel es el único camino a seguir moral, ética y legalmente aceptable. El desafío para el futuro de la equidad en la IA es crear sistemas que sean sustancialmente justos, no solo procesalmente justos a través de la nivelación. Subir de nivel es un desafío más complejo: debe combinarse con pasos activos para erradicar las causas reales de los sesgos en los sistemas de IA. Las soluciones técnicas a menudo son solo una curita para lidiar con un sistema roto. Mejorar el acceso a la atención médica, seleccionar conjuntos de datos más diversos y desarrollar herramientas que aborden específicamente los problemas que enfrentan las comunidades históricamente desfavorecidas puede ayudar a que la equidad sustantiva sea una realidad.
Este es un desafío mucho más complejo que simplemente ajustar un sistema para hacer que dos números sean iguales entre grupos. Puede requerir no solo una innovación tecnológica y metodológica significativa, incluido el rediseño de los sistemas de IA desde cero, sino también cambios sociales sustanciales en áreas como el acceso y los gastos de atención médica.
Por difícil que sea, este reenfoque en la “IA justa” es esencial. Los sistemas de IA toman decisiones que cambian la vida. Las elecciones sobre cómo deberían ser justos y para quién son demasiado importantes para tratar la justicia como un simple problema matemático que hay que resolver. Este es el statu quo que ha resultado en métodos justos que logran la igualdad a través de la nivelación hacia abajo. Hasta ahora, hemos creado métodos que son matemáticamente justos, pero que no pueden y no benefician demostrablemente a los grupos desfavorecidos.
Esto no es suficiente. Las herramientas existentes se tratan como una solución a la equidad algorítmica, pero hasta ahora no cumplen su promesa. Sus efectos moralmente turbios hacen que sea menos probable que se utilicen y pueden estar retrasando las soluciones reales a estos problemas. Lo que necesitamos son sistemas que sean justos al subir de nivel, que ayuden a los grupos con peor desempeño sin dañar arbitrariamente a otros. Este es el desafío que ahora debemos resolver. Necesitamos una IA que sea sustantivamente, no solo matemáticamente, justa.