Después de meses de demoras, la ciudad de Nueva York comenzó hoy a hacer cumplir una ley que requiere que los empleadores que usan algoritmos para reclutar, contratar o ascender empleados presenten esos algoritmos para una auditoría independiente y hagan públicos los resultados. La primera de su tipo en el país, la legislación, la Ley Local 144 de la Ciudad de Nueva York, también exige que las empresas que utilizan este tipo de algoritmos informen a los empleados o candidatos laborales.
Como mínimo, los informes que las empresas deben hacer públicos deben enumerar los algoritmos que están utilizando, así como un «puntaje promedio» que es probable que los candidatos de diferentes razas, etnias y géneros reciban de dichos algoritmos, en forma de puntaje. , clasificación o recomendación. También debe enumerar las «relaciones de impacto» de los algoritmos, que la ley define como el puntaje promedio dado por el algoritmo de todas las personas en una categoría específica (p. ej., candidatos varones negros) dividido por el puntaje promedio de las personas en la categoría de puntaje más alto.
Las empresas que no cumplan se enfrentarán a multas de $375 por la primera infracción, $1350 por la segunda infracción y $1500 por la tercera y las infracciones posteriores. Cada día que una empresa utilice un algoritmo en incumplimiento de la ley, constituirá una infracción por separado, al igual que la falta de divulgación suficiente.
Es importante destacar que el alcance de la Ley Local 144, que fue aprobada por el Concejo Municipal y será aplicada por el Departamento de Protección al Consumidor y al Trabajador de la Ciudad de Nueva York, se extiende más allá de los trabajadores de la Ciudad de Nueva York. Siempre que una persona esté realizando o solicitando un trabajo en la ciudad, es elegible para las protecciones bajo la nueva ley.
Muchos lo ven como atrasado. Khyati Sundaram, director ejecutivo de Applied, un proveedor de tecnología de contratación, señaló que la IA de contratación en particular tiene el potencial de amplificar los sesgos existentes, empeorando tanto las brechas laborales como salariales en el proceso.
“Los empleadores deben evitar el uso de IA para calificar o clasificar a los candidatos de forma independiente”, dijo Sundaram a TechCrunch por correo electrónico. «Todavía no estamos en un lugar donde se pueda o se deba confiar en los algoritmos para tomar estas decisiones por sí mismos sin reflejar y perpetuar los sesgos que ya existen en el mundo del trabajo».
No es necesario buscar muy lejos la evidencia de sesgo que se filtra en los algoritmos de contratación. Amazon eliminó un motor de reclutamiento en 2018 después de que se descubrió que discriminaba a las mujeres candidatas. Y un estudio académico de 2019 mostró un sesgo anti-negro habilitado por IA en el reclutamiento.
En otros lugares, se han encontrado algoritmos para asignar a los candidatos de trabajo diferentes puntajes en función de criterios como si usan anteojos o un pañuelo en la cabeza; penalizar a los solicitantes por tener un nombre que suene negro, mencionar una universidad para mujeres o enviar su currículum utilizando ciertos tipos de archivos; y poner en desventaja a las personas que tienen una discapacidad física que limita su capacidad para interactuar con un teclado.
Los sesgos pueden ser profundos. Un estudio de octubre de 2022 realizado por la Universidad de Cambridge implica que las empresas de inteligencia artificial que afirman ofrecer evaluaciones objetivas y meritocráticas son falsas, y postula que las medidas antisesgo para eliminar el género y la raza son ineficaces porque el empleado ideal está históricamente influenciado por su género y raza.
Pero los riesgos no están ralentizando la adopción. Casi una de cada cuatro organizaciones ya aprovecha la IA para respaldar sus procesos de contratación, según una encuesta de febrero de 2022 de la Sociedad para la Gestión de Recursos Humanos. El porcentaje es aún mayor (42 %) entre los empleadores con 5000 empleados o más.
Entonces, ¿qué formas de algoritmos están usando los empleadores, exactamente? Varía. Algunos de los más comunes son los analizadores de texto que clasifican los currículos y las cartas de presentación en función de las palabras clave. Pero también hay chatbots que realizan entrevistas en línea para descartar candidatos con ciertos rasgos, y software de entrevistas diseñado para predecir las habilidades de resolución de problemas, aptitudes y «ajuste cultural» de un candidato a partir de sus patrones de habla y expresiones faciales.
De hecho, la gama de algoritmos de contratación y reclutamiento es tan amplia que algunas organizaciones no creen que la Ley Local 144 vaya lo suficientemente lejos.
La NYCLU, la rama de Nueva York de la Unión Estadounidense por las Libertades Civiles, afirma que la ley está “muy lejos” de brindar protección a los candidatos y trabajadores. Daniel Schwarz, estratega sénior de privacidad y tecnología de la NYCLU, señala en un memorando de política que, tal como está escrita, podría entenderse que la Ley Local 144 solo cubre un subconjunto de algoritmos de contratación, por ejemplo, excluye herramientas que transcriben texto de entrevistas en video y audio. (Dado que las herramientas de reconocimiento de voz tienen un problema de sesgo bien conocido, eso es obviamente problemático).
“Las… reglas propuestas [must be strengthened to] garantizar una amplia cobertura de [hiring algorithms]ampliar los requisitos de auditoría de sesgo y proporcionar transparencia y notificación significativa a las personas afectadas para garantizar que [algorithms] no opere para eludir digitalmente las leyes de la ciudad de Nueva York contra la discriminación”, escribió Schwarz. “Los candidatos y los trabajadores no deberían preocuparse por ser evaluados por un algoritmo discriminatorio”.
Paralelamente a esto, la industria se está embarcando en esfuerzos preliminares para autorregularse.
Diciembre de 2021 vio el lanzamiento de Data & Trust Alliance, que tiene como objetivo desarrollar un sistema de evaluación y puntuación para AI para detectar y combatir el sesgo algorítmico, particularmente el sesgo en la contratación. El grupo en un momento contó con CVS Health, Deloitte, General Motors, Humana, IBM, Mastercard, Meta, Nike y Walmart entre sus miembros, y obtuvo una importante cobertura de prensa.
Como era de esperar, Sundaram está a favor de este enfoque.
“En lugar de esperar que los reguladores se pongan al día y frenen los peores excesos de la IA de reclutamiento, depende de los empleadores estar atentos y tener cuidado al usar la IA en los procesos de contratación”, dijo. “La IA está evolucionando más rápidamente de lo que se pueden aprobar las leyes para regular su uso. Es probable que las leyes que finalmente se aprueben, incluida la de la ciudad de Nueva York, sean enormemente complicadas por este motivo. Esto dejará a las empresas en riesgo de malinterpretar o pasar por alto varias complejidades legales y, a su vez, hará que los candidatos marginados continúen siendo ignorados para los puestos”.
Por supuesto, muchos argumentarían que hacer que las empresas desarrollen un sistema de certificación para los productos de IA que están usando o desarrollando es problemático desde el principio.
Aunque imperfecta en ciertas áreas, según los críticos, la Ley Local 144 hace requieren que las auditorías sean realizadas por entidades independientes que no hayan estado involucradas en el uso, desarrollo o distribución del algoritmo que están probando y que no tengan una relación con la empresa que envía el algoritmo para la prueba.
¿La Ley Local 144 afectará el cambio, en última instancia? Es demasiado pronto para decirlo. Pero ciertamente, el éxito —o el fracaso— de su implementación afectará las leyes que vendrán en otros lugares. Como se señaló en un artículo reciente para Nerdwallet, Washington, DC, está considerando una regla que responsabilizaría a los empleadores por evitar sesgos en los algoritmos automatizados de toma de decisiones. En los últimos años se introdujeron dos proyectos de ley en California que tienen como objetivo regular la IA en la contratación. Y a fines de diciembre, se presentó un proyecto de ley en Nueva Jersey que regularía el uso de IA en las decisiones de contratación para minimizar la discriminación.