La agencia de publicidad creativa McKinney desarrolló un juego de preguntas llamado «¿Eres más negro que ChatGPT?» para arrojar luz sobre el sesgo de la IA.
El juego pone a prueba el conocimiento de una persona sobre la cultura negra comparándolo con lo que ChatGPT ha sido entrenado para saber sobre la comunidad negra. Plantea preguntas como: «¿Qué significa cuando alguien dice: ‘Ya no les pongo demasiado’?» y “¿Cuál es tu respuesta si te invitan a un evento?” Cuando hice el cuestionario, tanto ChatGPT como yo acertamos en el primero: cuando alguien dice «no demasiado con ellos», generalmente significa ser suave con ellos. Pero ChatGPT falló en lo que respecta al segundo. Cuando alguien te invita a un evento, la respuesta estereotipada en la comunidad negra es: «¿Quién más estará allí?» Pero ChatGPT dijo: «¡Gracias por la invitación!»
«Es interesante porque se anuncia como un robot que lo sabe todo, y es como si, claramente, no lo supieras todo, especialmente cuando se trata de cosas que no son específicas para los blancos», dijo Meghan Woods, redactora de McKinney y una de los creadores del juego, dijo a TechCrunch.
Woods dijo que la idea del cuestionario surgió el año pasado durante una lluvia de ideas creativa en McKinney. A Woods y un equipo liderado por negros les tomó un año crear este producto, con el propósito de señalar en broma cuán desconectado está ChatGPT de los usuarios negros. Señaló que un punto ciego para ChatGPT parece surgir del hecho de que muchos elementos culturales negros no están necesariamente documentados en línea; en cambio, se transmiten en persona u oralmente de generación en generación. Esto significa que su algoritmo pasa por alto muchos matices al buscar en Internet información sobre los negros.
«Los puntos ciegos pueden ser bastante perturbadores», dijo Woods. «Es bastante peligroso».
Un ejemplo de ChatGPT que obtiene una respuesta incorrecta sobre algo estereotípicamente común en la comunidad negra. Créditos de imagen: McKinney / Captura de pantalla
La IA puede estar en una buena racha, pero las mujeres, los constructores negros y morenos y los fundadores en el espacio, han hablado durante mucho tiempo de ser ignorados o dejados de lado. El resultado es que la innovación en IA se está construyendo sin el conocimiento cultural y las complejidades que la harían adecuada para diferentes culturas. En su forma más extrema, la falta de diversidad significa que los automóviles se desarrollan utilizando inteligencia artificial que no puede detectar la piel negra, lo que genera un número cada vez mayor de accidentes. En el otro extremo, simplemente significa un chat que no puede distinguir entre una canción de Whitney Houston y otra.
Gerald Carter, fundador de Destined AI, una empresa que ayuda a detectar y mitigar el sesgo de la IA, dijo que el cuestionario de McKinney hace un buen trabajo al ludificar y generar más conciencia sobre estas brechas de la IA. «Se pueden abordar muchos matices incluyendo diversas perspectivas en todos los niveles», dijo. «Para que la IA alcance su máximo potencial, debe funcionar para todos, en todas partes».
La empresa matriz de ChatGPT, OpenAI, ha recibido críticas por la falta de diversidad en su directorio. Woods dijo que tampoco parece que ChatGPT esté aprendiendo del cuestionario, basándose en el hecho de que sigue obteniendo las mismas respuestas incorrectas en muchos casos. «Nuestra hipótesis es que nunca podrá comprender plenamente muchas de las cosas que le preguntamos».
Nos comunicamos con OpenAI para hacer comentarios y actualizaremos esta publicación cuando tengamos noticias.
Carter dijo que ChatGPT podría funcionar mejor para más culturas con un mejor abastecimiento y una recopilación de datos más inclusiva. Un enfoque más inmediato es monitorear la deriva del modelo de IA y realizar mejoras utilizando herramientas centradas en perspectivas culturales.
Mientras las empresas más grandes trabajan para que la IA sea útil para todos, los constructores negros y morenos en el espacio han tomado el asunto en sus propias manos para garantizar que esta próxima ola de IA sea diversa.
Carter, por ejemplo, trabaja con empresas para ayudarlas a obtener datos más inclusivos. Erin Reddick creó ChatBlackGPT (sin relación con OpenAI) para ofrecer una visión más profunda de la cultura y la historia de los negros, y Tamar Huggins recaudó 1,4 millones de dólares para su alternativa ChatGPT, llamada Spark Plug, que traduce textos de literatura clásica al dialecto del inglés vernáculo afroamericano (AAVE). .
“Contratar, retener, asegurarse de que la gente esté presente en la mesa”, dijo Woods, sobre lo que se necesita hacer para que la IA sea más inclusiva. «Sé que suena a cliché, pero creo que eso puede empezar a tener un impacto».