Call of Duty se une al creciente número de juegos en línea que combaten la toxicidad escuchando el chat de voz dentro del juego y está utilizando inteligencia artificial para ayudar en el proceso. Activision anunció una asociación con el equipo de inteligencia artificial Modulate para integrar su herramienta patentada de moderación de voz, ToxMod, en Modern Warfare 2, Warzone 2 y el próximo Modern Warfare 3.
Activision dice que ToxMod, que hoy comienza las pruebas beta en servidores de América del Norte, es capaz de «identificar en tiempo real y actuar contra el discurso tóxico, incluido el discurso de odio, el lenguaje discriminatorio, el acoso y más».
Modulate describe a ToxMod como «la única solución proactiva de moderación de chat de voz diseñada específicamente para juegos». Si bien el sitio web oficial enumera algunos juegos en los que ya se utiliza ToxMod (principalmente pequeños juegos de realidad virtual como Rec Room), los cientos de miles de jugadores diarios de Call of Duty probablemente representarán la mayor implementación de la herramienta hasta la fecha.
La IA ToxMod de Call of Duty no tendrá rienda suelta para emitir prohibiciones de jugadores. Una sesión de preguntas y respuestas sobre moderación del chat de voz publicada hoy especifica que el único trabajo de la IA es observar e informar, no castigar.
«El sistema de moderación de chat de voz de Call of Duty solo envía informes sobre comportamiento tóxico, categorizados por su tipo de comportamiento y un nivel de gravedad clasificado basado en un modelo en evolución», se lee en la respuesta. «Activision determina cómo hará cumplir las violaciones de moderación del chat de voz».
Entonces, si bien las quejas del chat de voz en su contra, en teoría, serán juzgadas por un humano antes de tomar cualquier acción, ToxMod analiza más que solo palabras clave al señalar posibles delitos. Modulate dice que su herramienta es única por su capacidad de analizar el tono y la intención del habla para determinar qué es y qué no es tóxico. Si tiene curiosidad natural sobre cómo se logra eso, no encontrará una respuesta clara, pero encontrará muchas afirmaciones que suenan impresionantes (como estamos acostumbrados en las empresas de inteligencia artificial).
La compañía dice que su modelo de lenguaje le ha permitido escuchar discursos de personas con diversos orígenes y puede distinguir con precisión entre malicia y riffs amistosos. Curiosamente, la política de ética de Modulate establece que ToxMod «no detecta ni identifica el origen étnico de los hablantes individuales», pero sí «escucha las señales de conversación para determinar cómo reaccionan los demás en la conversación al uso de [certain] términos.»
Términos como la palabra n: «Si bien la palabra n generalmente se considera un insulto vil, muchos jugadores que se identifican como negros o morenos la han reclamado y la usan positivamente dentro de sus comunidades… Si alguien dice la palabra n y claramente ofende a los demás en el chat, eso será evaluado mucho más severamente que lo que parece ser un uso recuperado que se incorpora naturalmente a una conversación».
Modulate también ofrece el ejemplo del discurso dañino hacia los niños. «Por ejemplo, si detectamos a un hablante prepúber en un chat, podríamos calificar ciertos tipos de delitos con mayor gravedad debido al riesgo para el niño», se lee en el sitio.
En los últimos meses, las categorías de señalización de ToxMod se han vuelto aún más granulares. En junio, Modulate introdujo una categoría de «radicalización violenta» en su moderación de chat de voz que puede señalar «términos y frases relacionados con grupos supremacistas blancos, radicalización y extremismo, en tiempo real».
La lista de lo que ToxMod afirma detectar aquí incluye:
- Promoción o intercambio de ideología.
- Reclutar o convencer a otros para que se unan a un grupo o movimiento.
- Preparar o convencer a personas vulnerables (es decir, niños y adolescentes) para que se unan a un grupo o movimiento.
- Planificar acciones violentas o planificar activamente cometer violencia física.
«Utilizando investigaciones de grupos como ADL, estudios como el realizado por NYU, liderazgo intelectual actual y conversaciones con gente de la industria del juego», dice la compañía, «hemos desarrollado la categoría para identificar señales que tienen una alta correlación con movimientos extremistas, incluso si el lenguaje en sí no es violento. (Por ejemplo, ‘llevemos esto a Discord’ podría ser inocente o podría ser una táctica de reclutamiento)».
Modulate claramente está fijando sus objetivos altos, aunque para los propósitos de Call of Duty, parece que ToxMod será simplemente el intermediario entre los posibles infractores y un equipo de moderación humana. Si bien las maquinaciones de la toma de decisiones de la IA son intrínsecamente vagas, Activision dice que su aplicación cumplirá en última instancia con el Código de Conducta oficial de Call of Duty. Esto no es diferente a cómo Riot y Blizzard han manejado la moderación del chat de voz en Valorant y Overwatch 2, aunque Riot también ha estado recopilando datos del chat de voz durante más de un año para desarrollar su propio modelo de lenguaje de IA.
ToxMod se implementará en todo el mundo en Call of Duty con el lanzamiento de Modern Warfare 3 el 10 de noviembre, comenzando con moderación solo en inglés y expandiéndose a más idiomas en una fecha posterior.