ha sido uno de los temas más espinosos en Internet durante décadas. Es un tema difícil de abordar para cualquier persona, teniendo en cuenta la subjetividad que va de la mano con la determinación de qué contenido debería estar permitido en una plataforma determinada. maker cree que puede ayudar y ha estado poniendo a prueba las habilidades de moderación de contenido. Está utilizando el gran modelo multimodal «para construir un sistema de moderación de contenido que sea escalable, consistente y personalizable».
La compañía que GPT-4 no solo puede ayudar a tomar decisiones de moderación de contenido, sino que también puede ayudar a desarrollar políticas e iterar rápidamente los cambios de políticas, «reduciendo el ciclo de meses a horas». Afirma que el modelo puede analizar las diversas regulaciones y matices en las políticas de contenido y adaptarse instantáneamente a cualquier actualización. Esto, afirma OpenAI, da como resultado un etiquetado de contenido más consistente.
«Creemos que esto ofrece una visión más positiva del futuro de las plataformas digitales, donde la IA puede ayudar a moderar el tráfico en línea de acuerdo con la política específica de la plataforma y aliviar la carga mental de una gran cantidad de moderadores humanos», Lilian Weng, Vik Goel y OpenAI de OpenAI. Andrea Vallone escribió. «Cualquier persona con acceso a la API de OpenAI puede implementar este enfoque para crear su propio sistema de moderación asistido por IA». OpenAI afirma que las herramientas de moderación GPT-4 pueden ayudar a las empresas a realizar alrededor de seis meses de trabajo en aproximadamente un día.
Está bien documentado que la revisión manual de contenido traumático puede tener un impacto significativo en la salud mental de los moderadores humanos, particularmente cuando se trata de material gráfico. En 2020, Meta pagará a más de 11,000 moderadores al menos $1,000 cada uno en compensación por problemas de salud mental que puedan haberse derivado de revisar material publicado en Facebook.
El uso de IA para aliviar parte de la carga de los revisores humanos podría ser muy beneficioso. Meta, por su parte, ha estado empleando IA durante varios años. Sin embargo, OpenAI dice que, hasta ahora, los moderadores humanos han recibido ayuda de «modelos de aprendizaje automático específicos verticales más pequeños. El proceso es inherentemente lento y puede generar estrés mental en los moderadores humanos».
Los modelos de IA están lejos de ser perfectos. Las principales empresas llevan mucho tiempo utilizando la IA en sus procesos de moderación y, con o sin la ayuda de la tecnología, . Queda por ver si el sistema de OpenAI puede evitar muchas de las principales trampas de moderación en las que hemos visto caer a otras empresas a lo largo de los años.
En cualquier caso, OpenAI está de acuerdo en que los humanos aún deben involucrarse en el proceso. “Seguimos teniendo revisión humana para verificar algunos de los juicios modelo”, dijo Vallone, que trabaja en el equipo de políticas de OpenAI. .
«Los juicios por modelos de lenguaje son vulnerables a sesgos no deseados que podrían haberse introducido en el modelo durante el entrenamiento. Al igual que con cualquier aplicación de IA, los resultados y la salida deberán monitorearse, validarse y refinarse cuidadosamente manteniendo a los humanos al tanto», el blog de OpenAI. la publicación lee. «Al reducir la participación humana en algunas partes del proceso de moderación que pueden ser manejadas por modelos de lenguaje, los recursos humanos pueden enfocarse más en abordar los casos complejos más necesarios para el refinamiento de políticas».