\n<\/p>\n
El a\u00f1o pasado yo<\/span> se le pidi\u00f3 que rompiera GPT-4 para que emitiera cosas terribles. A m\u00ed y a otros investigadores interdisciplinarios se nos dio acceso anticipado e intentamos incitar a GPT-4 a mostrar sesgos, generar propaganda odiosa e incluso tomar medidas enga\u00f1osas para ayudar a OpenAI a comprender los riesgos que planteaba, para que pudieran abordarse antes de su lanzamiento p\u00fablico. Esto se llama equipo rojo de IA: intentar que un sistema de IA act\u00fae de manera da\u00f1ina o no intencionada.<\/p>\n El equipo rojo es un paso valioso hacia la construcci\u00f3n de modelos de IA que no perjudiquen a la sociedad. Para fortalecer los sistemas de IA, necesitamos saber c\u00f3mo pueden fallar, e idealmente lo hacemos antes de que creen problemas significativos en el mundo real. Imag\u00ednese lo que podr\u00eda haber sido diferente si Facebook hubiera tratado de trabajar en equipo rojo con expertos externos sobre el impacto de sus principales cambios en el sistema de recomendaci\u00f3n de IA, y solucionado los problemas que descubrieron, antes de afectar las elecciones y los conflictos en todo el mundo. Aunque OpenAI enfrenta muchas cr\u00edticas v\u00e1lidas, su voluntad de involucrar a investigadores externos y proporcionar una descripci\u00f3n p\u00fablica detallada de todos los da\u00f1os potenciales de sus sistemas establece un est\u00e1ndar de apertura que los competidores potenciales tambi\u00e9n deben seguir. <\/p>\n Normalizar la formaci\u00f3n de equipos rojos con expertos externos e informes p\u00fablicos es un primer paso importante para la industria. Pero debido a que los sistemas de IA generativa probablemente impactar\u00e1n en muchas de las instituciones y bienes p\u00fablicos m\u00e1s cr\u00edticos de la sociedad, los equipos rojos necesitan personas con una comprensi\u00f3n profunda de todo<\/em> de estos problemas (y sus impactos mutuos) para comprender y mitigar los da\u00f1os potenciales. Por ejemplo, los maestros, terapeutas y l\u00edderes c\u00edvicos podr\u00edan ser emparejados con miembros del equipo rojo de IA m\u00e1s experimentados para lidiar con tales impactos sist\u00e9micos. La inversi\u00f3n de la industria de la IA en una comunidad entre empresas de tales pares de equipos rojos podr\u00eda reducir significativamente la probabilidad de puntos ciegos cr\u00edticos.<\/p>\n Despu\u00e9s de que se lanza un nuevo sistema, permitir cuidadosamente que las personas que no formaban parte del equipo rojo de la versi\u00f3n preliminar intenten romper el sistema sin riesgo de prohibiciones podr\u00eda ayudar a identificar nuevos problemas y problemas con posibles soluciones. Los ejercicios de escenarios, que exploran c\u00f3mo los diferentes actores responder\u00edan a los lanzamientos de modelos, tambi\u00e9n pueden ayudar a las organizaciones a comprender m\u00e1s impactos sist\u00e9micos. <\/p>\n Pero si el equipo rojo GPT-4 me ense\u00f1\u00f3 algo, es que el equipo rojo por s\u00ed solo no es suficiente. Por ejemplo, acabo de probar Bard de Google y ChatGPT de OpenAI y pude obtener ambos para crear correos electr\u00f3nicos fraudulentos y propaganda de conspiraci\u00f3n en el primer intento \u00abcon fines educativos\u00bb. El equipo rojo por s\u00ed solo no solucion\u00f3 esto. Para superar realmente los da\u00f1os descubiertos por los equipos rojos, empresas como OpenAI pueden ir un paso m\u00e1s all\u00e1 y ofrecer acceso temprano y recursos para usar sus modelos para defensa<\/em> y resiliencia<\/em>tambi\u00e9n.<\/p>\n A esto lo llamo equipo violeta: identificar c\u00f3mo un sistema (p. ej., GPT-4) podr\u00eda da\u00f1ar una instituci\u00f3n o un bien p\u00fablico y luego apoyar el desarrollo de herramientas. usando ese mismo sistema<\/em> para defender la instituci\u00f3n o el bien p\u00fablico. Puedes pensar en esto como una especie de judo. Los sistemas de IA de prop\u00f3sito general son una nueva y vasta forma de poder que se est\u00e1 desatando en el mundo, y ese poder puede da\u00f1ar nuestros bienes p\u00fablicos. As\u00ed como el judo redirige el poder de un atacante para neutralizarlo, el equipo violeta tiene como objetivo redirigir el poder desatado por los sistemas de IA para defender esos bienes p\u00fablicos.<\/p>\n<\/div>\n