En el verano de 2023, OpenAI creó un equipo de “Superalineación” cuyo objetivo era dirigir y controlar futuros sistemas de IA que podrían ser tan poderosos que podrían conducir a la extinción humana. Menos de un año después, ese equipo está muerto.
OpenAI dijo Bloomberg que la empresa estaba «integrando al grupo más profundamente en sus esfuerzos de investigación para ayudar a la empresa a alcanzar sus objetivos de seguridad». Pero una serie de tweets de Jan Leike, uno de los líderes del equipo que renunció recientemente, reveló tensiones internas entre el equipo de seguridad y la empresa en general.
En una oracion publicado en X El viernes, Leike dijo que el equipo de Superalignment había estado luchando por recursos para realizar la investigación. «Construir máquinas más inteligentes que las humanas es una tarea intrínsecamente peligrosa», escribió Leike. “OpenAI asume una enorme responsabilidad en nombre de toda la humanidad. Pero en los últimos años, la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes”. OpenAI no respondió de inmediato a una solicitud de comentarios de Engadget.
La salida de Leike a principios de esta semana se produjo horas después de que el científico jefe de OpenAI, Sutskevar, anunciara que dejaría la empresa. Sutskevar no solo fue uno de los líderes del equipo de Superalignment, sino que también ayudó a cofundar la empresa. La medida de Sutskevar se produjo seis meses después de que estuvo involucrado en la decisión de despedir al director ejecutivo Sam Altman por preocupaciones de que Altman no había sido «consistentemente sincero» con la junta. El despido demasiado breve de Altman provocó una revuelta interna dentro de la empresa y casi 800 empleados firmaron una carta en la que amenazaban con renunciar si Altman no era reintegrado. Cinco días después, Altman regresó como director ejecutivo de OpenAI después de que Sutskevar firmara una carta en la que afirmaba que se arrepentía de sus acciones.
Cuando anunció la creación del equipo Superalignment, OpenAI dijo que dedicaría el 20 por ciento de su potencia informática durante los próximos cuatro años a resolver el problema de controlar los potentes sistemas de IA del futuro. “[Getting] este derecho es fundamental para lograr nuestra misión”, escribió la empresa en ese momento. En X, Leike escribió que el equipo de Superalignment estaba «luchando por la informática y cada vez era más difícil» realizar investigaciones cruciales sobre la seguridad de la IA. «Durante los últimos meses, mi equipo ha estado navegando contra el viento», escribió y añadió que había llegado a «un punto de ruptura» con el liderazgo de OpenAI debido a los desacuerdos sobre las prioridades centrales de la empresa.
En los últimos meses, ha habido más salidas del equipo de Superalignment. En abril, OpenAI supuestamente despidió a dos investigadores, Leopold Aschenbrenner y Pavel Izmailov, por supuestamente filtrar información.
OpenAI dijo Bloomberg que sus futuros esfuerzos de seguridad serán dirigidos por John Schulman, otro cofundador, cuya investigación se centra en grandes modelos de lenguaje. Jakub Pachocki, director que dirigió el desarrollo de GPT-4, uno de los grandes modelos de lenguaje emblemáticos de OpenAI, reemplazaría a Sutskevar como científico jefe.
Superalignment no fue el único equipo de OpenAI centrado en la seguridad de la IA. En octubre, la compañía creó un nuevo equipo de “preparación” para frenar posibles “riesgos catastróficos” de los sistemas de inteligencia artificial, incluidos problemas de ciberseguridad y amenazas químicas, nucleares y biológicas.
Actualización, 17 de mayo de 2024, 3:28 p.m. ET: En respuesta a una solicitud de comentarios sobre las acusaciones de Leike, una persona de relaciones públicas de OpenAI dirigió a Engadget al tweet de Sam Altman diciendo que diría algo en los próximos días.
Este artículo contiene enlaces de afiliados; Si hace clic en dicho enlace y realiza una compra, podemos ganar una comisión.