Si no está seguro de cómo funcionan realmente los modelos de IA y si son seguros de usar, no está solo.
En un esfuerzo por abrir el telón sobre herramientas de caja negra como ChatGPT, la Universidad de Stanford dio a conocer una nueva rúbrica centrada en la transparencia, denominada Índice de Transparencia del Modelo Fundacional (FMTI). Creado en colaboración con el MIT y Princeton, el FMTI espera incentivar a las empresas de IA a ser más sinceras sobre sus sistemas.
«Si bien el impacto social de los modelos de fundaciones está creciendo, la transparencia está disminuyendo, lo que refleja la opacidad que ha plagado a las tecnologías digitales del pasado, como las redes sociales», dice Sayash Kapoor, coautor del estudio. Una menor transparencia hace que sea más difícil «que los consumidores comprendan las limitaciones del modelo o busquen reparación por los daños causados», añade una publicación de blog de la universidad.
La FMTI clasifica los 10 mejores modelos de IA en 100 dimensiones diferentes relacionadas con la transparencia. Eso incluye, por ejemplo, cómo se construyeron, la información con la que fueron entrenados y los recursos computacionales necesarios. También considera políticas sobre el uso del modelo, protección de datos y mitigación de riesgos.
Para obtener una lista completa de las métricas y la metodología, consulte el documento de 110 páginas que acompaña al estudio.
¿Cuáles son los modelos de IA más transparentes?
La puntuación media en todos los modelos fue sólo 37, o 37%. Sin impresionarse, el estudio dice que «no vale la pena alardear» de ninguna de las puntuaciones de los modelos. Ninguno está cerca de proporcionar una transparencia adecuada.
(Crédito: Universidad de Stanford, Centro de Investigación sobre Modelos de Fundaciones (CRFM))
El modelo Llama 2 de Meta consiguió el primer puesto, con una puntuación de 54 sobre 100 puntos. «No deberíamos pensar en Meta como el objetivo en el que todos intentan llegar a donde está Meta», dice Rishi Bommasani, un estudiante de doctorado que dirigió el esfuerzo en el Centro de Investigación sobre Modelos de Fundamentos de la universidad. «Deberíamos pensar en todos intentando llegar a 80, 90 o posiblemente 100».
Bloomz, un modelo alojado en Hugging Face, quedó en segundo lugar (53), seguido por GPT-4 de OpenAI (48). «OpenAI, que tiene la palabra «abierto» en su nombre, ha declarado claramente que no será transparente sobre la mayoría de los aspectos de su modelo insignia, GPT-4″, dice el estudio.
(Crédito: Universidad de Stanford, Centro de Investigación sobre Modelos de Fundaciones (CRFM))
El modelo Stable Diffusion 2 de Stability AI obtuvo el cuarto lugar (47). El modelo PaLM2 de Google, que impulsa a Bard, completa los cinco primeros (40).
Stanford revisó los puntajes con los líderes de cada empresa antes de publicarlos, animándolos a «impugnar los puntajes con los que no estaban de acuerdo». El equipo consideró sus argumentos y modificó las puntuaciones si eran válidas.
¿Son mejores los modelos abiertos que los cerrados?
Los modelos abiertos obtuvieron una clasificación general más alta que los modelos cerrados. Un modelo se considera «abierto» si su código se publica públicamente como software de código abierto. Dos de los modelos de mayor rango, Llama 2 y Bloomz, están abiertos, mientras que GPT-4, por ejemplo, está cerrado.
Recomendado por nuestros editores
Stanford construyó su propio modelo de IA, Alpaca, utilizando el modelo Llama de Meta, por ejemplo. Cualquiera con las habilidades de codificación adecuadas puede descargar el código y comenzar a personalizarlo para sus propios fines.
«Uno de los debates políticos más polémicos en IA hoy en día es si los modelos de IA deben ser abiertos o cerrados», dice el estudio. Stanford espera que el Índice del Modelo Fundacional influya en cambios de políticas positivos y planea publicar el FTMI anualmente, siendo 2023 el año inaugural.
(Crédito: Universidad de Stanford, Centro de Investigación sobre Modelos de Fundaciones (CRFM))
Nueve de las 10 empresas evaluadas en el estudio se han comprometido con las iniciativas responsables de IA de la Casa Blanca. Bommasani espera que la FMTI motive a estas empresas a cumplir esas promesas.
La FMTI también podría ayudar a la Unión Europea a redactar su próxima versión de la Ley de IA. «Creo que esto les dará mucha claridad sobre la situación, lo bueno y lo malo del status quo y lo que podrían cambiar potencialmente con la legislación y la regulación», dice Bommasani.
¡Obtenga nuestras mejores historias!
Matricularse en ¿Qué hay de nuevo ahora? para recibir nuestras historias principales en su bandeja de entrada todas las mañanas.
Este boletín puede contener publicidad, ofertas o enlaces de afiliados. La suscripción a un boletín indica su consentimiento a nuestros Términos de uso y Política de privacidad. Puede darse de baja de los boletines en cualquier momento.