{"id":850787,"date":"2023-10-22T07:46:27","date_gmt":"2023-10-22T07:46:27","guid":{"rendered":"https:\/\/magazineoffice.com\/openai-meta-y-google-obtienen-puntuaciones-terriblemente-bajas-en-la-nueva-prueba-de-transparencia-de-ia-de-stanford\/"},"modified":"2023-10-22T07:46:59","modified_gmt":"2023-10-22T07:46:59","slug":"openai-meta-y-google-obtienen-puntuaciones-terriblemente-bajas-en-la-nueva-prueba-de-transparencia-de-ia-de-stanford","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/openai-meta-y-google-obtienen-puntuaciones-terriblemente-bajas-en-la-nueva-prueba-de-transparencia-de-ia-de-stanford\/","title":{"rendered":"OpenAI, Meta y Google obtienen puntuaciones terriblemente bajas en la nueva prueba de transparencia de IA de Stanford"},"content":{"rendered":"


\n<\/p>\n

\n

Si no est\u00e1 seguro de c\u00f3mo funcionan realmente los modelos de IA y si son seguros de usar, no est\u00e1 solo.<\/p>\n

En un esfuerzo por abrir el tel\u00f3n sobre herramientas de caja negra como ChatGPT, la Universidad de Stanford dio a conocer una nueva r\u00fabrica centrada en la transparencia, denominada \u00cdndice de Transparencia del Modelo Fundacional (FMTI). Creado en colaboraci\u00f3n con el MIT y Princeton, el FMTI espera incentivar a las empresas de IA a ser m\u00e1s sinceras sobre sus sistemas.<\/p>\n

\u00abSi bien el impacto social de los modelos de fundaciones est\u00e1 creciendo, la transparencia est\u00e1 disminuyendo, lo que refleja la opacidad que ha plagado a las tecnolog\u00edas digitales del pasado, como las redes sociales\u00bb, dice Sayash Kapoor, coautor del estudio. Una menor transparencia hace que sea m\u00e1s dif\u00edcil \u00abque los consumidores comprendan las limitaciones del modelo o busquen reparaci\u00f3n por los da\u00f1os causados\u00bb, a\u00f1ade una publicaci\u00f3n de blog de la universidad.<\/p>\n

La FMTI clasifica los 10 mejores modelos de IA en 100 dimensiones diferentes relacionadas con la transparencia. Eso incluye, por ejemplo, c\u00f3mo se construyeron, la informaci\u00f3n con la que fueron entrenados y los recursos computacionales necesarios. Tambi\u00e9n considera pol\u00edticas sobre el uso del modelo, protecci\u00f3n de datos y mitigaci\u00f3n de riesgos. <\/p>\n

Para obtener una lista completa de las m\u00e9tricas y la metodolog\u00eda, consulte el documento de 110 p\u00e1ginas que acompa\u00f1a al estudio.<\/p>\n\n

\u00bfCu\u00e1les son los modelos de IA m\u00e1s transparentes?<\/h2>\n

La puntuaci\u00f3n media en todos los modelos fue s\u00f3lo 37, o 37%. Sin impresionarse, el estudio dice que \u00abno vale la pena alardear\u00bb de ninguna de las puntuaciones de los modelos. Ninguno est\u00e1 cerca de proporcionar una transparencia adecuada.<\/p>\n

\"ranking<\/p>\n

\n(Cr\u00e9dito: Universidad de Stanford, Centro de Investigaci\u00f3n sobre Modelos de Fundaciones (CRFM))<\/small>\n<\/p>\n

El modelo Llama 2 de Meta consigui\u00f3 el primer puesto, con una puntuaci\u00f3n de 54 sobre 100 puntos. \u00abNo deber\u00edamos pensar en Meta como el objetivo en el que todos intentan llegar a donde est\u00e1 Meta\u00bb, dice Rishi Bommasani, un estudiante de doctorado que dirigi\u00f3 el esfuerzo en el Centro de Investigaci\u00f3n sobre Modelos de Fundamentos de la universidad. \u00abDeber\u00edamos pensar en todos intentando llegar a 80, 90 o posiblemente 100\u00bb.<\/p>\n

Bloomz, un modelo alojado en Hugging Face, qued\u00f3 en segundo lugar (53), seguido por GPT-4 de OpenAI (48). \u00abOpenAI, que tiene la palabra \u00ababierto\u00bb en su nombre, ha declarado claramente que no ser\u00e1 transparente sobre la mayor\u00eda de los aspectos de su modelo insignia, GPT-4″, dice el estudio.<\/p>\n

\"ranking<\/p>\n

\n(Cr\u00e9dito: Universidad de Stanford, Centro de Investigaci\u00f3n sobre Modelos de Fundaciones (CRFM))<\/small>\n<\/p>\n

El modelo Stable Diffusion 2 de Stability AI obtuvo el cuarto lugar (47). El modelo PaLM2 de Google, que impulsa a Bard, completa los cinco primeros (40).<\/p>\n

Stanford revis\u00f3 los puntajes con los l\u00edderes de cada empresa antes de publicarlos, anim\u00e1ndolos a \u00abimpugnar los puntajes con los que no estaban de acuerdo\u00bb. El equipo consider\u00f3 sus argumentos y modific\u00f3 las puntuaciones si eran v\u00e1lidas.<\/p>\n\n

\u00bfSon mejores los modelos abiertos que los cerrados?<\/h2>\n

Los modelos abiertos obtuvieron una clasificaci\u00f3n general m\u00e1s alta que los modelos cerrados. Un modelo se considera \u00ababierto\u00bb si su c\u00f3digo se publica p\u00fablicamente como software de c\u00f3digo abierto. Dos de los modelos de mayor rango, Llama 2 y Bloomz, est\u00e1n abiertos, mientras que GPT-4, por ejemplo, est\u00e1 cerrado.<\/p>\n

\n
\n

Recomendado por nuestros editores<\/h3>\n<\/div>\n<\/div>\n

Stanford construy\u00f3 su propio modelo de IA, Alpaca, utilizando el modelo Llama de Meta, por ejemplo. Cualquiera con las habilidades de codificaci\u00f3n adecuadas puede descargar el c\u00f3digo y comenzar a personalizarlo para sus propios fines.<\/p>\n

\u00abUno de los debates pol\u00edticos m\u00e1s pol\u00e9micos en IA hoy en d\u00eda es si los modelos de IA deben ser abiertos o cerrados\u00bb, dice el estudio. Stanford espera que el \u00cdndice del Modelo Fundacional influya en cambios de pol\u00edticas positivos y planea publicar el FTMI anualmente, siendo 2023 el a\u00f1o inaugural.<\/p>\n

\"abierto<\/p>\n

\n(Cr\u00e9dito: Universidad de Stanford, Centro de Investigaci\u00f3n sobre Modelos de Fundaciones (CRFM))<\/small>\n<\/p>\n

Nueve de las 10 empresas evaluadas en el estudio se han comprometido con las iniciativas responsables de IA de la Casa Blanca. <\/strong>Bommasani espera que la FMTI motive a estas empresas a cumplir esas promesas.<\/p>\n

La FMTI tambi\u00e9n podr\u00eda ayudar a la Uni\u00f3n Europea a redactar su pr\u00f3xima versi\u00f3n de la Ley de IA. \u00abCreo que esto les dar\u00e1 mucha claridad sobre la situaci\u00f3n, lo bueno y lo malo del status quo y lo que podr\u00edan cambiar potencialmente con la legislaci\u00f3n y la regulaci\u00f3n\u00bb, dice Bommasani.<\/p>\n

\n
\n

\u00a1Obtenga nuestras mejores historias!<\/h4>\n

Matricularse en \u00bfQu\u00e9 hay de nuevo ahora?<\/strong> para recibir nuestras historias principales en su bandeja de entrada todas las ma\u00f1anas.<\/p>\n

Este bolet\u00edn puede contener publicidad, ofertas o enlaces de afiliados. La suscripci\u00f3n a un bolet\u00edn indica su consentimiento a nuestros T\u00e9rminos de uso y Pol\u00edtica de privacidad. Puede darse de baja de los boletines en cualquier momento.<\/p>\n<\/p><\/div>\n<\/div>\n<\/div>\n