Los titanes de la IA lanzan un (pequeño) hueso a los investigadores de seguridad de la IA


El Frontier Model Forum, un organismo industrial centrado en el estudio de modelos de IA «de frontera» similares a GPT-4 y ChatGPT, anunció hoy que comprometerá 10 millones de dólares para un nuevo fondo para avanzar en la investigación de herramientas para «probar y evaluar el modelos de IA más capaces”.

El fondo, dice el Frontier Model Forum, cuyos miembros incluyen Anthropic, Google, Microsoft y OpenAI, apoyará a investigadores afiliados a instituciones académicas, instituciones de investigación y nuevas empresas, y la financiación inicial provendrá tanto del Frontier Model Forum como de sus socios filantrópicos, el Patrick J. McGovern, la Fundación David y Lucile Packard, el ex director ejecutivo de Google, Eric Schmidt, y el multimillonario estonio Jaan Tallinn.

El fondo será administrado por el Meridian Institute, una organización sin fines de lucro con sede en Washington, DC, que convocará un número no especificado de propuestas “dentro de los próximos meses”, dice el Frontier Model Forum. El trabajo del Instituto contará con el apoyo de un comité asesor de expertos externos, expertos de empresas de inteligencia artificial y «individuos con experiencia en la concesión de subvenciones», añadió el Frontier Model Forum, sin especificar quiénes son exactamente esos expertos e individuos ni el tamaño del comité asesor en pregunta.

«Esperamos contribuciones adicionales de otros socios», se lee en un comunicado de prensa publicado por Frontier Model Forum en varios blogs oficiales. «El objetivo principal del fondo será apoyar el desarrollo de nuevas técnicas y evaluaciones de modelos… para ayudar a desarrollar y probar técnicas de evaluación de capacidades potencialmente peligrosas de los sistemas fronterizos».

De hecho, 10 millones de dólares no es una tontería. (Más exactamente, son 10 millones de dólares en promesas (La Fundación David y Lucile Packard aún no ha comprometido formalmente la financiación). Pero en el contexto de la investigación de seguridad de la IA, parece más bien, bueno, conservador – al menos en comparación con lo que los miembros de The Frontier Model Forum han gastado en sus esfuerzos comerciales.

Sólo este año, Anthropic recaudó miles de millones de dólares de Amazon para desarrollar un asistente de inteligencia artificial de próxima generación, luego de una inversión de 300 dólares de Google. Microsoft prometió 10.000 millones de dólares para OpenAI, y OpenAI, cuyos ingresos anuales superan con creces los 1.000 millones de dólares, está supuestamente en conversaciones para vender acciones en una medida que aumentaría su valoración hasta 90.000 millones de dólares.

El fondo también es pequeño en comparación con otras subvenciones para la seguridad de la IA.

Open Philanthropy, la fundación de investigación y concesión de subvenciones cofundada por el fundador de Facebook, Dustin Moskovitz, ha donado alrededor de 307 millones de dólares para la seguridad de la IA, según un análisis del blog Less Wrong. La corporación de beneficio público The Survival and Flourishing Fund, aportada principalmente por Tallin, ha donado alrededor de 30 millones de dólares a proyectos de seguridad de la IA. Y la Fundación Nacional de Ciencias de EE. UU. ha dicho que gastará 20 millones de dólares en investigaciones sobre la seguridad de la IA durante los próximos dos años, respaldada en parte por subvenciones de Open Philanthropy.

Los investigadores de seguridad de la IA no necesariamente entrenarán modelos de nivel GPT-4 desde cero. Pero incluso los modelos más pequeños y menos capaces que quisieran probar serían costosos de desarrollar con el hardware actual, cuyo costo oscilaría entre cientos de miles de dólares y millones. Eso sin tener en cuenta otros gastos generales, como los salarios a pagar a los investigadores. (Los científicos de datos no son baratos).

El Frontier Model Forum alude a un fondo más grande en el futuro. Si eso llega a buen término, podría simplemente Tenemos la oportunidad de mover la aguja en la investigación de seguridad de la IA, si confiamos en que los patrocinadores decididamente con fines de lucro del fondo se abstendrán de ejercer una influencia indebida sobre la investigación. Pero no importa cómo se divida, el tramo inicial parece demasiado limitado para lograr mucho.



Source link-48