El martes de esta semana, el neurocientífico, fundador y autor Gary Marcus, se sentó entre el director ejecutivo de OpenAI, Sam Altman, y Christina Montgomery, directora de fideicomiso de privacidad de IBM, mientras los tres testificaban ante el Comité Judicial del Senado durante más de tres horas. Los senadores se centraron en gran medida en Altman porque dirige una de las empresas más poderosas del planeta en este momento y porque Altman les ha pedido repetidamente que lo ayuden a regular su trabajo. (La mayoría de los directores ejecutivos ruegan al Congreso que deje su industria en paz).
Aunque Marcus ha sido conocido en los círculos académicos durante algún tiempo, su estrella ha ido en ascenso últimamente gracias a su boletín informativo («El camino hacia la IA en la que podemos confiar»), un podcast («Humans vs. Machines») y su inquietud. en torno al aumento descontrolado de la IA. Además de la audiencia de esta semana, por ejemplo, este mes apareció en la televisión de Bloomberg y apareció en The New York Times Sunday Magazine y Wired, entre otros lugares.
Debido a que la audiencia de esta semana parecía verdaderamente histórica en cierto modo: el senador Josh Hawley dijo sobre la IA generativa que «podríamos estar viendo una de las innovaciones tecnológicas más significativas en la historia de la humanidad», mientras que el senador John Kennedy estaba tan encantado con Altman que le pidió a Altman que elegir sus propios reguladores: también queríamos hablar con Marcus para analizar la experiencia y ver qué sabe sobre lo que sucede a continuación. Nuestro chat a continuación ha sido editado por su duración.
¿Sigues en Washington?
Todavía estoy en Washington. Me estoy reuniendo con legisladores y su personal y varias otras personas interesantes y tratando de ver si podemos convertir en realidad el tipo de cosas de las que hablé.
Has enseñado en la Universidad de Nueva York. Ha co-fundado un par de empresas de IA, incluida una con el famoso especialista en robótica Rodney Brooks. Entrevisté a Brooks en el escenario en 2017 y dijo que no creía que Elon Musk realmente entendiera la IA y que pensaba que Musk estaba equivocado al decir que la IA era una amenaza existencial.
Creo que Rod y yo compartimos el escepticismo sobre si la IA actual se parece en algo a la inteligencia artificial general. Hay varias cuestiones que tienes que desmontar. Una es: ¿Estamos cerca de AGI, y la otra es cuán peligrosa es la IA actual que tenemos? No creo que la IA actual que tenemos sea una amenaza existencial, pero sí peligrosa. En muchos sentidos, creo que es una amenaza para la democracia. Eso no es una amenaza para la humanidad. No va a aniquilar a todos los humanos. Pero es un riesgo bastante serio.
No hace mucho tiempo, estabas debatiendo Yann LeCun, científico jefe de IA de Meta. no estoy seguro de qué ese colgajo se trataba de: ¿el verdadero significado de las redes neuronales de aprendizaje profundo?
Así que LeCun y yo hemos debatido muchas cosas por muchos años. Tuvimos un debate público que David Chalmers, el filósofo, moderó en 2017. He estado tratando de [LeCun] tener otro debate real desde entonces y no lo hará. Prefiere subtuitearme en Twitter y cosas así, que no creo que sea la forma más adulta de tener conversaciones, pero como es una figura importante, respondo.
Una cosa en la que creo que no estamos de acuerdo [currently] es, LeCun piensa que está bien usar estos [large language models] y que no hay daño posible aquí. Creo que está muy equivocado al respecto. Existen amenazas potenciales para la democracia, que van desde la información errónea producida deliberadamente por malos actores, hasta la información errónea accidental, como el profesor de derecho que fue acusado de acoso sexual a pesar de que no lo cometió. [to the ability to] moldear sutilmente las creencias políticas de las personas basándose en datos de entrenamiento de los que el público ni siquiera sabe nada. Es como las redes sociales, pero aún más insidiosas. También puedes usar estas herramientas para manipular a otras personas y probablemente engañarlas para que hagan lo que quieras. Puedes escalarlos masivamente. Definitivamente hay riesgos aquí.
Dijiste algo interesante sobre Sam Altman el martes, diciéndoles a los senadores que no les dijo cuál es su peor temor, al que llamaste «pertinente», y redirigiéndolos hacia él. Lo que todavía no dijo es nada que tenga que ver con las armas autónomas, de las que hablé con él hace unos años como una de las principales preocupaciones. Pensé que era interesante que las armas no aparecieran.
Cubrimos un montón de terreno, pero hay muchas cosas a las que no llegamos, incluida la aplicación, que es realmente importante, y la seguridad nacional y las armas autónomas y cosas así. Habrá varios más de [these].
¿Se habló de sistemas abiertos frente a sistemas cerrados?
Apenas apareció. Obviamente es una pregunta realmente complicada e interesante. Realmente no está claro cuál es la respuesta correcta. Quieres que la gente haga ciencia independiente. Tal vez quiera tener algún tipo de licencia sobre las cosas que se implementarán a gran escala, pero conllevan riesgos particulares, incluidos los riesgos de seguridad. No está claro que queramos que todos los malos actores tengan acceso a herramientas arbitrariamente poderosas. Entonces, hay argumentos a favor y en contra, y probablemente la respuesta correcta incluirá permitir un grado considerable de código abierto pero también tener algunas limitaciones sobre lo que se puede hacer y cómo se puede implementar.
¿Alguna idea específica sobre la estrategia de Meta de dejar que su modelo de lenguaje salga al mundo para que la gente juegue con él?
no creo que sea genial eso [Meta’s AI technology] LLaMA está ahí para ser honesto. Creo que fue un poco descuidado. Y, ya sabes, ese literalmente es uno de los genios que está fuera de la botella. No había una infraestructura legal en el lugar; no consultaron a nadie sobre lo que estaban haciendo, que yo sepa. Tal vez lo hicieron, pero el proceso de decisión con eso o, digamos, Bing, es básicamente solo: una empresa decide que vamos a hacer esto.
Pero algunas de las cosas que las empresas deciden pueden resultar perjudiciales, ya sea en el futuro cercano o a largo plazo. Por lo tanto, creo que los gobiernos y los científicos deberían tener cada vez más algún papel en la decisión de lo que sucede. [through a kind of] FDA para IA donde, si desea realizar una implementación generalizada, primero realiza una prueba. Usted habla de los costos-beneficios. Haces otra prueba. Y eventualmente, si estamos seguros de que los beneficios superan los riesgos, [you do the] liberación a gran escala. Pero en este momento, cualquier empresa en cualquier momento puede decidir implementar algo para 100 millones de clientes y hacerlo sin ningún tipo de supervisión gubernamental o científica. Tienes que tener algún sistema en el que puedan entrar algunas autoridades imparciales.
¿De dónde vendrían estas autoridades imparciales? ¿Todos los que saben algo sobre cómo funcionan estas cosas no están trabajando para una empresa?
No soy. [Canadian computer scientist] Yoshua Bengio no lo es. Hay muchos científicos que no trabajan para estas empresas. Es una preocupación real, cómo obtener suficientes de esos auditores y cómo incentivarlos para que lo hagan. Pero hay 100.000 informáticos con alguna faceta de experiencia aquí. No todos ellos trabajan para Google o Microsoft bajo contrato.
¿Te gustaría desempeñar un papel en esta agencia de inteligencia artificial?
Estoy interesado, siento que cualquier cosa que construyamos debe ser global y neutral, presumiblemente sin fines de lucro, y creo que tengo una buena voz neutral aquí que me gustaría compartir y tratar de llevarnos a un buen lugar.
¿Cómo se sintió estar sentado ante el Comité Judicial del Senado? ¿Y crees que te volverán a invitar?
No me sorprendería si me invitaran de nuevo, pero no tengo ni idea. Realmente me conmovió profundamente y me conmovió profundamente estar en esa habitación. Es un poco más pequeño que en la televisión, supongo. Pero se sentía como si todos estuvieran allí para tratar de hacer lo mejor que pudieran por los EE. UU., por la humanidad. Todos sabían el peso del momento y, según todos los informes, los senadores dieron su mejor juego. Sabíamos que estábamos allí por una razón y dimos lo mejor de nosotros.