\n<\/p>\n
Las \u00faltimas dos semanas antes de la fecha l\u00edmite fueron fren\u00e9ticas. Aunque oficialmente algunos miembros del equipo todav\u00eda ten\u00edan escritorios en el edificio 1945, trabajaron principalmente en 1965 porque ten\u00eda una mejor m\u00e1quina de caf\u00e9 expreso en la micrococina. \u201cLa gente no dorm\u00eda\u201d, dice G\u00f3mez, quien, como pasante, viv\u00eda en un constante frenes\u00ed de depuraci\u00f3n y tambi\u00e9n produjo visualizaciones y diagramas para el art\u00edculo. Es com\u00fan en este tipo de proyectos realizar ablaciones: sacar cosas para ver si lo que queda es suficiente para realizar el trabajo.<\/p>\n
\u201cHab\u00eda todas las combinaciones posibles de trucos y m\u00f3dulos: cu\u00e1l ayuda y cu\u00e1l no. Arranqu\u00e9moslo. Reemplac\u00e9moslo con esto\u201d, dice G\u00f3mez. \u201c\u00bfPor qu\u00e9 el modelo se comporta de esta manera contraria a la intuici\u00f3n? Oh, es porque no nos acordamos de ponernos el enmascaramiento correctamente. \u00bfFunciona todav\u00eda? Bien, pasa al siguiente. Todos estos componentes de lo que ahora llamamos el transformador fueron el resultado de esta prueba y error iterativo de ritmo extremadamente alto\u201d. Las ablaciones, con la ayuda de las implementaciones de Shazeer, produjeron \u00abalgo minimalista\u00bb, dice Jones. \u00abNoam es un mago\u00bb.<\/p>\n
Vaswani recuerda haberse quedado dormido en el sof\u00e1 de la oficina una noche mientras el equipo escrib\u00eda el art\u00edculo. Mientras miraba las cortinas que separaban el sof\u00e1 del resto de la habitaci\u00f3n, le llam\u00f3 la atenci\u00f3n el patr\u00f3n de la tela, que le parec\u00eda sinapsis y neuronas. G\u00f3mez estaba all\u00ed y Vaswani le dijo que lo que estaban trabajando trascender\u00eda la traducci\u00f3n autom\u00e1tica. \u00abEn \u00faltima instancia, al igual que con el cerebro humano, es necesario unir todas estas modalidades (habla, audio, visi\u00f3n) bajo una sola arquitectura\u00bb, dice. \u00abTen\u00eda el fuerte presentimiento de que est\u00e1bamos ante algo m\u00e1s general\u00bb.<\/p>\n
Sin embargo, en las altas esferas de Google el trabajo fue visto como otro interesante proyecto de IA. Pregunt\u00e9 a varias personas de Transformers si sus jefes alguna vez los convocaron para recibir actualizaciones sobre el proyecto. No tanto. Pero \u00abcomprendimos que esto era potencialmente un gran problema\u00bb, dice Uszkoreit. \u00abY eso hizo que nos obsesion\u00e1ramos con una de las oraciones del art\u00edculo hacia el final, donde comentamos sobre trabajos futuros\u00bb.<\/p>\n
Esa frase anticip\u00f3 lo que podr\u00eda venir despu\u00e9s: la aplicaci\u00f3n de modelos transformadores b\u00e1sicamente a todas las formas de expresi\u00f3n humana. \u00abEstamos entusiasmados con el futuro de los modelos basados \u200b\u200ben la atenci\u00f3n\u00bb, escribieron. \u00abPlaneamos extender el transformador a problemas que involucran modalidades de entrada y salida distintas al texto\u00bb e investigar \u00abim\u00e1genes, audio y video\u00bb.<\/p>\n
Un par de noches antes de la fecha l\u00edmite, Uszkoreit se dio cuenta de que necesitaban un t\u00edtulo. Jones se\u00f1al\u00f3 que el equipo hab\u00eda llegado a un rechazo radical de las mejores pr\u00e1cticas aceptadas, en particular los LSTM, para una t\u00e9cnica: la atenci\u00f3n. Los Beatles, record\u00f3 Jones, hab\u00edan titulado una canci\u00f3n \u00abAll You Need Is Love\u00bb. \u00bfPor qu\u00e9 no llamar al peri\u00f3dico \u201cLo \u00fanico que necesitas es atenci\u00f3n\u201d?<\/p>\n
\u00bfLos Beatles?<\/em><\/p>\n \u00abSoy brit\u00e1nico\u00bb, dice Jones. \u201cLiteralmente, me llev\u00f3 cinco segundos pensarlo. No pens\u00e9 que lo usar\u00edan\u201d.<\/p>\n Continuaron recopilando resultados de sus experimentos hasta la fecha l\u00edmite. \u201cLas cifras ingl\u00e9s-franc\u00e9s llegaron como cinco minutos antes de que envi\u00e1ramos el art\u00edculo\u201d, dice Parmar. \u201cEstaba sentado en la micrococina en 1965, registrando ese \u00faltimo n\u00famero\u201d. Cuando apenas hab\u00edan transcurrido dos minutos, expulsaron el partido.<\/p>\n<\/div>\n