Google dio el pistoletazo de salida a Google I/O esta tarde hablando durante más de una hora sobre sus numerosos avances en inteligencia artificial. La compañía habló sobre su nuevo modelo de lenguaje grande (LLM) PaLM 2 para IA generativa, que impulsa la herramienta de chatbot Bard. Este es un pilar fundamental para agregar funciones con IA en la cartera de productos de Google, incluidos Google Maps, Google Photos y Gmail (entre otros).
Con eso en mente, se necesita mucha potencia en la nube para potenciar los modelos en la naturaleza, ya que millones (y eventualmente miles de millones) de usuarios envían solicitudes para operaciones tan mundanas como eliminar a una persona que permanece en el fondo de una imagen para redactar un correo electrónico completo para usted basado en un breve mensaje de texto. Ahí es donde se enfoca la nueva supercomputadora GPU A3 de Google. Google dice que las nuevas supercomputadoras A3 están «diseñadas específicamente para entrenar y servir a los modelos de IA más exigentes que impulsan la IA generativa actual y la innovación de modelos de lenguaje grande» al tiempo que ofrecen 26 exaFlops de rendimiento de IA.
Cada supercomputadora A3 está equipada con procesadores escalables Intel Xeon de cuarta generación respaldados por 2 TB de memoria DDR5-4800. Pero el verdadero «cerebro» de la operación proviene de las ocho GPU Nvidia H100 «Hopper», que tienen acceso a 3,6 TBps de ancho de banda biseccional al aprovechar NVLink 4.0 y NVSwitch.
Según Google, A3 representa la primera implementación a nivel de producción de su interfaz de datos de GPU a GPU, que permite compartir datos a 200 Gbps sin pasar por la CPU del host. Esta interfaz, que Google llama Unidad de procesamiento de infraestructura (IPU), da como resultado un aumento de 10 veces en el ancho de banda de red disponible para máquinas virtuales (VM) A3 en comparación con las VM A2.
«Las máquinas virtuales A3 de Google Cloud, con tecnología de GPU NVIDIA H100 de próxima generación, acelerarán el entrenamiento y el servicio de aplicaciones de IA generativa», dijo Ian Buck, vicepresidente de computación de hiperescala y alto rendimiento de NVIDIA. «Inmediatamente después de las instancias G2 lanzadas recientemente por Google Cloud, estamos orgullosos de continuar nuestro trabajo con Google Cloud para ayudar a transformar empresas de todo el mundo con una infraestructura de inteligencia artificial especialmente diseñada».
Si su empresa desea aprovechar las máquinas virtuales A3, la única forma de obtener acceso es completando el formulario de interés de vista previa A3 de Google para unirse al programa de acceso anticipado. Pero como dice claramente Google, ingresar su información no garantiza un lugar en el programa.