Google ha anunciado su nueva supercomputadora en la nube A3, que ahora está disponible en vista previa privada.
La nueva potencia se puede utilizar para entrenar modelos de Machine Learning (ML), continuando con el reciente impulso del gigante tecnológico para ofrecer infraestructura en la nube para propósitos de IA, como el nuevo G2 (se abre en una pestaña nueva)la primera máquina virtual (VM) en la nube que utiliza la nueva GPU NVIDIA L4 Tensor Core.
en una entrada de blog (se abre en una pestaña nueva)señaló la compañía, «las supercomputadoras Google Compute Engine A3 están diseñadas específicamente para entrenar y servir a los modelos de IA más exigentes que impulsan la IA generativa actual y la innovación de modelos de lenguaje grande».
A2 contra A3
El A3 usa la GPU Nvidia H100, que es el sucesor del popular A100, que se usó para impulsar el A2 anterior. También se usa para potenciar ChatGPT, el escritor de IA que inició la carrera de IA generativa cuando se lanzó en noviembre del año pasado.
El A3 también es la primera VM en la que las GPU utilizarán las VPU de 200 Gbps diseñadas a medida de Google, lo que permite diez veces el ancho de banda de red de las VM A2 anteriores.
El A3 también hará uso del centro de datos Júpiter de Google, que puede escalar a decenas de miles de GPU interconectadas y «permite enlaces ópticos reconfigurables de ancho de banda completo que pueden ajustar la topología a pedido».
Google también afirma que «el ancho de banda de la carga de trabajo… es indistinguible de las estructuras de red sin bloqueo disponibles en el mercado más costosas, lo que resulta en un TCO más bajo». El A3 también «proporciona hasta 26 exaFlops de rendimiento de IA, lo que mejora considerablemente el tiempo y los costos para entrenar grandes modelos de ML».
Cuando se trata de cargas de trabajo de inferencia, que es el verdadero trabajo que realiza la IA generativa, Google nuevamente hace otra afirmación audaz de que el A3 logra un aumento del rendimiento de inferencia de 30 veces más que el A2.
Además de los ocho H100 con un ancho de banda biseccional de 3,6 TB/s entre ellos, las otras especificaciones destacadas del A3 incluyen los procesadores escalables Intel Xeon de cuarta generación de próxima generación y 2 TB de memoria host a través de DIMM DDR5 de 4800 MHz.
“Las máquinas virtuales A3 de Google Cloud, con tecnología de GPU NVIDIA H100 de próxima generación, acelerarán el entrenamiento y el servicio de aplicaciones de IA generativa”, dijo Ian Buck, vicepresidente de computación de hiperescala y alto rendimiento de NVIDIA.
En un anuncio complementario en Google I/O 2023 (se abre en una pestaña nueva)la compañía también dijo que el soporte de IA generativa en Vertex AI estará disponible para más clientes ahora, lo que permite la construcción de modelos ML en una infraestructura totalmente administrada que renuncia a la necesidad de mantenimiento.
Los clientes también pueden implementar A3 en Google Kubernetes Engine (GKE) y Compute Engine, lo que significa que pueden obtener soporte para el escalado automático y la orquestación de cargas de trabajo, además de tener derecho a actualizaciones automáticas.
Parece que Google está adoptando el enfoque B2B en lo que respecta a la IA, en lugar de liberar una IA para que cualquiera pueda jugar, tal vez después de haber sido quemado por el lanzamiento desfavorable de su rival ChatGPT, Google Bard. Sin embargo, también anunció PaLM 2 en Google I/O, que es su sucesor y supuestamente más poderoso que otros LLM, por lo que tendremos que estar atentos a este espacio.