Nvidia se burló de su próxima CPU Grace basada en Arm en GTC 2023, pero el anuncio de la compañía de que los sistemas ahora se enviarán en la segunda mitad de este año representa un retraso con respecto a su cronograma de lanzamiento original que apuntaba a la primera mitad de 2023. Le preguntamos al CEO de Nvidia, Jensen Huang sobre la demora durante una sesión de preguntas y respuestas de la prensa hoy, que cubriremos a continuación. Nvidia también mostró su silicio Grace por primera vez e hizo muchas afirmaciones nuevas sobre el rendimiento durante su discurso de apertura de GTC, incluido que sus chips Grace basados en Arm son hasta 1,3 veces más rápidos que los competidores x86 al 60 % de la potencia, lo cual también cubre.
Le pregunté a Jensen Huang sobre el retraso en la entrega de los sistemas Grace CPU y Grace Hopper Superchip al mercado final. Después de que retrocedió juguetonamente sobre la fecha de lanzamiento esperada (es (se abre en una pestaña nueva) era (se abre en una pestaña nueva) sin duda 1H23 (se abre en una pestaña nueva)ahora 2H23 (se abre en una pestaña nueva)), el respondió:
«Bueno, primero, puedo decirles que tanto Grace como Grace Hopper están en producción, y el silicio está volando a través de la fábrica ahora. Se están fabricando sistemas, e hicimos muchos anuncios. Los OEM y los fabricantes de computadoras del mundo los están construyendo. .» Huang también comentó que Nvidia solo ha estado trabajando en los chips durante dos años, que es un tiempo relativamente corto dado el ciclo de diseño típico de varios años para un chip moderno.
La definición actual de los sistemas de envío puede ser confusa: los primeros sistemas de AMD e Intel a menudo se envían a los hiperescaladores para su implementación mucho antes de que los chips vean la disponibilidad general lista para usar. Sin embargo, aunque Nvidia dice que está probando chips para los clientes, aún no ha dicho que Grace se esté implementando en producción. Como tal, los chips llegan tarde de acuerdo con las proyecciones de la compañía, pero para ser justos, los lanzamientos de chips perennemente tardíos de compañías como Intel no son infrecuentes. Eso resalta la dificultad de lanzar un nuevo chip, incluso cuando se construye alrededor de los chips x86 dominantes con plataformas de hardware y software establecidas construidas durante décadas.
En contraste, los chips Grace y Grace+Hopper de Nvidia son un replanteamiento desde cero de muchos de los aspectos fundamentales del diseño de chips con una nueva e innovadora interconexión de chip a chip. El uso de Nvidia del conjunto de instrucciones Arm también significa que hay un mayor impulso para las optimizaciones y la portabilidad del software, y la empresa tiene una plataforma completamente nueva para construir.
Jensen aludió a algo de eso en su respuesta ampliada, diciendo: «Comenzamos con Superchips en lugar de chiplets porque las cosas que queremos construir son muy grandes, y ambos están en producción hoy. Así que los clientes están siendo probados, el software es siendo portado a él, y estamos haciendo muchas pruebas. Durante el discurso de apertura, mostré algunos números, y no quería sobrecargar el discurso de apertura con muchos números, pero habrá un montón de números disponibles. para que la gente disfrute. Pero la actuación fue realmente fantástica».
Imagen 1 de 4
Y las afirmaciones de Nvidia son impresionantes. Por ejemplo, en el álbum anterior, puedes ver el chip Grace Hopper que Nvidia mostró en carne y hueso por primera vez en GTC (más detalles técnicos aquí).
Durante la presentación, Huang afirmó que los chips son 1,2 veces más rápidos que el chip de servidor x86 de próxima generación ‘promedio’ en un punto de referencia de uso intensivo de memoria HiBench Apache Spark y 1,3 veces más rápidos en un punto de referencia de comunicación de microservicios de Google, todo mientras consume solo el 60% de el poder.
Nvidia afirma que esto permite que los centros de datos implementen 1,7 veces más servidores Grace en cuotas de energía limitada, cada una de las cuales proporciona un rendimiento un 25 % mayor. La empresa también afirma (se abre en una pestaña nueva) Grace es 1,9 veces más rápida en cargas de trabajo de dinámica de fluidos computacional (CFD).
Imagen 1 de 2
Sin embargo, mientras que los chips Grace son de alto rendimiento y eficientes en algunas cargas de trabajo, Nvidia no los apunta al mercado de servidores de propósito general. En su lugar, la empresa ha adaptado los chips para casos de uso específicos, como cargas de trabajo de inteligencia artificial y en la nube que favorecen un rendimiento superior de procesamiento de memoria y de subproceso único junto con una excelente eficiencia energética.
«[..]casi todos los centros de datos ahora tienen energía limitada, y diseñamos Grace para que tenga un rendimiento extraordinario en un entorno de energía limitada», nos dijo Huang en respuesta a nuestras preguntas. «Y en ese caso, ambos deben tener un rendimiento realmente alto , y tienes que tener muy poca potencia e increíblemente eficiente. Por lo tanto, el sistema Grace es aproximadamente dos veces más eficiente en términos de energía/rendimiento en comparación con las mejores CPU de última generación».
«Y está diseñado para diferentes puntos de diseño, por lo que es muy comprensible», continuó Huang. «Por ejemplo, lo que acabo de describir no es importante para la mayoría de las empresas. Es muy importante para los proveedores de servicios en la nube y es muy importante para los centros de datos que tienen una potencia ilimitada».
Imagen 1 de 4
La eficiencia energética se está convirtiendo en una preocupación mayor que nunca, con chips como el AMD EPYC Genoa que analizamos recientemente y el Sapphire Rapids de Intel que ahora alcanza los 400 y 350 vatios, respectivamente. Eso requiere nuevas y exóticas soluciones de refrigeración por aire para contener el consumo prodigioso de energía en configuraciones estándar y refrigeración líquida para las opciones de mayor rendimiento.
Por el contrario, el menor consumo de energía de Grace hará que los chips sean más indulgentes con el enfriamiento. Como se reveló en GTC por primera vez, el paquete Grace de 144 núcleos de Nvidia mide 5″ x 8″ y puede caber en módulos de refrigeración pasiva que son sorprendentemente compactos. Estos módulos aún dependen de la refrigeración por aire, pero dos pueden refrigerarse por aire en un solo chasis delgado de 1U.
Imagen 1 de 3
Nvidia también mostró su silicio Grace Hopper Superchip por primera vez en GTC. El Superchip combina la CPU Grace con una GPU Hopper en el mismo paquete. Como puede ver en el álbum anterior, dos de estos módulos también pueden caber en un solo chasis de servidor. Puede leer los detalles detallados sobre este diseño aquí.
La gran ventaja de este diseño es que la coherencia de memoria CPU+GPU mejorada, alimentada por una conexión de chip a chip de baja latencia que es siete veces la velocidad de la interfaz PCIe, permite que la CPU y la GPU compartan información almacenada en la memoria. a una velocidad y eficiencia que es imposible con diseños anteriores.
Huang explicó que este enfoque es ideal para IA, bases de datos, sistemas de recomendación y modelos de lenguaje extenso (LLM), todos los cuales tienen una demanda increíble. Al permitir que la GPU acceda directamente a la memoria de la CPU, las transferencias de datos se optimizan para mejorar el rendimiento.
Los chips Grace de Nvidia pueden estar un poco atrasados, pero la compañía tiene una gran cantidad de socios, con Asus, Atos, Gigabyte, HPE, Supermicro, QCT, Wiston y Zt, todos preparando sistemas OEM para el mercado. Esos sistemas ahora se esperan para la segunda mitad del año, pero Nvidia no ha dicho si llegarán o no hacia el comienzo o el final de la segunda mitad.