Intel planeó originalmente que sus chips Falcon Shores tuvieran núcleos de GPU y CPU debajo del capó, creando la primera ‘XPU’ de la compañía para computación de alto rendimiento. Sin embargo, su sorpresivo anuncio hace unos meses de que cambiaría a un diseño solo de GPU y retrasaría los chips hasta 2025 dejó a los observadores de la industria conmocionados; esto deja a Intel incapaz de competir con los procesadores Instinct MI300 de AMD y Grace Hopper de Nvidia, que cuentan con una combinación Diseño de CPU+GPU.
Hoy, Intel proporcionó algunas de sus razones un tanto cuestionables detrás de la decisión de reducir sus planes para Falcon Shores para convertirlo en el sucesor solo de GPU de la serie de GPU Xeon Max. Intel también esbozó algunos de los primeros detalles de su nuevo diseño Falcon Shores solo para GPU, que veremos más adelante.
Intel también emitió una nueva hoja de ruta de HPC e IA que no muestra un sucesor del procesador Gaudi3; en cambio, Gaudi y las GPU se fusionan con la GPU Falcon Shores a medida que asume el manto del primer chip HPC e IA de Intel. Intel nos dijo que ‘planea integrar el producto Habana y AXG [GPU] hojas de ruta’, pero los detalles de la integración son escasos.
La arquitectura de cómputo de Gaudi varía significativamente de una GPU estándar, por lo que no parece que su arquitectura de cómputo pueda integrarse por completo en las GPU. Como tal, Intel podría incorporar partes más pequeñas del diseño de Gaudí, como su interfaz de red u otros bloques de IP, en sus GPU. Se nos dice que Jeff McVeigh, vicepresidente y gerente general de Accelerated Computing Group de Intel, brindará más detalles hoy. Como recordatorio, Intel pagó 2.000 millones de dólares por Habana Labs y eliminó productos de su adquisición de Nervana por 350 millones de dólares para centrarse en los chips Gaudí.
Intel compartió algunos detalles básicos sobre el nuevo diseño de Falcon Shores, que continuará enfocándose en las cargas de trabajo de HPC e IA, pero empleará núcleos de GPU. Las XPU Falcon Shores centradas en HPC se diseñaron para aplicaciones de supercomputación con planes de fusionar la tecnología de CPU y GPU en un paquete de chips combinado, pero ahora llegarán por primera vez como una arquitectura solo de GPU en 2025.
Falcon Shores empleará conmutación ethernet estándar, al igual que la arquitectura Gaudi centrada en la inteligencia artificial de Intel, una cantidad no especificada de memoria HBM3 y «E/S diseñadas para escalar», lo que probablemente significa que Falcon Shores vendrá con diferentes opciones de capacidad de memoria. Intel dice que Falcon vendrá con hasta 288 GB de HBM3 y 9,8 TB/s de rendimiento de memoria total. Como era de esperar, admitirá tipos de datos más pequeños, como FP8 y BF16.
El boceto básico del dispositivo también incluye una interfaz de programación común basada en GPU, OneAPI, que permitirá una amplia compatibilidad con otras CPU y arquitecturas. Intel también enumera la compatibilidad con CXL como un diferenciador clave, lo que nos lleva a la lógica detrás de sacar los núcleos de la CPU del paquete Falcon Shores.
Intel dice que su objetivo inicial de mezclar núcleos de CPU y GPU en el mismo paquete Falcon Shores fue prematuro. Como se muestra en la diapositiva anterior, Intel dice que la combinación óptima de núcleos de CPU y GPU ha cambiado con el tiempo a medida que han evolucionado las cargas de trabajo, y la empresa espera que se produzcan cambios aún más rápidos y radicales en la proporción óptima de CPU/GPU con la explosión de IA generativa y LLM en el espacio HPC. Como tal, Intel dice que no siente que sea el momento adecuado para encerrar a los clientes en proporciones específicas de CPU y GPU.
Imagen 1 de 2
Sin embargo, como se muestra arriba, el plan original para Falcon Shores incluía la capacidad de ajustar las proporciones de CPU/GPU colocando una cantidad diferente de mosaicos de CPU o GPU en el diseño de cuatro mosaicos, lo que le permitía configurar la combinación óptima para varias cargas de trabajo. Además, por diseño, las supercomputadoras de vanguardia son diseños altamente especializados para la tarea en cuestión, y el ajuste del software para la arquitectura es simplemente una parte rutinaria del negocio de operar una supercomputadora. Estos factores implican que las proporciones de CPU/GPU no son la única razón por la que Intel eliminó los núcleos de CPU del diseño.
Intel también apunta a permitir que sus clientes usen varias CPU diferentes, que lógicamente incluirían los chips x86 de AMD y Arm de Nvidia, con su diseño de GPU, sin obligar a los clientes a elegir los núcleos x86 de Intel sobre otras compañías. Pero, nuevamente, los planes originales de Intel también incluían variantes de GPU y CPU de Falcon Shores, por lo que esta lógica tampoco parece convincente.
Intel dice que aprovechará la interfaz CXL para permitir que sus clientes aprovechen una arquitectura componible que puede unir varias proporciones de CPU/GPU en sus diseños personalizados. Sin embargo, la interfaz CXL proporciona solo 64 GB/s de rendimiento entre elementos, mientras que los diseños personalizados de CPU+GPU como Grace Hopper de Nvidia pueden proporcionar hasta 1 TB/s de rendimiento de memoria entre la CPU y la GPU. Eso confiere ventajas tanto de rendimiento como de eficiencia sobre una implementación de CXL para muchos tipos de cargas de trabajo, especialmente cargas de trabajo de IA que consumen mucho ancho de banda de memoria. Eso sin mencionar las conexiones inherentemente de menor latencia entre elementos y otras ventajas, como una mayor densidad de rendimiento.
Es decir, si bien la idea de Intel de una arquitectura más componible está bien para algunas cargas de trabajo, es probable que no pueda competir con el MI300 de AMD o el Grace de Nvidia en potencia, costo o rendimiento para ciertas aplicaciones.
Del mismo modo, la decisión de Intel de reducir la cadencia de lanzamiento de su GPU no es ideal, ya que tendrá que aprovechar productos más antiguos para competir con arquitecturas mucho más avanzadas para HPC, como Grace Superchips de Nvidia y la próxima APU de exaescala de AMD, Instinct MI300, que se lanzarán en 2023.
A pesar de la justificación de Intel para cambiar sus objetivos, es difícil no ver la redefinición de Falcon Shores de Intel en un producto solo de GPU, ya que la empresa pierde un punto de inflexión arquitectónico que la pondrá en una desventaja competitiva en el futuro.