Intel finalmente ha revelado su acelerador de IA de próxima generación, el Gaudi 3, basado en un nodo de proceso de 5 nm y que compite directamente con las GPU H100 de NVIDIA.
Los aceleradores de IA Intel Gaudi 3 luchan contra NVIDIA y ofrecen un rendimiento de IA un 50 % más rápido en promedio y un 40 % de eficiencia
Los aceleradores de IA Gaudí de Intel han sido un gran competidor y la única alternativa a las GPU de NVIDIA en el segmento de IA. Recientemente vimos algunas comparaciones acaloradas entre las GPU Gaudi 2 y NVIDIA A100/H100, con Intel mostrando su fuerte liderazgo en rendimiento/$, mientras que NVIDIA se mantuvo como líder general en IA en términos de rendimiento. Ahora comienza el tercer capítulo en el viaje de Intel a la IA con su acelerador Gaudi 3, que se ha detallado completamente.
La compañía anunció el acelerador Gaudi 3, que presenta la última arquitectura Tensor Core (quinta generación) con un total de 64 núcleos tensoriales empaquetados en dos matrices de cómputo. La GPU en sí tiene un grupo de caché de 96 MB que se comparte entre ambas matrices y hay ocho sitios HBM, cada uno con pilas de 8 hi de 16 Gb HBM2e DRAM para capacidades de hasta 128 GB y ancho de banda de hasta 3,7 TB/s. Todo el chip se fabrica utilizando la tecnología de nodo de proceso TSMC de 5 nm y hay un total de 24 enlaces de interconexión de 200 GbE.
En términos de ofertas de productos, los aceleradores Intel Gaudi 3 AI vendrán en formato Mezzanine OAM (HL-325L) con variantes estándar de hasta 900 W y más de 900 W con refrigeración líquida y PCIe AIC con altura completa, doble ancho y Diseño de 10,5″ de longitud. Las tarjetas PCIe Gaudi 3 HL-338 vendrán con refrigeración pasiva y admitirán hasta 600 W TDP con las mismas especificaciones que la variante OAM.
La compañía también anunció su propia placa base HLB-325 y su subsistema integrado HLFB-325L que puede transportar hasta 8 aceleradores Gaudi 3. Este sistema tiene un TDP combinado de 7,6 kilovatios y mide 19″.
La continuación de Gaudi 3 vendrá en forma de Falcon Shores, que se espera para 2025 y combinará las IP Gaudi y Xe en una única interfaz de programación de GPU construida en torno a la especificación Intel oneAPI.
Presione soltar: En Intel Vision, Intel presenta el acelerador de IA Intel Gaudi 3, que ofrece 4 veces computación de IA para BF16, 1,5 veces más ancho de banda de memoria y 2 veces más ancho de banda de red para una ampliación masiva del sistema en comparación con su predecesor: un salto significativo en rendimiento y productividad. para entrenamiento e inferencia de IA en modelos de lenguaje grande (LLM) y modelos multimodales populares.
El acelerador Intel Gaudi 3 cumplirá con estos requisitos y ofrecerá versatilidad a través de software abierto basado en la comunidad y Ethernet abierto estándar de la industria, ayudando a las empresas a escalar de manera flexible sus sistemas y aplicaciones de IA.
Cómo la arquitectura personalizada ofrece rendimiento y eficiencia GenAI: El acelerador Intel Gaudi 3, diseñado para una computación eficiente de IA a gran escala, se fabrica en un proceso de 5 nanómetros (nm) y ofrece avances significativos con respecto a su predecesor. Está diseñado para permitir la activación de todos los motores en paralelo, con Matrix Multiplication Engine (MME), Tensor Processor Cores (TPC) y Networking Interface Cards (NIC), lo que permite la aceleración necesaria para una computación y escala de aprendizaje profundo rápidas y eficientes. Las características clave incluyen:
- Motor informático dedicado a la IA: El acelerador Intel Gaudi 3 fue diseñado específicamente para computación GenAI de alto rendimiento y alta eficiencia. Cada acelerador presenta de forma única un motor informático heterogéneo compuesto por 64 TPC programables y personalizados con IA y ocho MME. Cada Intel Gaudi 3 MME es capaz de realizar la impresionante cifra de 64.000 operaciones paralelas, lo que permite un alto grado de eficiencia computacional, lo que los hace expertos en el manejo de operaciones matriciales complejas, un tipo de cálculo que es fundamental para los algoritmos de aprendizaje profundo. Este diseño único acelera la velocidad y la eficiencia de las operaciones paralelas de IA y admite múltiples tipos de datos, incluidos FP8 y BF16.
- Aumento de memoria para requisitos de capacidad de LLM: 128 gigabytes (GB) de capacidad de memoria HBMe2, 3,7 terabytes (TB) de ancho de banda de memoria y 96 megabytes (MB) de memoria estática de acceso aleatorio (SRAM) integrada proporcionan amplia memoria para procesar grandes conjuntos de datos GenAI en menos Intel Gaudi 3. particularmente útil para servir modelos multimodales y de lenguaje grande, lo que resulta en un mayor rendimiento de la carga de trabajo y rentabilidad del centro de datos.
- Escalado eficiente del sistema para GenAI empresarial: Veinticuatro puertos Ethernet de 200 gigabit (Gb) están integrados en cada acelerador Intel Gaudi 3, lo que proporciona una red flexible y de estándar abierto. Permiten un escalamiento eficiente para admitir grandes clústeres de computación y eliminar la dependencia de proveedores de estructuras de redes patentadas. El acelerador Intel Gaudi 3 está diseñado para escalar y escalar de manera eficiente desde un solo nodo a miles para cumplir con los amplios requisitos de los modelos GenAI.
- Software de industria abierta para la productividad de los desarrolladores: El software Intel Gaudi integra el marco PyTorch y proporciona modelos optimizados basados en la comunidad Hugging Face, el marco de IA más común para los desarrolladores de GenAI en la actualidad. Esto permite a los desarrolladores de GenAI operar a un alto nivel de abstracción para facilitar el uso, la productividad y la facilidad de transferencia de modelos entre tipos de hardware.
- Gaudí 3 PCIe: Una novedad en la línea de productos es la tarjeta complementaria PCIe (interconexión rápida de componentes periféricos) Gaudi 3. Diseñado para brindar alta eficiencia con menor consumo de energía, este nuevo factor de forma es ideal para cargas de trabajo como ajuste fino, inferencia y generación aumentada de recuperación (RAG). Está equipado con un factor de forma de altura completa de 600 vatios, con una capacidad de memoria de 128 GB y un ancho de banda de 3,7 TB por segundo.
El acelerador Intel Gaudi 3 ofrecerá importantes mejoras de rendimiento para tareas de capacitación e inferencia en los principales modelos GenAI. Específicamente, se prevé que el acelerador Intel Gaudi 3 ofrezca un rendimiento promedio en comparación con NVIDIA H100:
- Tiempo de entrenamiento un 50% más rápido en los parámetros Llama2 7B y 13B, y en los modelos de parámetros GPT-3 175B.
- Rendimiento de inferencia un 50 % más rápido y 40 % más de eficiencia energética de inferencia en los parámetros Llama 7B y 70B, y en los modelos de parámetros Falcon 180B. Una ventaja de rendimiento de inferencia aún mayor en secuencias de entrada y salida más largas.
- Inferencia un 30 % más rápida en los parámetros Llama 7B y 70B, y los modelos de parámetros Falcon 180B contra NVIDIA H200.
Acerca de la adopción y disponibilidad del mercado: El acelerador Intel Gaudi 3 estará disponible para los fabricantes de equipos originales (OEM) en el segundo trimestre de 2024 en configuraciones estándar de la industria de placa base universal y módulo de acelerador abierto (OAM). Entre los adoptantes OEM notables que llevarán Gaudi 3 al mercado se encuentran Dell Technologies, HPE, Lenovo y Supermicro. Se prevé la disponibilidad general de los aceleradores Intel Gaudi 3 para el tercer trimestre de 2024, y se prevé que la tarjeta complementaria Intel Gaudi 3 PCIe esté disponible en el último trimestre de 2024.
El acelerador Intel Gaudi 3 también impulsará varias infraestructuras LLM en la nube rentables para capacitación e inferencia, ofreciendo ventajas y opciones de precio-rendimiento a las organizaciones que ahora incluyen NAVER.