Los precios de los componentes de PC, incluidas las GPU, se dispararán enormemente en EE. UU. a medida que la administración Biden promete restablecer los aranceles de la era Trump sobre los productos ensamblados en China.

Con la última medida del gobierno de EE. UU., se espera que los precios de las GPU para PC aumenten enormemente

Los aranceles de los que estamos hablando se impusieron inicialmente durante el mandato de Donald Trump, cuando el gobierno quería reducir la influencia china en los mercados tecnológicos nacionales. Se dijo que todas las importaciones de hardware que provengan directamente de China enfrentarán un arancel del 25%, que incluye GPU, aceleradores basados ​​en inteligencia artificial y muchos otros componentes.

Sin embargo, durante el gobierno de Biden la política arancelaria se frenó. Su reimposición se retrasó del 1 de enero de 2024 al 31 de mayo de 2024, y dado que nos acercamos a este último cronograma, parece que el gobierno finalmente ha adoptado una postura dura.

El miércoles, el Representante Comercial de Estados Unidos (USTR) emitió un aviso afirmando que el arancel ahora se «mantendrá». Ante la consulta de PCMag, reiteraron su compromiso de imponer la nueva política tributaria. Se revela que las tarifas utilizan los códigos «8473.30.1180 y 8473.30.5100», y según esto, múltiples componentes, como tarjetas gráficas y placas base, ahora enfrentarán tarifas adicionales y, en última instancia, los efectos se traducirán en los mercados de consumo en en forma de mayores costos, similar a lo que vimos en la era Trump.

Sin embargo, es importante señalar que el USTR aún no ha publicado un aviso oficial que impondrá «formalmente» los aranceles. A juzgar por las condiciones políticas actuales y las tensiones entre Estados Unidos y China, la política arancelaria no parece estar muy lejos de implementarse. Bueno, dado que vemos la imposición de nuevos impuestos, se puede esperar un aumento significativo en el precio de los componentes de PC, especialmente los principales como placas base y GPU, ya que varios fabricantes, como ZOTAC y MSI, han establecido sus instalaciones de producción en China y la importación. de productos de dichos proveedores será mucho más costosa.

Las organizaciones y los industriales se han opuesto en mayor medida a tal medida, alegando que suprimiría las actividades comerciales y haría que la compra de artículos arancelados fuera más compleja que nunca, considerando que la política alteraría enormemente la cadena de suministro. Será interesante ver cómo procede la administración Biden con esta medida, pero por lo que parece, puede ser una decisión desfavorable.

Fuente de noticias: PCMag

AMD ha anunciado Nscale como el primer proveedor de nube del mundo centrado en la tecnología AMD impulsado por el gigante de la IA, Instinct MI300X.

Las GPU AMD Instinct MI300X encuentran su hogar en Nscale, el primer proveedor de servicios en la nube de IA centrado en AMD del mundo

Presione soltar: Hoy se marca el lanzamiento oficial de Nscale como uno de los primeros proveedores de servicios en la nube centrados en la tecnología AMD del mundo, impulsado por el acelerador de GPU con IA Instinct MI300X. Nscale es una nube de GPU integrada verticalmente surgida de Arkon Energy, un centro de datos y negocio de alojamiento de 300 MW en América del Norte.

Ubicado estratégicamente en el norte de Noruega, el sitio N1 Glomfjord de Nscale se beneficia de una de las energías renovables de menor costo del mundo, lo que convierte al sitio N1 Glomfjord en uno de los centros de capacitación en LLM e IA más rentables del mundo.

Características y beneficios clave de Nscale Cloud:

• Nube vertical de IA: Nscale posee y opera toda la pila de IA, desde sus centros de datos modulares hasta sus clústeres de computación de alto rendimiento, lo que le permite optimizar cada capa de la pila para lograr rendimiento y rentabilidad.
• Construido para la sostenibilidad: ubicado en el norte de Noruega, Nscale funciona con energía 100 % renovable y aprovecha las soluciones de refrigeración natural para ofrecer servicios informáticos de GPU sostenibles.
• La mejor economía de su clase: la integración vertical de Nscale y la energía renovable de bajo costo le permiten ofrecer una de las soluciones informáticas GPU más asequibles del mercado.
• Experiencia de usuario inigualable: Nscale, diseñado específicamente para la IA, agiliza la instalación, configuración y gestión de clústeres de supercomputación basados ​​en la nube para acelerar la I+D de la IA.

Al utilizar el ancho de banda de memoria mejorado y la capacidad de los aceleradores AMD Instinct MI300X, y la amplia experiencia de Nscale trabajando con hardware y el ecosistema abierto probado AMD ROCm, Nscale puede ofrecer a los clientes un precio, rendimiento y eficiencia impresionantes para las cargas de trabajo LLM y GenAI más exigentes.

El servicio Nscale está preparado para atraer a una amplia gama de usuarios, desde nuevas empresas hasta grandes empresas, que buscan aprovechar la inteligencia artificial avanzada, el aprendizaje profundo y el análisis de big data, pero se han visto obstaculizados por los altos costos y las preocupaciones ambientales asociadas con la nube de GPU tradicional. servicios.

Nscale no es sólo un proveedor de servicios sino un socio de innovación. Con sus soluciones GPU sólidas y asequibles, su objetivo es acelerar el desarrollo de tecnologías e investigaciones innovadoras que pueden conducir a avances significativos en diversos campos.

Por qué es importante: Como parte de su misión de llevar la IA a todas partes, Intel invierte en software y ecosistema de IA para garantizar que sus productos estén preparados para las últimas innovaciones en el espacio dinámico de la IA. En el centro de datos, los procesadores Gaudi y Xeon con aceleración Advanced Matrix Extension (AMX) brindan a los clientes opciones para cumplir con requisitos dinámicos y de amplio alcance.

Los procesadores Intel Core Ultra y los productos gráficos Arc brindan un vehículo de desarrollo local y una implementación en millones de dispositivos con soporte para marcos y herramientas de software integrales, incluidos PyTorch e Intel Extension para PyTorch utilizados para investigación y desarrollo local y el kit de herramientas OpenVINO para desarrollo e inferencia de modelos. .

Acerca de Llama 3 ejecutándose en Intel: Las pruebas iniciales y los resultados de rendimiento de Intel para los modelos Llama 3 8B y 70B utilizan software de código abierto, incluidos PyTorch, DeepSpeed, la biblioteca Optimum Habana e Intel Extension para PyTorch para proporcionar las últimas optimizaciones de software.

• Los aceleradores Intel Gaudi 2 han optimizado el rendimiento en los modelos Llama 2 (parámetros 7B, 13B y 70B) y ahora tienen mediciones de rendimiento iniciales para el nuevo modelo Llama 3. Con la madurez del software Gaudí, Intel ejecutó fácilmente el nuevo modelo Llama 3 y generó resultados para inferencias y ajustes. Llama 3 también cuenta con el apoyo del acelerador Gaudí 3 recientemente anunciado.
• Los procesadores Intel Xeon abordan cargas de trabajo exigentes de IA de extremo a extremo e Intel invierte en optimizar los resultados de LLM para reducir la latencia. Los procesadores Xeon 6 con núcleos de rendimiento (cuyo nombre en código es Granite Rapids) muestran una mejora del doble en la latencia de inferencia de Llama 3 8B en comparación con los procesadores Xeon de cuarta generación y la capacidad de ejecutar modelos de lenguaje más grandes, como Llama 3 70B, por debajo de 100 ms por token generado.
• Intel Core Ultra y Arc Graphics ofrecen un rendimiento impresionante para Llama 3. En una ronda inicial de pruebas, los procesadores Core Ultra ya generan velocidades de lectura humanas más rápidas que las típicas. Además, la GPU Arc A770 tiene X^mi Aceleración de IA Matrix eXtensions (XMX) y 16 GB de memoria dedicada para proporcionar un rendimiento excepcional para cargas de trabajo de LLM.

Procesadores escalables Xeon

Intel ha estado optimizando continuamente la inferencia LLM para plataformas Xeon. Como ejemplo, en comparación con el lanzamiento de Llama 2, las mejoras del software en PyTorch e Intel Extension para PyTorch han evolucionado para ofrecer una reducción de latencia 5 veces mayor. La optimización utiliza la atención paginada y el tensor paralelo para maximizar la utilización informática disponible y el ancho de banda de la memoria. La Figura 1 muestra el rendimiento de la inferencia de Meta Llama 3 8B en la instancia AWS m7i.metal-48x, que se basa en el procesador escalable Xeon de cuarta generación.

Comparamos Meta Llama 3 en un procesador Xeon 6 con núcleos Performance (anteriormente llamado Granite Rapids) para compartir una vista previa del rendimiento. Estos números de vista previa demuestran que Xeon 6 ofrece una mejora del doble en la latencia de inferencia de Llama 3 8B en comparación con los procesadores Xeon de cuarta generación ampliamente disponibles, y la capacidad de ejecutar modelos de lenguaje más grandes, como Llama 3 70B, por debajo de 100 ms por token generado en un solo dos. servidor de socket.

Modelo	TP	Precisión	Longitud de entrada	Longitud de salida	Rendimiento	Latencia*	Lote
Meta-Llama-3-8B-Instrucción	1	fp8	2k	4k	1549.27 token/seg	7.747 EM	12
Meta-Llama-3-8B-Instrucción	1	bf16	1k	3k	469.11 token/seg	8.527 EM	4
Meta-Llama-3-70B-Instrucción	8	fp8	2k	4k	4927.31 token/seg	56,23 EM	277
Meta-Llama-3-70B-Instrucción	8	bf16	2k	2k	3574.81 token/seg	60.425 EM	216

Plataformas de clientes

En una ronda inicial de evaluación, el procesador Intel Core Ultra ya genera velocidades de lectura más rápidas que las típicas de los humanos. Estos resultados están impulsados ​​por la GPU Arc integrada con 8 núcleos Xe, aceleración AI DP4a incluida y hasta 120 GB/s de ancho de banda de memoria del sistema. Estamos entusiasmados de invertir en optimizaciones continuas de rendimiento y eficiencia energética en Llama 3, especialmente a medida que pasamos a nuestros procesadores de próxima generación.

Con soporte el día del lanzamiento para los procesadores Core Ultra y los productos gráficos Arc, la colaboración entre Intel y Meta proporciona tanto un vehículo de desarrollo local como una implementación en millones de dispositivos. El hardware del cliente Intel se acelera a través de herramientas y marcos de software integrales, incluidos PyTorch e Intel Extension para PyTorch utilizados para investigación y desarrollo local, y OpenVINO Toolkit para implementación e inferencia de modelos.

Que sigue: En los próximos meses, Meta espera introducir nuevas capacidades, tamaños de modelos adicionales y un rendimiento mejorado. Intel continuará optimizando el rendimiento de sus productos de IA para respaldar este nuevo LLM.

Intel ha esbozado su plan para los futuros mercados chinos de IA, revelando el debut de dos aceleradores de IA Gaudi 3 «específicos de China», superando potencialmente a sus competidores.

Intel hará pasar un mal rato a NVIDIA y AMD en China con sus nuevas soluciones de IA Gaudi 3, potencialmente ganando una enorme tracción

Intel presentó recientemente sus tan esperados aceleradores de IA Gaudi 3, que presentaban la última arquitectura Tensor Core (quinta generación) y muchas otras características específicas orientadas a la industria de la IA.

El acelerador Gaudi 3 obtuvo una respuesta decente por parte de los mercados, ya que Intel logró ofrecer rendimiento y eficiencia en un solo paquete. Sin embargo, otro dato interesante con los últimos aceleradores de Gaudí son los planes de Intel de entrar en los mercados chinos, esta vez con una oferta más atractiva y potencialmente dominante, posicionándose en lo más alto de la región.

Según se informa, Intel se está preparando para dos aceleradores de IA Gaudi 3 diseñados para apuntar a los mercados chinos, y para hacerlo; la empresa tiene que adherirse a las políticas estadounidenses.

Según la lista de especificaciones generales de producto revelada por Intel, las variantes Gaudi 3 HL-328 y HL-388 están «diseñadas por la República Popular China». La lista de especificaciones muestra que la única compensación está en la reducción del TDP del acelerador, ambos con una potencia nominal de 450 W (refrigerado por aire), lo que supone una caída de casi el 50 % con respecto a las variantes normales. El resto de las especificaciones son bastante similares, incluida una memoria HBM2e de 128 GB, un ancho de banda de 3,7 TB/s y mucho más, que hemos comentado aquí.

Ahora que vemos a Intel reingresar a los mercados chinos, será interesante ver cómo se desarrolla la situación. El primer factor es si la administración estadounidense permitirá a Intel vender los nuevos aceleradores, incluso si cumplen con las normas de China. Incluso si obtienen acceso, las GPU con IA Gaudi 3 de Intel se enfrentarán a una seria competencia de empresas internas como Huawei e incluso de competidores del mercado existentes como NVIDIA. En este caso, sin embargo, Intel podría tener la oportunidad de tomar ventaja, considerando la reacción del Equipo Verde de la administración Biden.

Es demasiado pronto para decir si las nuevas ofertas de Intel tendrán éxito en China. Aún así, si la empresa mantiene su compromiso y ofrece una cadena de suministro estable, muy bien podría penetrar los mercados y arrebatar participación de mercado a algunos de los gigantes tecnológicos.

Lenovo ha expresado un tremendo optimismo sobre el acelerador de IA Instinct MI300X de AMD, afirmando que lograría una adopción masiva.

El presidente de Lenovo cree que con menores tiempos de entrega, AMD podría potencialmente ganar impulso en los mercados

En una entrevista con CRN, el presidente norteamericano de Lenovo, Ryan McCurdy, habló un poco sobre el estado actual de los mercados de IA y el gran papel que desempeñarán las PC con IA en la remodelación del mercado de consumo. Ryan cree que los próximos mercados de PC verán un repunte económico saludable, gracias al ciclo de actualización de Windows 11 y a cómo las capacidades de inteligencia artificial en los sistemas locales han comenzado a atraer el interés de los consumidores. El debut de Lenovo de máquinas específicas de IA en CES 2024 mostró las intenciones de la empresa para seguir adelante. Con esto, la empresa cree que puede superar al mercado, dado que la demanda de los consumidores ha alcanzado nuevos máximos.

Además de los avances en el segmento de PC con IA, Ryan McCurdy también habló un poco sobre los mercados de hardware informático y el papel importante que han desempeñado NVIDIA y AMD para colocarlo en la posición en la que se encuentra actualmente.

Cuando se le preguntó si considera que la última oferta Instinct MI300X de AMD es superior a la contraparte de NVIDIA en términos de popularidad, Ryan reveló que Team Red tiene una ventaja aquí ya que su producto está más disponible y tiene tiempos de entrega significativamente menores.

No comentaré sobre un producto inédito, pero creo que la asociación ilustra el punto más importante, que es que la industria está buscando una amplia gama de opciones. Obviamente, cuando hay algún tipo de plazo de entrega, especialmente de seis meses, nueve meses y 12 meses, hay interés en que esta increíble tecnología esté disponible más ampliamente.

Sin embargo, Lenovo se compromete a ofrecer a sus clientes todas las opciones, ya sea NVIDIA, AMD o Intel, ya que creen que limitarse a un único proveedor significa limitar los mercados. Ryan dice que los consumidores están interesados ​​en todos los productos disponibles en los mercados, ya que existe una «base de usuarios-clientes finales hambrientos», que promueve una amplia gama de soluciones de inteligencia artificial.

Esto ciertamente significa que uno debe anticipar la demanda de hardware de IA en el próximo período, pero esta vez la competencia será más feroz y no unilateral. Los analistas y expertos de la industria han declarado que AMD está enviando grandes cantidades de sus aceleradores de IA Instinct MI300X y se espera que capture el 7% del mercado, lo que, aunque está a kilómetros de distancia de NVIDIA, sigue siendo un comienzo decente.

Fuente de noticias: CRN

Intel acaba de publicar sus últimas cifras de rendimiento de MLPerf v4.0 que cubren los aceleradores Gaudi 2 y las CPU Xeon «Emerald Rapids» de quinta generación; el primero muestra sólidos valores de rendimiento por dólar en comparación con la GPU H100 de NVIDIA.

El acelerador Intel Gaudi 2 AI es la única «alternativa comparada» a las GPU H100 de NVIDIA para GenAI, fuerte rendimiento/$ en resultados de MLPerf v4.0

Intel ha estado ajustando el rendimiento de su línea de aceleradores Gaudí en cargas de trabajo de IA utilizando su marco OneAPI desde hace algún tiempo. El resultado de este trabajo de software continuo se mostró en las últimas cifras de rendimiento de MLPerf v4.0 que muestran las capacidades de GenAI en cargas de trabajo como Llama-70B y Stable Diffusion XL, donde las soluciones de Intel ofrecen un rendimiento competitivo frente a los chips rivales. Más recientemente, la compañía mostró cómo los aceleradores Gaudi 2 eran más rápidos en comparación con las soluciones de NVIDIA en las últimas cargas de trabajo GenAI, como Stable Diffusion y Llama 2 LLM. Más sobre eso aquí.

Para realizar comparaciones, Intel utilizó una configuración de acelerador Gaudi 2 x8 frente a GPU NVIDIA H100 x8 para realizar evaluaciones comparativas de rendimiento de FP8 e INT8. En rendimiento relativo, la NVIDIA H100 sin duda está muy por delante de los aceleradores Intel Gaudi 2, ofreciendo mejoras de hasta 3,35 veces en servidor y hasta 2,76 veces en generación fuera de línea. Pero donde el juego cambia completamente a favor de Intel es en el rendimiento/$ donde los aceleradores Gaudi 2 se convierten en un producto con una posición muy competitiva y lo que Intel denomina Gaudi 2 como la única «alternativa comparada» al H100 de NVIDIA para cargas de trabajo GenAI.

Entonces, en términos de rendimiento por dólar, el acelerador Intel Gaudi 2 AI ofrece un valor 33 % mejor que la solución NVIDIA H100; NVIDIA H100 solo supera a Gaudi 2 en Llama-70B (servidor). Intel también se ha asociado recientemente con Qualcomm y Google para abordar el dominio CUDA de NVIDIA en IA a través de oneAPI, lo que puede conducir a mayores mejoras en el futuro. Los aceleradores de IA Gaudi 3 y Falcon Shores de próxima generación tendrán un sólido marco de software que los respalde en el momento de su lanzamiento.

Intel también comparte los resultados de MLPerf v4.0 para su familia escalable Xeon de quinta generación con nombre en código Emerald Rapids. Al comparar los chips con la familia «Sapphire Rapids» de cuarta generación, puede ver ganancias de hasta 1,9 veces y una ganancia promedio del 42 % con respecto a la generación anterior en cargas de trabajo como 3dUnet, BERT, RNN-T, ResNet50, RetinaNet, DLRMv2, GPT-J. Además, los socios OEM de Intel también han estado enviando sus resultados para CPU Xeon de quinta generación en una variedad de cargas de trabajo mixtas. Estos socios incluyen Dell Technologies, Quanta Computer, Supermicro, Wiwynn y CISCO.

Los aspectos más destacados de estos puntos de referencia son:

Aceleradores Intel Gaudí 2

• La ÚNICA alternativa comparada al H100 para GenAI
• Los puntos de referencia Stable Diffusion y Llama-70B muestran las ventajas de precio-rendimiento de Gaudí2 frente al H100
• La cobertura del modelo Intel Guadi continúa avanzando y emplea enfoques de desarrollo SOTA como TGI, utilizado en el envío de Llama.

Procesadores Xeon de quinta generación

• Intel sigue siendo el único proveedor de CPU para servidores que envía resultados de MLPerf
• Los resultados de 5.ª generación Xeon mejoraron en una media geométrica de 1,42 veces en comparación con los resultados de 4.ª generación Xeon en MLPerf Inference v3.1
• El número cada vez mayor de presentaciones y la creciente lista de socios son indicadores claros de que los clientes finales quieren maximizar la utilización de su infraestructura de CPU existente.

Estos puntos de referencia de MLPerf v4.0 muestran que Intel se toma muy en serio su ecosistema de IA y el trabajo que han estado realizando ha comenzado a dar frutos. La IA está exclusivamente dominada por NVIDIA en este momento, pero con los esfuerzos de Intel, el espacio puede volverse mucho más intenso en los próximos años.

La época de la «fiebre del oro» de AMD en los mercados de IA podría finalmente llegar, ya que la industria informa que la empresa enfrenta una demanda masiva de sus aceleradores de IA de vanguardia MI300X.

Empresas tecnológicas gigantes como Microsoft han expresado sus intenciones de emplear los aceleradores de IA AMD Instinct MI300X, abordando el monopolio de NVIDIA

Cuando observamos el curso de los acontecimientos en los mercados de IA, la presencia de AMD no se veía por ningún lado y todos han estado «animando» a NVIDIA desde principios de 2023. Sin embargo, los esfuerzos del Equipo Rojo para captar la atención del mercado finalmente podrían dar resultado. , ya que se informa que la empresa enviará grandes cantidades de aceleradores de IA MI300X, con la expectativa de que por sí sola aseguraría un suministro del 7% de los mercados de IA, estableciendo un hito considerable para la empresa.

Ahora, quizás te preguntes qué ha causado esta repentina inclinación hacia el acelerador insignia Instinct de AMD. Bueno, la respuesta es simple. La cadena de suministro de NVIDIA se ha agotado en mayor medida, ya que la empresa ha estado involucrada en la fabricación y entrega de grandes volúmenes de sus productos de IA.

Esto ha provocado una enorme acumulación de pedidos, lo que ha provocado retrasos para las empresas de tecnología que desean el rendimiento informático más rápido. Si bien la compañía está tratando de abordar esto tanto como sea posible, trabajando con firmas como TSMC y Synopsys que están utilizando la nueva tecnología CuLitho, parece que todavía hay una demanda bastante grande, y uno de los factores más importantes es el costo que con el No se espera que las GPU Blackwell que se anunciaron hoy bajen en absoluto.

Por otro lado, AMD promete una oferta mucho más robusta y una mejor relación precio-rendimiento, razón por la cual el MI300X ha ganado una inmensa popularidad y ha sido la máxima prioridad para los profesionales del sector. Así es como se resume el rendimiento del AMD MI300X en comparación con el H100 de NVIDIA:

• Capacidad de memoria 2,4 veces mayor
• Ancho de banda de memoria 1,6 veces mayor
• 1,3X TFLOPS del FP8
• 1,3X TFLOPS FP16
• Hasta un 20 % más rápido que el H100 (Llama 2 70B) en una comparación 1 contra 1
• Hasta un 20 % más rápido que el H100 (FlashAttention 2) en comparación 1 contra 1
• Hasta un 40% más rápido que H100 (Llama 2 70B) en servidor 8v8
• Hasta un 60 % más rápido que el H100 (Bloom 176B) en un servidor 8v8

Se espera que las empresas de IA de AMD ganen impulso a medida que empresas como Microsoft, Meta y otras estén probando las opciones de IA del Team Red. Se espera que la compañía envíe pronto grandes cantidades del MI300X, lo que podría inclinar la balanza a favor de AMD, dado que brindan con éxito el rendimiento que prometieron. Se avecinan tiempos emocionantes para quienes participan en la carrera de la IA.

Fuente de noticias: MyDrivers

Intel compartió algunas actualizaciones más sobre su estrategia de IA y aceleradores, incluidos Gaudi 3 y Falcon Shores de próxima generación, que revelan cómo la compañía está llevando la IA a la empresa y a todos los aspectos del segmento de centros de datos con sus productos y software.

Intel presenta una estrategia de aceleración e inteligencia artificial: Gaudi 3 este año, Falcon Shores el próximo año, SKU de Gaudi para China y más

Para la IA, Intel ha desarrollado una pila completa de IA empresarial, una combinación de hardware y aplicaciones/software de IA desarrollados utilizando estándares abiertos que son posibles con OpenVINO e Intel Developer Cloud oneAPI y Synapse. El hardware está segmentado en tres ramas: centro de datos (sistemas escalables, aceleradores, CPU), redes (estándares abiertos y configurabilidad, infraestructura) y cliente y borde (AI PC, NPU, GPU, CPU).

NVIDIA ha sido durante mucho tiempo el único proveedor de aceleradores de IA capaces y de alto rendimiento en el mercado, pero eso ha cambiado con Intel y AMD, junto con otros, que están preparando nuevas soluciones y parecen muy eficaces (en el papel por ahora). Intel quiere consolidarse como una clara alternativa al líder del mercado y al mismo tiempo van a consolidar el liderazgo en mercados y cargas de trabajo específicos. Recientemente vimos puntos de referencia de Stability AI que muestran que el hardware Gaudi 2 de Intel ofrece un aumento de 3 veces a un precio similar.

Intel afirma que, en términos de precio, Gaudi 2 se basa en el mismo proceso que el A100, que son los 7 nm de TSMC, pero la diferencia clave es que sus clientes ven una mejora de rendimiento hasta 3 veces mayor en cargas de trabajo de estabilidad, difusión y generación de IA, lo que significa que Puede obtener muchos más ahorros de costos usando Gaudi 2 que el A100 de NVIDIA. El hardware Gaudi 2 también sobresale sobre la última GPU H100 en ciertas cargas de trabajo, que es exactamente lo que Intel está buscando ahora y escalará el liderazgo más allá a partir de aquí.

En cuanto a la hoja de ruta, Intel todavía tiene a Gaudi 3 posicionado como el seguimiento de Gaudi 2 y Falcon Shores más allá de eso. Intel declaró que los aceleradores Gaudí 3 ya se encuentran en sus laboratorios de validación y estarán disponibles de forma general en el tercer trimestre de 2023.

Gaudi 3 también estará disponible a través de un amplio ecosistema de OEM y también en la nube de desarrolladores de Intel. En términos de hardware, el acelerador de IA Gaudi 3 utilizará la misma arquitectura de alto rendimiento que Gaudi 2 con avances significativos en capacidades informáticas. Obtendrá 4 veces más computación, 2 veces más ancho de banda de red, 1,5 veces más ancho de banda de memoria HBM y mayores capacidades para permitir modelos más grandes.

Falcon Shores será la primera arquitectura de GPU diseñada únicamente para cargas de trabajo de IA. Combina lo mejor de Gaudí AI IP y la tecnología Intel GPU en una oferta de productos convergentes. El desarrollo de Falcon Shores está en marcha y apunta a su lanzamiento en 2025.

Una de las principales preocupaciones de los desarrolladores de IA es que la migración a un nuevo hardware conlleva problemas, como la modificación del código para permitir la compatibilidad con los nuevos aceleradores. Según Intel, la mayoría de los desarrolladores están trabajando en el nivel alto de la pila (Hugging Face, Mosiac ML, PyTorch, etc.) y con las soluciones de software de Intel pueden aprovechar el hecho de que con solo unas pocas líneas de código en su script Python, pueden migrar sus modelos existentes o nuevos.

La migración de modelos de Intel requiere solo de 3 a 5 líneas de código para migrar modelos nuevos o existentes al nuevo hardware. Para software de alto nivel, Intel ofrece soporte de migración de NVIDIA a toda su línea de aceleradores Gaudí e incluso a la línea de aceleradores Falcon Shores de próxima generación. La compañía también está trabajando para agregar modelos de bajo nivel como OpenAPI, Triton y TPC-C para que sean compatibles con las GPU Falcon Shores al pasar del hardware NVIDIA.

Hablando de sus planes en China, Intel dijo que cumplen plenamente con las regulaciones de las autoridades estadounidenses y que se están adoptando nuevas variantes basadas en el hardware de Gaudí para garantizar que sean exportables a China.

Nos estamos centrando en asegurarnos de cumplir plenamente con los requisitos de exportación. Siempre lo hemos hecho y somos muy cercanos con el regulador en cuanto a que todo lo que ofrecemos a los clientes de la República Popular China cumple plenamente con las regulaciones. Ya vieron el anuncio de un SKU de Gaudí 2 el año pasado y, a medida que cambia la regulación, también conocemos la definición de los SKU que podemos ofrecer al mercado de la República Popular China. Tenemos clientes importantes en China y nos estamos asegurando de seguir las regulaciones y esperamos introducir SKU que cumplan con las regulaciones utilizando el mismo hardware de Gaudí pero con adopciones que los hagan exportables a China.

a través de Intel

Cuando se le preguntó si Intel estaba buscando segmentos de capacitación e inferencia, la compañía afirmó que apuntaban a ambos. La IA generativa y el LLM son los que impulsan la demanda. NVIDIA, en su llamada a inversores del año pasado, también afirmó que la demanda de IA proveniente de GenAI será enorme y eso se aplica a todos los proveedores de hardware, incluido Intel. Intel espera que la demanda de inferencia aumente con el tiempo, pero están enfocados en proporcionar un paquete completo que sobresalga tanto en tareas de capacitación como de inferencia.

Los aceleradores de IA Gaudi 2 de Intel son la alternativa más viable a los chips de NVIDIA y Hugging Face ha demostrado su capacidad de generación de texto utilizando Llama 2.

Aceleradores Intel Gaudi 2 demostrados en generación de texto utilizando LLM Llama 2 de código abierto con hasta 70 mil millones de parámetros

A medida que Intel amplía su ecosistema de software de IA, la empresa se centra en las cargas de trabajo de IA más populares, que incluyen LLM (modelos de lenguajes grandes). El trabajo es posible utilizando Habana Optimum, que sirve como bibliotecas de transformadores y difusores de interfaz y los procesadores Intel Habana Gaudi como Gaudi 2. La compañía ya ha demostrado las capacidades de IA y el rendimiento de sus procesadores Gaudi 2 frente a las GPU A100 de NVIDIA, que son una de las opciones populares en el mercado, pero Gaudi 2 hace un trabajo encomiable al ofrecer un rendimiento más rápido con un TCO competitivo.

Para la última demostración, Hugging Face muestra la facilidad de generar texto con Llama 2 (7b, 13b, 70b) usando el mismo canal Optimum Habana y el acelerador Intel Gaudi 2 AI. El resultado final muestra que el chip Gaudi 2 no solo era capaz de aceptar mensajes únicos o múltiples, sino que era muy fácil de usar y también podía manejar complementos personalizados dentro de scripts.

Con la revolución de la IA generativa (GenAI) en pleno apogeo, la generación de texto con modelos transformadores de código abierto como Llama 2 se ha convertido en la comidilla de la ciudad. Los entusiastas de la IA y los desarrolladores buscan aprovechar las capacidades generativas de dichos modelos para sus propios casos de uso y aplicaciones. Este artículo muestra lo fácil que es generar texto con la familia de modelos Llama 2 (7b, 13b y 70b) usando Optimum Habana y una clase de canalización personalizada: ¡podrá ejecutar los modelos con solo unas pocas líneas de código!

Esta clase de canalización personalizada ha sido diseñada para ofrecer una gran flexibilidad y facilidad de uso. Además, proporciona un alto nivel de abstracción y realiza una generación de texto de un extremo a otro, lo que implica preprocesamiento y posprocesamiento. Hay varias formas de utilizar la canalización: puede ejecutar la run_pipeline.py script del repositorio de Optimum Habana, agregue la clase de canalización a sus propios scripts de Python o inicialice las clases de LangChain con ella.

Presentamos un canal de generación de texto personalizado en el acelerador Intel Gaudi 2 AI que acepta mensajes únicos o múltiples como entrada. Este canal ofrece una gran flexibilidad en términos de tamaño del modelo, así como parámetros que afectan la calidad de generación de texto. Además, también es muy fácil de usar y de conectar a sus scripts, y es compatible con LangChain.

a través de la cara abrazada

Intel se compromete a acelerar su segmento de IA en los próximos años. Este año, la compañía tiene planes de presentar la tercera versión de Gaudi conocida como Gaudi 3, que se espera que utilice un nodo de proceso de 5 nm y, según se informa, es más rápida que la NVIDIA H100 a un precio significativamente menor. De manera similar, la compañía también planea pasar a un diseño completamente interno con la GPU Falcon Shores de próxima generación que se espera para 2025. La compañía también está abriendo capacidades de inteligencia artificial, como la interfaz Llama 2 con PyTorch, para su nivel de consumidor. GPU Arc Serie A.

AMD ha verificado «oficialmente» que está prevista una actualización para el acelerador de IA Instinct MI300, que se espera que esté equipado con el tipo de memoria de última generación HBM3e.

«AMD ha entrado en la carrera de la IA y va a ser competitiva», dice el CTO de la empresa, mientras el equipo Red muestra un enorme optimismo con la IA y promete aceleradores Instinct MI300 aún mejores este año.

Este desarrollo surgió inicialmente como un rumor hace unos días cuando AMD supuestamente planeaba actualizar el MI300 a un nuevo tipo HBM. Significaba que el Instinct MI300 actualizado marcaría la transición de AMD a un mejor estándar, ya que los lanzamientos anteriores de la empresa se basaban en el HBM3 relativamente más antiguo. Con HBM3e, la empresa planea competir con sus homólogos NVIDIA existentes, como el Hopper GH200, y posicionarse frente a la GPU Blackwell B100 AI. Al hacerlo, Team Red planea ofrecer una solución «relativamente» rentable en los mercados de IA sin comprometer el desempeño generacional.

El CTO de AMD, Mark Papermaster, ha verificado esto «indirectamente» durante una presentación en la Arete Investor Webinar Conference, afirmando que la compañía está buscando múltiples enfoques para consolidar sus posiciones en el mercado. Reveló que los ajustes de memoria son un camino que pueden adoptar, además de implementar cambios más considerables en forma de «actualización» para elevar aún más la línea Instinct MI300.

No nos quedamos quietos. Hicimos ajustes para acelerar nuestra hoja de ruta con ambas configuraciones de memoria en torno a la familia MI300, derivados del MI300, la próxima generación. […] Entonces, tenemos pilas de 8-Hi. Diseñamos para pilas de 12 Hola. Enviamos con MI300 HBM3. Hemos diseñado para HBM3E.

Mark Papermaster (CEO de AMD) a través de Buscando Alpha

Para un resumen rápido, el estándar de memoria HBM3e ofrece una velocidad un 50 % más rápida que el estándar HBM3 existente, ofreciendo hasta 10 TB/s de ancho de banda por sistema y 5 TB/s de ancho de banda por chip con capacidades de memoria de hasta 141 GB. Además, al actualizar la memoria integrada, AMD entregaría rápidamente las soluciones a los mercados, lo que significa que potencialmente podrían tomar la delantera en el segmento de informática de nivel medio, dado que la empresa logra garantizar un suministro constante.

Con el lanzamiento del acelerador de IA Instinct MI400 previsto para 2025, parece que AMD está intensificando sus esfuerzos para captar la atención de sus competidores, y este hecho lo reitera el propio Mark, quien cree que la empresa ha entrado «oficialmente» en el mercado. Carrera de IA, que será larga o difícil. AMD parece ambicioso con sus ofertas de IA, pero sería interesante ver cómo se dirige hacia una posición dominante.

Fuente de noticias: Buscando Alfa