Huawei se está preparando para establecer su cadena de suministro interna de memorias HBM, ya que el fabricante respalda el desarrollo de tecnología interna de HBM.

Huawei Technologies respalda a los productores locales de HBM y está listo para iniciar la producción de HBM2 en algún momento de 2026 para el mercado chino de IA

Huawei Technologies, un grupo de empresas centradas en el crecimiento de la tecnología y los semiconductores, ha comenzado a desviar su atención hacia los atractivos mercados de HBM, según un informe de The Information. La alianza ahora se asocia con empresas involucradas en el negocio de la memoria, como Fujian Jinhua Integrated Circuit. Se revela que Huawei planea producir en masa chips HBM cerca de 2026, y se espera que la tecnología inicial sea el HBM2 relativamente más antiguo, mientras que se espera que el HBM4 se implemente en 2025-2026. Sin embargo, considerando las limitaciones de la tecnología china, sigue siendo decente.

Ahora, HBM desempeña un papel crucial en la dinámica de los mercados de IA, especialmente cuando fabrica aceleradores de IA, como el chip Huawei Ascend, que ha logrado grandes avances en los mercados nacionales. En los tiempos modernos, el suministro de HBM en China se limita a un nivel mayor, donde empresas de vanguardia como SK Hynix y Samsung tienen restricciones en el suministro de su tecnología.

Para contrarrestar la disparidad, la empresa ha decidido dar un paso adelante con la producción interna de HBM, incluyendo nuevas empresas para formar alianzas y ayudarlas a catalizar los esfuerzos en la producción de chips avanzados.

Si bien no podemos comentar cuándo Huawei podrá lograr un gran avance con sus esfuerzos de HBM, es interesante verlos al menos iniciando una colaboración con empresas locales para la autosubsistencia. Al darse cuenta de que los mercados de HBM están experimentando una racha alcista, Huawei Technologies excepcionalmente podría estar en camino de hacerse con algunas finanzas considerables, sin mencionar la gran mejora que recibirán sus chips Ascend AI si HBM pasa a la producción local, proporcionando un impulso. a las capacidades chinas de IA en el futuro.

Se espera que las GPU Blackwell AI de NVIDIA impulsen todos los demás segmentos asociados, incluidos CoWoS (TSMC) y HBM DRAM, ya que el mercado espera que se envíen millones de chips para 2025.

HBM y la industria del embalaje de chips serán testigos de un tremendo crecimiento durante el próximo año gracias a las GPU Blackwell AI de NVIDIA, y se enviarán enormes cantidades en 2025

TrendForce informa que las últimas GPU NVIDIA Blackwell para IA están preparadas para ser el próximo «santo grial» de la industria, ya que el rendimiento que están aportando a los mercados ha atraído la atención de varios clientes importantes. Esto incluye el SUPERCHIP GB200, que se prevé que represente entre el 40 % y el 50 % del suministro de Blackwell de NVIDIA hasta 2025. Por lo tanto, se producirán millones de unidades de GPU Blackwell, replicando el éxito de la línea Hopper de NVIDIA.

Sin embargo, con este importante aumento de la demanda, las firmas proveedoras asociadas a NVIDIA tendrán un año tremendo en la demanda del mercado; por lo tanto, empresas como TSMC y otras tendrán que mejorar las instalaciones existentes.

La cadena de suministro tiene grandes expectativas para el GB200, con proyecciones que sugieren que sus envíos podrían superar los millones de unidades para 2025, representando potencialmente entre el 40 y el 50% del mercado de GPU de gama alta de NVIDIA.

fuerza de tendencia

Se informa que se espera que la capacidad total CoWoS (Chip-on-Wafer-on-Substrate) de TSMC alcance hasta 40.000 unidades para fines de 2024, lo que marca un enorme aumento interanual del 150%, crédito a la gigantesca demanda que enfrenta el Gigante de Taiwán. Además, también para otros productos de IA, la tecnología CoWoS desempeña un papel crucial, lo que significa que el segmento de los envases experimentará un aumento notable.

Además de los mercados CoWoS, se espera que las GPU Blackwell de NVIDIA también eleven el segmento HBM a nuevas alturas, especialmente con el cambio generacional pendiente de HBM3 a HBM3e DRAM que todavía se espera que ocurra en los productos principales de NVIDIA y otros competidores. .

Además, con el debut de las GPU Blackwell AI de NVIDIA como GB200, B200 y B100, la tasa de adopción de HBM3e aumentará significativamente, sin mencionar también las actualizaciones de capacidad, que se espera que alcancen hasta 192 GB y 288 GB. GB para finales de 2024.

Los próximos mercados de IA diferirán significativamente de los existentes, no sólo por el revuelo del mercado. Aún así, el flujo de ingresos será mucho mayor esta vez, ya que genAI y AGI han experimentado una adopción masiva recientemente, impulsando tanto el segmento de informática como el de clientes.

La startup Celestial AI ha desarrollado una nueva solución de interconexión que utiliza memoria DDR5 y HBM para aumentar la eficiencia de los chiplets y AMD posiblemente esté entre los primeros en utilizar dicho diseño.

Celestial AI planea romper las barreras asociadas con las interconexiones tradicionales, cortesía de Silicon Photonics, que combina memoria HBM y DDR5

Al igual que los semiconductores, la evolución generacional se ha vuelto más que necesaria para la industria de la IA, ya sea en forma de avances dentro del segmento de hardware o en los métodos de interconexión.

Las formas convencionales de unir miles de aceleradores incluyen NVLINK de NVIDIA, los métodos tradicionales de Ethernet e incluso el propio Infinity Fabric de AMD. Aún así, están confinados de varias maneras, no solo por la eficiencia de interconexión que brindan sino también por la falta de espacio para la expansión, lo que ha llevado a la industria a encontrar alternativas, una de las cuales es el tejido fotónico de Celestial AI.

En una publicación anterior, mencionamos la importancia de la fotónica de silicio y cómo la tecnología, que combina láser y silicio, se ha convertido en la próxima gran novedad en el mundo de las interconexiones. Celestial AI lo ha aprovechado, aprovechando los poderes de la tecnología para desarrollar su solución Photonic Fabric.

Según el cofundador de la empresa, Dave Lazovsky, Photonic Fabric de la empresa ha logrado ganar un gran interés entre clientes potenciales, no sólo recibiendo 175 millones de dólares en la primera ronda de financiación, sino también recibiendo respaldo de empresas como AMD, lo que demuestra cómo grande podría llegar a ser el método de interconexión.

El aumento de la demanda de nuestro tejido fotónico es producto de contar con la tecnología adecuada, el equipo adecuado y el modelo de interacción con el cliente adecuado.

– Dave Lazovsky, cofundador de Celestial AI

Pasando a las capacidades de Photonic Fabric, la empresa ha revelado que la primera generación de la tecnología puede proporcionar potencialmente 1,8 Tb/s por cada milímetro cuadrado, lo que en la segunda iteración puede suponer un enorme incremento de cuatro veces respecto a su predecesora. Sin embargo, debido a las limitaciones de capacidad de memoria que entran en vigor al apilar varios modelos HBM, la interconexión se limita hasta cierto punto, pero Celestial AI también ha propuesto una solución atractiva.

La firma pretende integrar el uso de memoria DDR5 con pilas HBM desde la expansión del módulo de memoria integrado para lograr una capacidad más significativa al apilar dos HBM y un conjunto de cuatro DIMM DDR5, combinando 72 GB y hasta 2 TB de capacidades de memoria, lo que Es realmente interesante, considerando que con DDR5, obtendrá una relación precio-capacidad más alta, lo que en última instancia dará como resultado un modelo más eficiente. Celestial AI planea utilizar Photonic Fabric como interfaz para conectar todo, y la empresa etiqueta este método como un «Grace-Hopper sobrealimentado sin todos los costos generales».

Sin embargo, Celestial AI cree que su solución de interconexión no llegará a los mercados al menos en 2027, y para entonces, surgirán muchos competidores en el segmento de la fotónica de silicio, lo que significa que a Celestial AI no le resultará fácil entrar en el mercado. mercados, especialmente después de la caída de las soluciones convencionales de TSMC e Intel.

Fuentes de noticias: TechRadar, la próxima plataforma

Un nuevo artículo de investigación ha descubierto la utilidad de la caché DRAM para GPU, que puede ayudar a permitir un mayor rendimiento con bajo consumo de energía.

Los investigadores proponen el uso de cachés DRAM dedicadas en SCM recién construidos para GPU, reemplazando la configuración HBM convencional

La industria de las GPU, que involucra GPU de consumo, estaciones de trabajo y de IA, avanza de una manera en la que estamos viendo avances en las capacidades de memoria y el ancho de banda, pero no es sostenible y, en última instancia, podríamos llegar al límite si se adopta un enfoque innovador. No tomado.

Hemos visto a los fabricantes de GPU avanzar en este segmento incorporando grandes sumas de LLC secundarias (cachés de último nivel) o aumentando el tamaño de las cachés L2. Teniendo esto en cuenta, los investigadores han ideado una nueva forma de desarrollar memorias GPU, particularmente HBM, para romper los límites de capacidades y ancho de banda actuales, además de hacer que la transferencia y gestión de datos sea mucho más eficiente.

Según un artículo de investigación publicado en ArVix, los investigadores propusieron utilizar una caché DRAM dedicada en la memoria GPU, similar a lo que vemos en los SSD modernos. La caché DRAM es un lugar de almacenamiento de memoria de alta velocidad que permite un proceso eficaz de «buscar y ejecutar». Sin embargo, este caché no es lo que vemos en los SSD, sino un poco diferente ya que implica el uso de SCM (Storage-Class Memory), que es una alternativa mucho más viable que el HBM moderno y tiene un rendimiento más bajo. También cuesta un poco más que la DRAM.

Los investigadores han propuesto un enfoque híbrido, utilizando SCM y DRAM juntos, para reducir y evitar la sobresuscripción de memoria y garantizar un mayor rendimiento por capacidad.

La investigación es bastante profunda, como se esperaba, y también involucra múltiples modelos de flujo de datos para ayudar al proceso de obtención de datos de SCM, y uno de ellos es la organización de caché DRAM de metadatos agregados en la última columna (AMIL), que es un intento de acelerar el proceso de obtención de «etiquetas de datos», que indican dónde residen los datos en cada línea de caché. El método AMIL sugiere mantener todas las etiquetas juntas en la última columna de una sola fila dentro de la caché DRAM para un acceso más rápido, reducir la sobrecarga de la exploración de etiquetas y mantener la protección del Código de corrección de errores (ECC).

Proponemos superar la limitación de capacidad de memoria de las GPU con memoria de clase de almacenamiento (SCM) de alta capacidad y caché DRAM. Al aumentar significativamente la capacidad de memoria con SCM, la GPU puede capturar una fracción mayor de la huella de memoria que HBM para cargas de trabajo que exigen una sobresuscripción de memoria, lo que resulta en aceleraciones sustanciales. Sin embargo, la caché DRAM debe diseñarse cuidadosamente para abordar las limitaciones de latencia y ancho de banda del SCM y al mismo tiempo minimizar los costos generales y considerar las características de la GPU. Debido a que la enorme cantidad de subprocesos de GPU puede alterar fácilmente la caché de DRAM y degradar el rendimiento, primero proponemos una política de omisión de caché de DRAM compatible con SCM para GPU que considere las características multidimensionales de los accesos a la memoria por parte de las GPU con SCM para omitir la DRAM para datos con bajo rendimiento. utilidad. Además, para reducir el tráfico de sondeo de caché DRAM y aumentar el BW de DRAM efectivo con un costo mínimo, proponemos un caché de etiquetas configurable (CTC) que reutiliza parte del caché L2 para almacenar en caché etiquetas de línea de caché DRAM. La capacidad L2 utilizada para el CTC puede ser ajustado por los usuarios para mayor adaptabilidad. Además, para minimizar el tráfico de la sonda de caché DRAM debido a errores de CTC, nuestra organización de caché DRAM de metadatos agregados en la última columna (AMIL) ubica todas las etiquetas de línea de caché DRAM en una sola columna dentro de una fila. AMIL también conserva la protección ECC completa, a diferencia de la implementación anterior de caché DRAM con organización Tag-And-Data (TAD).

En comparación con HBM, el HMS mejora el rendimiento hasta 12,5 veces (2,9 veces en total) y reduce la energía hasta en un 89,3% (48,1% en total). En comparación con trabajos anteriores, reducimos la sonda de caché DRAM y el tráfico de escritura SCM en un 91-93% y un 57-75%, respectivamente.

Papel: caché DRAM con ancho de banda efectivo para GPU con memoria de clase de almacenamiento

Pasando ahora a la parte más interesante, la solución propuesta garantiza una mejora significativa del rendimiento, aumentando 12,5 veces en comparación con HBM y siendo un 89,3% más eficiente energéticamente. Estas cifras optimistas podrían marcar potencialmente la transición de la industria a la próxima generación hacia soluciones más «innovadoras» para GPU, dado que SCM combinado con DRAM se convierte en una realidad real una vez que pasa pruebas de calificación específicas.

Fuente de noticias: @Underfox3

Según se informa, la reciente asociación de Micron con NVIDIA ha «sorprendido» a otros involucrados en la carrera de HBM, ya que la empresa logra captar la mayor parte de la atención.

El proceso HBM3E de Micron gana superioridad sobre sus competidores, a medida que la empresa se convierte en proveedor principal de los productos de próxima generación de NVIDIA

Los medios coreanos informan que la decisión del Equipo Green de optar por el proceso HBM3e de Micron para su GPU H200 AI ha suscitado un nuevo debate entre los fabricantes de HBM a medida que Micron capta el santo grial de los mercados de próxima generación.

El HBM3E de 24 GB 8H de Micron será parte del próximo acelerador de IA H200 de NVIDIA, lo que marca un gran logro para la empresa, quedando muy por detrás de SK hynix y Samsung. La superioridad de Micron en el proceso HBM3E resultó vital para el acuerdo de la firma con NVIDIA, por lo que las cosas favorecerían a la empresa. Así es como Micron describe las capacidades de su proceso HBM3e:

• Rendimiento superior: con una velocidad de pin superior a 9,2 gigabits por segundo (Gb/s), el HBM3E de Micron ofrece más de 1,2 terabytes por segundo (TB/s) de ancho de banda de memoria, lo que permite un acceso ultrarrápido a datos para aceleradores de IA, supercomputadoras y datos. centros.
• Eficiencia excepcional: HBM3E lidera la industria con un consumo de energía ~30% menor en comparación con las ofertas de la competencia. Para respaldar la creciente demanda y el uso de IA, HBM3E ofrece el máximo rendimiento con los niveles más bajos de consumo de energía para mejorar importantes métricas de gastos operativos del centro de datos.
• Escalabilidad perfecta: con 24 GB de capacidad actual, HBM3E permite a los centros de datos escalar sin problemas sus aplicaciones de IA. Ya sea para entrenar redes neuronales masivas o acelerar tareas de inferencia, la solución de Micron proporciona el ancho de banda de memoria necesario.

Sin embargo, que Micron se gane la confianza de NVIDIA no significa que la empresa obtenga ventaja sobre el gigante SK hynix del segmento. Recientemente se informó que SK hynix envió su tipo HBM3E de 12 capas a NVIDIA para pruebas de calificación, lo que significa que la empresa podría incluirse en el grupo de proveedores de las próximas soluciones de inteligencia artificial de Team Green y, a juzgar por el hecho de que SK hynix ha sido un gran cliente de NVIDIA, es dudoso que veamos a Micron ocupar su lugar, aunque los equilibrios podrían inclinarse en lo que respecta a las cuotas de mercado, ya que a día de hoy, SK hynix conserva una cuota global del 54% de la industria de HBM.

Sin embargo, una cosa es segura: con la evolución de los mercados de HBM, seremos testigos de un segmento de alta competencia, con empresas como SK hynix, Micron y Samsung Foundry luchando por ganar el trono del mercado. Cada empresa involucrada necesitará aumentar en términos de volúmenes de producción que puede ofrecer, junto con las respectivas relaciones precio-rendimiento con sus procesos HBM.

Fuente de noticias: Korea JoongAng Daily

Las pruebas de calificación de NVIDIA parecen estar causando dificultades a los fabricantes de HBM, ya que las tasas de rendimiento son significativamente bajas en comparación con los productos de memoria tradicionales.

HBM y la industria de semiconductores ven un enemigo común, ya que las bajas tasas de rendimiento generan preocupación sobre los volúmenes de producción

La cuestión de las tasas de rendimiento es común y se asocia principalmente con las obleas semiconductoras cuando se miden como la cantidad de chips semiconductores producidos a partir de una sola oblea de silicio. Mantener las tasas de rendimiento en un nivel óptimo ha sido una gran preocupación y una tarea para empresas como TSMC y Samsung Foundry, pero parece que este problema también se ha extendido a la industria de HBM.

Un informe de DealSite, un famoso medio de comunicación coreano, ha revelado que fabricantes como Micron y SK Hynix se enfrentan cara a cara en la carrera por pasar las pruebas de calificación para las GPU AI de próxima generación de NVIDIA, y parece poco las tasas de rendimiento están en su camino.

En el ámbito de HBM, las tasas de rendimiento están asociadas principalmente con la complejidad de la arquitectura apilada, que involucra múltiples capas de memoria e intrincadas vías a través de silicio (TSV) para conexiones entre capas. Esta complejidad aumenta las posibilidades de que se produzcan defectos durante la fabricación, lo que podría reducir las tasas de rendimiento en comparación con diseños de memoria más simples. Como reitera DealSite, si uno de los chips HBM resulta defectuoso, se descarta toda la pila, lo que demuestra lo complejo que es el proceso de fabricación.

La fuente afirma que el rendimiento global de las memorias de HBM ronda actualmente el 65% y, si las empresas empiezan a mejorar esta cifra, se producirá una caída en el volumen de producción, por lo que la verdadera carrera consiste en encontrar la solución entre ambos problemas. . Sin embargo, parece que Micron y SK Hynix están a la cabeza en la carrera, y se informa que Micron inició la producción de HBM3E para las GPU H200 AI de NVIDIA, ya que pasó las etapas de certificación establecidas por Team Green.

Ahora bien, si bien las tasas de rendimiento no han sido un gran problema en este momento para los fabricantes de HBM, podría serlo en el largo plazo porque, con el tiempo, veremos un aumento en la demanda, lo que en última instancia provocará la necesidad de mayores volúmenes de producción.

Fuente de noticias: DealSite

La empresa líder del sector en el suministro de HBM, SK hynix, ha verificado oficialmente sus ventas «récord» de HBM en los meses anteriores, afirmando que los mercados están preparados para una recuperación.

SK hynix reitera su estrategia para el segmento HBM y afirma que dominarán los próximos mercados

Todos somos muy conscientes del hecho de que el segmento de IA ha arrasado en la industria de HBM, donde hemos sido testigos de un tremendo aumento de la demanda por parte de los mercados, principalmente porque HBM se utiliza como un componente crucial en el desarrollo de IA altamente exigente. aceleradores. Empresas como SK hynix y Samsung han decidido aprovechar al máximo esta colosal demanda ampliando las instalaciones existentes y aportando mejoras significativas a los procesos actuales y de próxima generación. Parece que han comenzado a cosechar los beneficios.

El vicepresidente de SK hynix, Kim Ki-tae, compartió el enfoque de la empresa con los mercados de HBM en una publicación de blog y afirmó que su visión condujo al éxito que la empresa está experimentando en los tiempos modernos. Además, también ha reiterado qué esperar con SK hynix avanzando hacia 2024 y, por lo que parece, nos esperan tiempos emocionantes.

Con la diversificación y el avance de los servicios de IA generativa, la demanda de HBM, una solución de memoria de IA, también se ha disparado. HBM, con sus características de alto rendimiento y alta capacidad, es un producto monumental que sacude la creencia convencional de que los semiconductores de memoria son sólo una parte del sistema general. En particular, la competitividad de SK Hynix HBM es sobresaliente.

– Vicepresidente Kim Ki-tae

Además, la empresa ha revelado la escandalosa demanda del sector HBM, afirmando que la oferta de este año ya está agotada y que SK hynix ya se está preparando para un año fiscal 2025 dominante. Esto no es nada sorprendente, porque la IA todavía está presenciando Se prevé un enorme auge hacia 2024, y con empresas como NVIDIA y AMD preparándose para soluciones de próxima generación, es evidente que la demanda de HBM también será enorme. Podríamos ver más cifras de ingresos impactantes con los productos HBM3e y HBM4 llegando a los mercados venideros.

En el año 2024, se acerca el tan esperado momento de recuperación. En este período de nuevo avance, haremos todo lo posible para lograr el mejor desempeño en los negocios. “Espero que los miembros de SK Hynix tengan un año en el que todos sus sueños se hagan realidad.

– Vicepresidente Kim Ki-tae

Se avecinan tiempos interesantes para el segmento de HBM y no podemos esperar a ver qué aportan empresas como SK hynix, pero una cosa es segura: la competencia, sin duda, aumentará.

Fuente de noticias: SK hynix

La industria de las memorias HBM está presenciando un enorme repunte económico con la inmensa demanda de la IA, y esto ha llevado los precios a nuevos niveles, supuestamente un enorme incremento de cinco veces.

El segmento de IA ha impulsado el crecimiento de la industria de memorias de HBM, y ahora se espera que alcance nuevos niveles

La firma de investigación de mercado Yolo Group revela que la cadena de oferta y demanda de memorias de HBM ha sido testigo de cambios significativos durante 2023, con un aumento drástico en los niveles de producción junto con las tasas de adopción simultáneamente, lo que convierte a HBM en un recurso mucho más valioso que antes del boom de la IA. Con los enormes volúmenes de aceleradores de IA producidos por empresas como NVIDIA y AMD, los precios de HBM se han disparado a nuevos niveles, y Yolo Group informa un enorme incremento del 500%, y esto no parece detenerse ahora, ya que los mercados futuros se espera que se desarrollen rápidamente.

Otro dato interesante destacado en el informe es que Samsung Electronics y SK Hynix dominan actualmente los mercados de HBM, ya que, según se informa, son responsables de más del 90% de la cuota de mercado. Las cifras no son sorprendentes en absoluto, considerando que ambas empresas han aparecido en los titulares recientemente, ya sea por conseguir nuevos clientes o incluso por hacer la transición hacia procesos de próxima generación. Además, recientemente se reveló que el líder de HBM, SK hynix, y TSMC estarían aliados; por lo tanto, podemos esperar que las cifras del mercado evolucionen dinámicamente y también avancen.

En términos de lo que depara el futuro, se dice que se espera que los mercados de HBM crezcan a una tasa anual compuesta del 45% durante los próximos cinco años, lo que significa que seremos testigos de un enorme aumento en el capital de mercado general y en los ingresos. generado a partir de esta corriente en particular. Además, con el debut de futuros productos de HBM como HBM4 en los próximos años, el mercado se ve con gran optimismo y la IA también lo elevará a nuevas alturas en el futuro.

Fuente de noticias: Chosun