Las GPU NVIDIA H100 AI han experimentado una drástica caída de precios en el mercado negro de China debido a que el lanzamiento de las GPU H200 de próxima generación es inminente.

Los clientes chinos pagan precios absurdos para acceder a la GPU con IA NVIDIA H100 «prohibida» a través del mercado negro, más de 350.000 dólares por los servidores con IA H100

Con las duras sanciones de Estados Unidos, no había forma de que las personas pudieran acceder a los productos de inteligencia artificial de vanguardia de NVIDIA y, en última instancia, esto dio lugar a mercados negros en la región. Esto llevó a que la NVIDIA H100 fuera accesible a precios astronómicos en China, con informes que revelan que una sola unidad que se vende al por menor en alrededor de 3 millones de yuanes, o alrededor de $ 415,000, es un gran aumento con respecto al precio por el que está disponible inicialmente la H100. Sin embargo, se informa que con el esperado debut de la nueva GPU H200 AI, los precios han experimentado un ligero enfriamiento.

Taiwan Economic Daily informa que los precios spot de las GPU H100 AI de NVIDIA han caído alrededor de un 10% a medida que los vendedores del «mercado negro» intentan liquidar el inventario actual, anticipando el próximo acelerador NVIDIA H200 AI. El H100 se vende actualmente en los mercados spot por alrededor de 2,6 millones de yuanes en Hong Kong, lo que equivale a unos 359.000 dólares estadounidenses, lo que supone una caída media del 10% en la región. Bueno, este desarrollo nos ha demostrado claramente que los mercados ilegales siguen siendo muy prevalentes en China y, a pesar de ver un acceso restringido a la tecnología de próxima generación, aún así ha logrado llegar al país.

Otro hecho interesante de este informe es que el debut de la GPU H200 AI de NVIDIA significa que veremos la arquitectura Hopper de próxima generación llegar a los mercados chinos, no solo de forma oficial. Aunque en pequeñas cantidades, las empresas chinas de IA no verán un bloqueo completo de los chips de IA. En cambio, pueden acceder a distribuidores específicos para adquirir componentes de vanguardia, y podríamos presenciar que los H200 de NVIDIA vuelvan a ser populares en China, aunque no como lo fueron los H100, pero el sentimiento sería similar.

Si bien los chips de IA de próxima generación son atractivos, hemos sido testigos de una disminución masiva del interés en los chips de IA de renombre mundial, como los de NVIDIA en China. Las empresas locales involucradas en la carrera de la IA han optado por alternativas nacionales porque son más accesibles, tienen costos mucho menores y son ideales para tareas de inferencia de nivel bajo a medio, lo que las convierte en una alternativa viable. Con los subsidios gubernamentales planeados, podríamos ver una adopción colosal de soluciones internas de inteligencia artificial, eliminando de la ecuación a empresas como NVIDIA e Intel.

Esto no es un consejo de inversión. El autor no tiene posición en ninguna de las acciones mencionadas. Wccftech.com tiene una política de divulgación y ética.

La capacidad informática de entrenamiento de IA de Tesla aumentó un 130 por ciento solo en el primer trimestre de 2024. Sin embargo, si las ambiciones de Elon Musk dan resultado, esta capacidad se encamina a un aumento de casi el 500 por ciento hasta 2024.

Esto no es exacto. Tesla sería el segundo más alto y X/xAI sería el tercero si se midiera correctamente.

– Elon Musk (@elonmusk) 8 de abril de 2024

Notamos en una publicación anterior que Tesla probablemente posee entre 30.000 y 350.000 unidades de GPU H100 de NVIDIA, según los comentarios de Elon Musk en la publicación X anterior.

Hoy, como parte de su informe de resultados del primer trimestre de 2024, Tesla reveló que su capacidad de entrenamiento de IA ha aumentado a casi 40.000 unidades equivalentes de la GPU H100 de NVIDIA, en perfecta alineación con el rango declarado por Elon Musk.

Por supuesto, en enero, mientras confirmaba una nueva inversión de 500 millones de dólares -equivalente a unas 10.000 unidades de la GPU H100- en el superordenador Dojo de Tesla, Elon Musk había Anunciado que el gigante de los vehículos eléctricos «gastaría más que eso en hardware NVIDIA este año», ya que «lo que está en juego para ser competitivo en IA» era «al menos varios miles de millones de dólares por año en este momento».

TESLA $TSLA La capacidad de entrenamiento de IA saltó de aproximadamente 15.000 equivalentes de GPU H100 a finales de 2023 a casi 40.000 H100 en el primer trimestre de 2024.

Al final de este año, @Elon Musk dice que Tesla tendrá 85.000 equivalentes de Nvidia H100 impulsando el programa de IA de Tesla (casi +500 % interanual ) pic.twitter.com/7i8tewGKml

– Charla sobre acciones (@stocktalkweekly) 23 de abril de 2024

Bueno, Elon Musk ahora ha revelado la verdadera escala de sus ambiciones relacionadas con la IA al revelar que la capacidad informática de entrenamiento de IA de Tesla aumentará alrededor de un 467 por ciento año tras año a 85,000 unidades equivalentes de la GPU H100 para fines de 2024.

Esta agresiva expansión ya está obligando a Tesla a sacrificar su flujo de caja libre. Como parte de sus ganancias del primer trimestre de 2024, el gigante de los vehículos eléctricos ha revelado que registró -2.500 millones de dólares en flujo de caja libre para el trimestre, «impulsado por un aumento de inventario de 2.700 millones de dólares y una inversión de capital en infraestructura de inteligencia artificial de 1.000 millones de dólares en el primer trimestre».

Elon Musk también está implementando agresivamente capacidad de computación de IA en su empresa centrada en inteligencia artificial, xAI. En una publicación reciente señalamos que es probable que xAI ahora posea entre 26.000 y 30.000 unidades de tarjetas gráficas centradas en IA de NVIDIA.

Tenga en cuenta que se espera que los chips H100 de NVIDIA cedan terreno al último superchip GB200 Grace Blackwell en algún momento de este año. El chip combina una CPU Grace basada en Arms con dos GPU Blackwell B100 y puede implementar un modelo de IA con 27 billones de parámetros. Además, se espera que el superchip sea 30 veces más rápido en tareas como entregar respuestas desde chatbots.

Esto no es un consejo de inversión. El autor no tiene posición en ninguna de las acciones mencionadas. Wccftech.com tiene una política de divulgación y ética.

Las acciones de Super Micro Computer (NASDAQ: SMCI) continúan luchando después de soportar un verdadero golpe el viernes, que inicialmente se consideró un movimiento de afinidad junto con la corrección del 10 por ciento de NVIDIA. Sin embargo, ahora un rumor pinta un panorama regulatorio mucho más preocupante para el fabricante de servidores de alto rendimiento.

Rumor: Los distribuidores de Super Micro Computer en China están logrando evadir los controles de exportación de la administración Biden

$SMCI -23,1%$ NVDA – 10,0%$META -4,1%

El mercado determinó que la IA ya no existirá

– Julián Klymochko (@JulianKlymochko) 19 de abril de 2024

Como repaso, el cliente más grande de Super Micro Computer es NVIDIA, y su segundo cliente más grande es una entidad respaldada por NVIDIA. Sin embargo, la caída del 23 por ciento del SMCI el viernes estimuló a los inversores a buscar explicaciones alternativas que vayan más allá de una simple narrativa de movimiento de afinidad.

Puedes buscar en Baidu, pero aparentemente ha habido una posibilidad de obtener H100 de SMCI en China, y ese rumor junto con la falta de información previa significa que SMCI lo pasará mal.

— Conocimiento fabricado (@_fabknowledge_) 19 de abril de 2024

La cuenta X «Fabricated Knowledge» ha sugerido que los consumidores chinos todavía pueden conseguir los chips H100 de NVIDIA a través de los distribuidores de Super Micro Computer. Tenga en cuenta que estos chips están sujetos a las restricciones de exportación de la administración Biden frente a China, lo que potencialmente expone al fabricante de servidores de alto rendimiento a acciones punitivas.

Nuestra propia búsqueda en Baidu ha arrojado una serie de publicaciones, incluida esta, que promete un gran envío de chips H100 «que llegarán a Hong Kong en dos semanas y se podrán recoger en Shenzhen o Zhengzhou». Esta publicación fue escrita el 12 de abril de 2024. La hoja de datos de la publicación también incluye el logotipo de SMCI.

Una publicación en ZOL, escrita el 12 de abril de 2024, también hace referencia a una promoción de los chips H100 de Super Micro Computer:

«Promoción Servidor Supermicro H100 NVIDIA H100 SXM5 8 GPU Xeon AI Server, comerciantes de Shenzhen «Shenzhen Huayang Software Technology Co., Ltd.» en Shenzhen, China, ofrece promociones especiales y puede consultar directamente (número de contacto: 13530888867 WeChat con el mismo número ) para comprar servidores H100.»

Por supuesto, los lectores deben tener en cuenta que es muy poco probable que SMCI esté facilitando deliberadamente la violación de los controles de exportación de la administración Biden. Sin embargo, la supervisión de la red de distribuidores por parte de la empresa parece plagada de baches.

El efecto S&P 500

Súper microcomputadora $SMCI bajó un 23% hoy.

El gráfico muestra que aumentó 6 veces de enero a marzo ($200 a $1200).

Luego, el 18 de marzo, S&P lo añadió al S&P 500.$SMCI alcanzó su punto máximo el 13 de marzo y ahora ha bajado un 40%.
—
¡Felicitaciones al Comité del Índice S&P! pic.twitter.com/hW0HGoiMcV

-Jim Bianco (@biancoresearch) 19 de abril de 2024

Señalamos en una publicación anterior que era muy probable que Super Micro Computer tuviera un rendimiento inferior al de sus pares en los próximos meses debido al llamado efecto de inclusión del S&P 500:

«Según Research Affiliates, si bien las eliminaciones del S&P 500 tienen un rendimiento inferior al de las adiciones en un promedio de 6,2 por ciento entre la fecha del anuncio y la fecha real del reequilibrio, tienden a superar al mercado en un promedio de 20 por ciento durante los siguientes 12 meses después del evento de reequilibrio. «.

Dada la actual debilidad de las acciones de SMCI, este efecto parece estar en su etapa más potente en este momento.

La startup de IA TensorWave cree que el acelerador Instinct MI300X de AMD es una opción mucho mejor que competidores como el H100 de NVIDIA.

La disponibilidad del acelerador Instinct MI300X de AMD, junto con la mejor relación precio-rendimiento, lo coloca por delante de NVIDIA, según el CEO de AI Startup

AMD ha ganado una gran popularidad en sólo seis meses, y la empresa ha recibido pedidos masivos de la industria para su acelerador insignia Instinct. Si bien el Instinct MI300X existe desde hace un tiempo en los mercados, el factor que lo ha convertido en una opción más atractiva es cómo AMD ha garantizado una disponibilidad más constante del acelerador, sin mencionar las «oleadas» de actualizaciones que hemos presenciado dentro de AMD. ecosistema de software, que ha llevado el rendimiento a un nivel completamente nuevo.

El CEO de TensorWave, Jeff Tatarchuk, ve el acelerador Instinct MI300X de AMD como una opción muy superior a los H100 de NVIDIA. Dice que están «disponibles para comprar», a diferencia de NVIDIA, que todavía sufre retrasos en los pedidos de sus GPU con IA.

TensorWave está trabajando para proporcionar su amplio arsenal del acelerador de IA MI300X de AMD de 20.000 unidades para arrendamiento a una fracción del costo del precio del SKU original. Además, la empresa planea acelerar rápidamente la adopción de AMD en los mercados a través de anuncios generalizados y garantizar a sus consumidores que AMD es la opción más viable en los tiempos modernos.

Aparte del interés de TensorWave, recientemente informamos sobre cómo el MI300X está causando dolores de cabeza a los competidores. Si bien el acelerador no ha recibido el nivel de atención que NVIDIA logró con su línea Hopper, ciertamente creemos que el futuro es brillante para AMD.

NVIDIA hizo un gran trabajo al establecer una imagen en el mercado. Aún así, en el departamento de rendimiento, según una investigación generalizada, MI300X domina en varios aspectos, ya sea en capacidades de memoria o potencia de cálculo, lo que muestra que AMD podría estar en una posición competitiva en el futuro, dado que logran hacer crecer el ecosistema como un entero.

Con el debut de Blackwell de NVIDIA, la industria se está poniendo del lado de la firma en estos momentos. Aún así, si los aceleradores de próxima generación de AMD, los MI400, logran superar a Blackwell en todos los departamentos, AMD bien podría estar en una carrera alcista en el mercado de la IA en los próximos años.

Fuente de noticias: El Registro

Intel finalmente ha revelado su acelerador de IA de próxima generación, el Gaudi 3, basado en un nodo de proceso de 5 nm y que compite directamente con las GPU H100 de NVIDIA.

Los aceleradores de IA Intel Gaudi 3 luchan contra NVIDIA y ofrecen un rendimiento de IA un 50 % más rápido en promedio y un 40 % de eficiencia

Los aceleradores de IA Gaudí de Intel han sido un gran competidor y la única alternativa a las GPU de NVIDIA en el segmento de IA. Recientemente vimos algunas comparaciones acaloradas entre las GPU Gaudi 2 y NVIDIA A100/H100, con Intel mostrando su fuerte liderazgo en rendimiento/$, mientras que NVIDIA se mantuvo como líder general en IA en términos de rendimiento. Ahora comienza el tercer capítulo en el viaje de Intel a la IA con su acelerador Gaudi 3, que se ha detallado completamente.

La compañía anunció el acelerador Gaudi 3, que presenta la última arquitectura Tensor Core (quinta generación) con un total de 64 núcleos tensoriales empaquetados en dos matrices de cómputo. La GPU en sí tiene un grupo de caché de 96 MB que se comparte entre ambas matrices y hay ocho sitios HBM, cada uno con pilas de 8 hi de 16 Gb HBM2e DRAM para capacidades de hasta 128 GB y ancho de banda de hasta 3,7 TB/s. Todo el chip se fabrica utilizando la tecnología de nodo de proceso TSMC de 5 nm y hay un total de 24 enlaces de interconexión de 200 GbE.

En términos de ofertas de productos, los aceleradores Intel Gaudi 3 AI vendrán en formato Mezzanine OAM (HL-325L) con variantes estándar de hasta 900 W y más de 900 W con refrigeración líquida y PCIe AIC con altura completa, doble ancho y Diseño de 10,5″ de longitud. Las tarjetas PCIe Gaudi 3 HL-338 vendrán con refrigeración pasiva y admitirán hasta 600 W TDP con las mismas especificaciones que la variante OAM.

La compañía también anunció su propia placa base HLB-325 y su subsistema integrado HLFB-325L que puede transportar hasta 8 aceleradores Gaudi 3. Este sistema tiene un TDP combinado de 7,6 kilovatios y mide 19″.

La continuación de Gaudi 3 vendrá en forma de Falcon Shores, que se espera para 2025 y combinará las IP Gaudi y Xe en una única interfaz de programación de GPU construida en torno a la especificación Intel oneAPI.

Presione soltar: En Intel Vision, Intel presenta el acelerador de IA Intel Gaudi 3, que ofrece 4 veces computación de IA para BF16, 1,5 veces más ancho de banda de memoria y 2 veces más ancho de banda de red para una ampliación masiva del sistema en comparación con su predecesor: un salto significativo en rendimiento y productividad. para entrenamiento e inferencia de IA en modelos de lenguaje grande (LLM) y modelos multimodales populares.

El acelerador Intel Gaudi 3 cumplirá con estos requisitos y ofrecerá versatilidad a través de software abierto basado en la comunidad y Ethernet abierto estándar de la industria, ayudando a las empresas a escalar de manera flexible sus sistemas y aplicaciones de IA.

Cómo la arquitectura personalizada ofrece rendimiento y eficiencia GenAI: El acelerador Intel Gaudi 3, diseñado para una computación eficiente de IA a gran escala, se fabrica en un proceso de 5 nanómetros (nm) y ofrece avances significativos con respecto a su predecesor. Está diseñado para permitir la activación de todos los motores en paralelo, con Matrix Multiplication Engine (MME), Tensor Processor Cores (TPC) y Networking Interface Cards (NIC), lo que permite la aceleración necesaria para una computación y escala de aprendizaje profundo rápidas y eficientes. Las características clave incluyen:

• Motor informático dedicado a la IA: El acelerador Intel Gaudi 3 fue diseñado específicamente para computación GenAI de alto rendimiento y alta eficiencia. Cada acelerador presenta de forma única un motor informático heterogéneo compuesto por 64 TPC programables y personalizados con IA y ocho MME. Cada Intel Gaudi 3 MME es capaz de realizar la impresionante cifra de 64.000 operaciones paralelas, lo que permite un alto grado de eficiencia computacional, lo que los hace expertos en el manejo de operaciones matriciales complejas, un tipo de cálculo que es fundamental para los algoritmos de aprendizaje profundo. Este diseño único acelera la velocidad y la eficiencia de las operaciones paralelas de IA y admite múltiples tipos de datos, incluidos FP8 y BF16.
• Aumento de memoria para requisitos de capacidad de LLM: 128 gigabytes (GB) de capacidad de memoria HBMe2, 3,7 terabytes (TB) de ancho de banda de memoria y 96 megabytes (MB) de memoria estática de acceso aleatorio (SRAM) integrada proporcionan amplia memoria para procesar grandes conjuntos de datos GenAI en menos Intel Gaudi 3. particularmente útil para servir modelos multimodales y de lenguaje grande, lo que resulta en un mayor rendimiento de la carga de trabajo y rentabilidad del centro de datos.
• Escalado eficiente del sistema para GenAI empresarial: Veinticuatro puertos Ethernet de 200 gigabit (Gb) están integrados en cada acelerador Intel Gaudi 3, lo que proporciona una red flexible y de estándar abierto. Permiten un escalamiento eficiente para admitir grandes clústeres de computación y eliminar la dependencia de proveedores de estructuras de redes patentadas. El acelerador Intel Gaudi 3 está diseñado para escalar y escalar de manera eficiente desde un solo nodo a miles para cumplir con los amplios requisitos de los modelos GenAI.
• Software de industria abierta para la productividad de los desarrolladores: El software Intel Gaudi integra el marco PyTorch y proporciona modelos optimizados basados ​​en la comunidad Hugging Face, el marco de IA más común para los desarrolladores de GenAI en la actualidad. Esto permite a los desarrolladores de GenAI operar a un alto nivel de abstracción para facilitar el uso, la productividad y la facilidad de transferencia de modelos entre tipos de hardware.
• Gaudí 3 PCIe: Una novedad en la línea de productos es la tarjeta complementaria PCIe (interconexión rápida de componentes periféricos) Gaudi 3. Diseñado para brindar alta eficiencia con menor consumo de energía, este nuevo factor de forma es ideal para cargas de trabajo como ajuste fino, inferencia y generación aumentada de recuperación (RAG). Está equipado con un factor de forma de altura completa de 600 vatios, con una capacidad de memoria de 128 GB y un ancho de banda de 3,7 TB por segundo.

El acelerador Intel Gaudi 3 ofrecerá importantes mejoras de rendimiento para tareas de capacitación e inferencia en los principales modelos GenAI. Específicamente, se prevé que el acelerador Intel Gaudi 3 ofrezca un rendimiento promedio en comparación con NVIDIA H100:

• Tiempo de entrenamiento un 50% más rápido en los parámetros Llama2 7B y 13B, y en los modelos de parámetros GPT-3 175B.
• Rendimiento de inferencia un 50 % más rápido y 40 % más de eficiencia energética de inferencia en los parámetros Llama 7B y 70B, y en los modelos de parámetros Falcon 180B. Una ventaja de rendimiento de inferencia aún mayor en secuencias de entrada y salida más largas.
• Inferencia un 30 % más rápida en los parámetros Llama 7B y 70B, y los modelos de parámetros Falcon 180B contra NVIDIA H200.

Acerca de la adopción y disponibilidad del mercado: El acelerador Intel Gaudi 3 estará disponible para los fabricantes de equipos originales (OEM) en el segundo trimestre de 2024 en configuraciones estándar de la industria de placa base universal y módulo de acelerador abierto (OAM). Entre los adoptantes OEM notables que llevarán Gaudi 3 al mercado se encuentran Dell Technologies, HPE, Lenovo y Supermicro. Se prevé la disponibilidad general de los aceleradores Intel Gaudi 3 para el tercer trimestre de 2024, y se prevé que la tarjeta complementaria Intel Gaudi 3 PCIe esté disponible en el último trimestre de 2024.

El acelerador Intel Gaudi 3 también impulsará varias infraestructuras LLM en la nube rentables para capacitación e inferencia, ofreciendo ventajas y opciones de precio-rendimiento a las organizaciones que ahora incluyen NAVER.

Esto no es un consejo de inversión. El autor no tiene posición en ninguna de las acciones mencionadas. Wccftech.com tiene una política de divulgación y ética.

Tesla y la empresa centrada en inteligencia artificial de Elon Musk, xAI, han establecido colectivamente un alijo considerable de GPU H100 de NVIDIA, mientras el primero se esfuerza por resolver para siempre el enigma de la conducción autónoma de Nivel 5, mientras que el segundo intenta hacer realidad la visión de Musk de un «máximo IA que busca la verdad».

Esto no es exacto. Tesla sería el segundo más alto y X/xAI sería el tercero si se midiera correctamente.

– Elon Musk (@elonmusk) 8 de abril de 2024

La cuenta X «The Technology Brother» publicó recientemente que Meta de Mark Zuckerberg ha acumulado una de las mayores reservas de GPU H100 del mundo, que asciende a alrededor de 350.000 unidades. Musk, sin embargo, hizo una excepción con las clasificaciones de Tesla y xAI en esa tabulación, señalando que «Tesla sería el segundo más alto y X/xAI sería el tercero si se midiera correctamente».

NOTICIAS: Elon afirma que X/xAI tiene entre 26 y 30 mil H100 de Nvidia.

Tesla tiene entre 30 y 350 mil H100 https://t.co/VPlhCWY5vU pic.twitter.com/IBL8IbJKJv

– X Noticias diarias (@xDaily) 8 de abril de 2024

Suponiendo que todo lo demás permanezca constante, esto significa que Tesla ahora posee entre 30.000 y 350.000 unidades de GPU H100 de NVIDIA. Por otro lado, es probable que xAI posea ahora entre 26.000 y 30.000 unidades de tarjetas gráficas de NVIDIA centradas en la IA.

En enero, mientras confirmaba una nueva inversión de 500 millones de dólares en el superordenador Dojo de Tesla, equivalente a unas 10.000 unidades de la GPU H100, Elon Musk Anunciado que el gigante de los vehículos eléctricos «gastaría más que eso en hardware NVIDIA este año», ya que «lo que está en juego para ser competitivo en IA» era «al menos varios miles de millones de dólares por año en este momento».

Tenga en cuenta que xAI había comprado alrededor de 10.000 unidades de GPU de NVIDIA en 2023, ya que Musk contrató talentos de DeepMind, OpenAI, Google Research, Microsoft Research, Tesla y la Universidad de Toronto para construir su empresa de inteligencia artificial desde cero. Sin embargo, se puede deducir razonablemente que esas compras probablemente estaban relacionadas con las GPU A100. Desde entonces, como se puede inferir de la última publicación X de Musk, parece que xAI también ha acumulado una cantidad considerable de GPU H100.

Por supuesto, dado el ritmo de la innovación en el mundo de la IA, esas GPU H100 se están volviendo obsoletas rápidamente. En marzo, NVIDIA anunció su superchip GB200 Grace Blackwell, que combina una CPU Grace basada en Arms con dos GPU Blackwell B100. El sistema puede implementar un modelo de IA con 27 billones de parámetros y se espera que sea 30 veces más rápido en tareas como entregar respuestas desde chatbots.

Intel acaba de publicar sus últimas cifras de rendimiento de MLPerf v4.0 que cubren los aceleradores Gaudi 2 y las CPU Xeon «Emerald Rapids» de quinta generación; el primero muestra sólidos valores de rendimiento por dólar en comparación con la GPU H100 de NVIDIA.

El acelerador Intel Gaudi 2 AI es la única «alternativa comparada» a las GPU H100 de NVIDIA para GenAI, fuerte rendimiento/$ en resultados de MLPerf v4.0

Intel ha estado ajustando el rendimiento de su línea de aceleradores Gaudí en cargas de trabajo de IA utilizando su marco OneAPI desde hace algún tiempo. El resultado de este trabajo de software continuo se mostró en las últimas cifras de rendimiento de MLPerf v4.0 que muestran las capacidades de GenAI en cargas de trabajo como Llama-70B y Stable Diffusion XL, donde las soluciones de Intel ofrecen un rendimiento competitivo frente a los chips rivales. Más recientemente, la compañía mostró cómo los aceleradores Gaudi 2 eran más rápidos en comparación con las soluciones de NVIDIA en las últimas cargas de trabajo GenAI, como Stable Diffusion y Llama 2 LLM. Más sobre eso aquí.

Para realizar comparaciones, Intel utilizó una configuración de acelerador Gaudi 2 x8 frente a GPU NVIDIA H100 x8 para realizar evaluaciones comparativas de rendimiento de FP8 e INT8. En rendimiento relativo, la NVIDIA H100 sin duda está muy por delante de los aceleradores Intel Gaudi 2, ofreciendo mejoras de hasta 3,35 veces en servidor y hasta 2,76 veces en generación fuera de línea. Pero donde el juego cambia completamente a favor de Intel es en el rendimiento/$ donde los aceleradores Gaudi 2 se convierten en un producto con una posición muy competitiva y lo que Intel denomina Gaudi 2 como la única «alternativa comparada» al H100 de NVIDIA para cargas de trabajo GenAI.

Entonces, en términos de rendimiento por dólar, el acelerador Intel Gaudi 2 AI ofrece un valor 33 % mejor que la solución NVIDIA H100; NVIDIA H100 solo supera a Gaudi 2 en Llama-70B (servidor). Intel también se ha asociado recientemente con Qualcomm y Google para abordar el dominio CUDA de NVIDIA en IA a través de oneAPI, lo que puede conducir a mayores mejoras en el futuro. Los aceleradores de IA Gaudi 3 y Falcon Shores de próxima generación tendrán un sólido marco de software que los respalde en el momento de su lanzamiento.

Intel también comparte los resultados de MLPerf v4.0 para su familia escalable Xeon de quinta generación con nombre en código Emerald Rapids. Al comparar los chips con la familia «Sapphire Rapids» de cuarta generación, puede ver ganancias de hasta 1,9 veces y una ganancia promedio del 42 % con respecto a la generación anterior en cargas de trabajo como 3dUnet, BERT, RNN-T, ResNet50, RetinaNet, DLRMv2, GPT-J. Además, los socios OEM de Intel también han estado enviando sus resultados para CPU Xeon de quinta generación en una variedad de cargas de trabajo mixtas. Estos socios incluyen Dell Technologies, Quanta Computer, Supermicro, Wiwynn y CISCO.

Los aspectos más destacados de estos puntos de referencia son:

Aceleradores Intel Gaudí 2

• La ÚNICA alternativa comparada al H100 para GenAI
• Los puntos de referencia Stable Diffusion y Llama-70B muestran las ventajas de precio-rendimiento de Gaudí2 frente al H100
• La cobertura del modelo Intel Guadi continúa avanzando y emplea enfoques de desarrollo SOTA como TGI, utilizado en el envío de Llama.

Procesadores Xeon de quinta generación

• Intel sigue siendo el único proveedor de CPU para servidores que envía resultados de MLPerf
• Los resultados de 5.ª generación Xeon mejoraron en una media geométrica de 1,42 veces en comparación con los resultados de 4.ª generación Xeon en MLPerf Inference v3.1
• El número cada vez mayor de presentaciones y la creciente lista de socios son indicadores claros de que los clientes finales quieren maximizar la utilización de su infraestructura de CPU existente.

Estos puntos de referencia de MLPerf v4.0 muestran que Intel se toma muy en serio su ecosistema de IA y el trabajo que han estado realizando ha comenzado a dar frutos. La IA está exclusivamente dominada por NVIDIA en este momento, pero con los esfuerzos de Intel, el espacio puede volverse mucho más intenso en los próximos años.

Las populares GPU H100 AI de NVIDIA ahora podrían utilizarse en cualquier placa base «convencional» como una nueva placa SXM a PCIe superficies en línea.

Mentes chinas creativas han formulado una nueva placa adaptadora SXM a PCIe, que permite utilizar las GPU NVIDIA H100 AI en ranuras PCIe estándar de placas base

Los mercados de IA están en su apogeo en este momento, con una demanda que se dispara y todos los demás individuos o empresas desean tener en sus manos las últimas GPU de IA. Todos sabemos cómo el H100 de NVIDIA ha dominado las posiciones de la empresa en la industria de la inteligencia artificial, con más de 1,5 millones de unidades vendidas solo en el año fiscal 23.

La gran demanda conlleva la necesidad de un enfoque «creativo» y, aparentemente, un modder chino se inspiró en esto y desarrolló una plataforma SXM a PCIe única dedicada a las GPU H100 AI de NVIDIA.

Nuevo mod SXM a PCIe H100 de las aplicaciones Xianyu https://t.co/iSQCN1vqxG pic.twitter.com/uVkH63REtJ

— Yo_Leak_VN (@I_Leak_VN) 19 de marzo de 2024

Anteriormente, hemos visto GPU de nivel de consumidor sometidas a ingeniería inversa en diseños de 2 ranuras para el mercado de IA, pero este nuevo modelo es algo completamente nuevo.

El mod figura en Goofish, un mercado chino con algunas cosas tecnológicas «raras». También pudimos ver aquí prototipos de la tarjeta gráfica RTX 4090 (Ti). Según lo que nos dice la lista, el mod, que es una placa adaptadora, convierte una conexión SXM5 a una PCIe Gen 4, lo que significa que cada consumidor que tenga una placa base Gen4 estándar podría montar la GPU NVIDIA H100 AI fácilmente.

Mirando el tablero en sí, es bastante grande con varios puntos de medición de voltaje y encabezados. Los conectores SXM 5 «Mezzazine» se pueden ver en el medio y hay orificios de montaje para colocar un enfriador de GPU encima. El H100 SXM puede admitir TDP superiores a 500 W, por lo que tendrá que ejecutar estas GPU con un enfriamiento fuerte (preferiblemente activo). Hay varios conectores de alimentación, incluidos dos de 8 pines y dos de 6 pines, que equivalen a 450 vatios de potencia y 525 W con la interfaz PCIe (75 W). También hay cuatro encabezados de fanáticos.

El mod se adaptará perfectamente a los casos en los que se requiera el H100 de NVIDIA para la investigación en lugar de extraerle un rendimiento de IA extremo, ya que su «sostenibilidad» es cuestionable. Las placas H100 SXM suelen estar equipadas en bastidores enormes en configuraciones de hasta 8 GPU por bastidor. Son una configuración muy poco convencional y cuestan cientos de miles de dólares. Por lo tanto, tener un mod de SXM a PCIe puede ser útil para aquellos que quieran colocar, digamos, 1 o 2 de estas tarjetas en sus estaciones de trabajo o servidores de escritorio.

En términos de precio, el mod SXM a PCIe H100 se vende por 114 yuanes o alrededor de $ 16, lo cual es bastante decente porque incluso los convertidores PCIe de hoy en día tienen un precio mucho mayor. No podemos estar seguros de la practicidad del mod ya que aún no ha sido probado; por lo tanto, plantea la curiosidad de saber cómo funcionaría el mod.

Fuente de noticias: @I_Leak_VN

Las naciones a las que se les prohibió acceder a los chips de inteligencia artificial de alta gama de NVIDIA parecen haber descubierto una solución, ya que se informa que investigadores chinos han utilizado los H100 para múltiples experimentos.

Al gobierno de EE. UU. podría resultarle difícil impedir una transferencia de tecnología, ya que las naciones hostiles proceden a aprovechar las lagunas políticas, y las GPU con IA NVIDIA H100 se encuentran en la lista

La nueva política estadounidense evita la «transferencia de tecnología» a países hostiles como China por todos los medios posibles y, recientemente, la administración Biden impuso estrictas regulaciones a la exportación de GPU de IA para impedir el rápido desarrollo de la infraestructura de IA china.

Sin embargo, a pesar de emplear tales estrategias, se informa que la administración estadounidense podría encontrarse con lagunas en su política comercial, ya que The Telegraph ha revelado que investigadores de la Academia de Ciencias de China habrían utilizado las GPU H100 AI de NVIDIA en múltiples experimentos, lo que sugiere que las nuevas regulaciones podrían no ser muy efectivas.

Cuatro artículos académicos publicados en un sitio web científico de «acceso abierto», ArXiv, han revelado esta información, y el estudio incluye el uso de aceleradores de IA para resolver problemas matemáticos y lógicos complejos. Se dice que los investigadores pudieron conseguir ocho o menos de los H100 de NVIDIA, lo que ciertamente no es un número enorme, pero plantea dudas sobre la implementación de las regulaciones estadounidenses. Sin embargo, no está seguro si las personas involucradas en la investigación han adquirido nuevas unidades de H100 o han investigado los SKU existentes en los mercados desde que se vendía la GPU Hopper de NVIDIA hasta que la prohibición entró en vigor.

No podemos estar seguros de cómo estas GPU terminarán en primer lugar en China, pero nuestra mejor apuesta probablemente sea la subcontratación de países que cumplan con los EE. UU., como el Medio Oriente. Vimos un caso similar con la empresa de origen chino TuSimple, donde el gobierno estadounidense intervino en las ventas del A100 de NVIDIA a la empresa, citando una posible transferencia de tecnología. Como TuSimple encargó las GPU a una filial en Australia, no pudieron realizar el pedido hasta que la administración Biden lo vetó.

Bloquear el acceso a un componente crucial requerido por la industria de la IA no es una tarea fácil para Estados Unidos, e incluso después de una implementación sólida, los individuos o las empresas incluidas en la lista negra encontrarían ciertas lagunas en las políticas impuestas, lo que en última instancia crearía otra situación alarmante para el gobierno.

Meta ha revelado dos nuevos clústeres de centros de datos, con la intención de sobresalir en desarrollos centrados en IA a través de los aceleradores de vanguardia de NVIDIA.

Los avances de Meta en el aumento de la potencia informática de la IA continúan mientras la empresa planea realizar desarrollos masivos utilizando las GPU de IA NVIDIA H100

La iniciativa Meta AI de Mark Zuckerberg ha alcanzado un nuevo nivel a medida que la empresa avanza hacia un rápido desarrollo de AGI, que es el próximo gran avance después de la IA generativa en este campo. Para lograr una potencia informática óptima, Meta ha desarrollado dos nuevos clústeres de centros de datos, según informó Datacenter Dynamics, con el único objetivo de la investigación de IA y el desarrollo de LLM en aplicaciones específicas del consumidor, como el reconocimiento de voz e imagen. La empresa ha decidido integrar nada menos que las GPU H100 AI de NVIDIA, y ambos clústeres contienen 24.576 unidades.

Ampliando más lo que ofrecen los clústeres, ambos vienen con una capacidad de interconexión de 400 Gbps, uno tiene la solución de estructura desarrollada por Meta basada en el Arista 7800, mientras que el otro clúster presenta la estructura Quantum2 InfiniBand de NVIDIA para garantizar una experiencia de interconectividad perfecta. . Además, los clústeres se basan en la plataforma Grand Teton AI de GPU abierta de Meta, que está diseñada para aprovechar las capacidades presentes en los aceleradores modernos al tener un ancho de banda y una capacidad de computación mejorados de host a GPU.

Al mirar hacia el futuro, reconocemos que lo que funcionó ayer o hoy puede no ser suficiente para las necesidades del mañana. Es por eso que evaluamos y mejoramos constantemente cada aspecto de nuestra infraestructura, desde las capas físicas y virtuales hasta la capa de software y más. Nuestro objetivo es crear sistemas que sean flexibles y confiables para respaldar los nuevos modelos e investigaciones en rápida evolución.

– Publicación del blog de Meta

Los dos nuevos clústeres de Meta son parte de los planes de la compañía de ser una fuerza líder en tener una mayor capacidad informática de IA que sus competidores. La integración de las H100 de NVIDIA se enmarca en el plan de emplear 350.000 de estas GPU de IA para finales de este año, lo que suma un total de 600.000 H100 en su bolsa. Se trata, sin duda, de una apuesta «dura» de la firma por avanzar en la era de la IA, donde la tecnología ha experimentado una adopción masiva en los últimos tiempos. Y, por lo que parece, Meta tiene planes de hacer crecer su infraestructura de IA rápidamente, evolucionándola con componentes de próxima generación.

Fuente de noticias: Meta Ingeniería