Moore Threads, el fabricante chino de GPU, ha presentado su nueva GPU MTT S4000 que ofrece 200 TOP de computación de IA y 48 GB de memoria para LLM.

Moore Threads se sube al tren de la IA con una GPU 200 TOPS MTT S4000, equipada con memoria GDDR6 de 48 GB y preparación Gen5

En un evento, Moore Threads presentó su nueva GPU MTT S4000 que utiliza su arquitectura central MUSA de tercera generación. La tarjeta está diseñada específicamente para impulsar cargas de trabajo de IA y ofrece capacidades de memoria muy grandes para modelos de lenguajes grandes.

En cuanto a las especificaciones, el Moore Threads MTT S4000 cuenta con 48 GB de memoria GDDR6 con velocidad de 16 Gbps para proporcionar un ancho de banda de 768 GB/s. La GPU viene con la última tecnología de interfaz MTLink 1.0 que permite a los clientes ejecutar varias tarjetas simultáneamente. Piense en ello como una solución NVLINK para las GPU Moore Threads. La tarjeta también se basa en el protocolo PCIe Gen5 y, hasta ahora, la empresa es la única que ofrece hardware de nivel de consumidor compatible con Gen5.

Según la propia compañía, algunas de las cifras de computación compartidas muestran 25 TFLOP de FP32, 50 TFLOP de TF32, 100 TFLOP de FP16/BF16 y 200 TOPS en rendimiento INT8. Eso es 5 veces más que la combinación NPU+CPU+GPU más rápida disponible en PC con IA, como la serie Ryzen 8040 de AMD y la serie Intel Core Ultra. Desafortunadamente, la empresa no ha compartido el recuento de núcleos y otros aspectos técnicos.

Una cosa interesante a tener en cuenta es que, a pesar de ser una tarjeta aceleradora de IA, la MTT S4000 tiene cuatro salidas de pantalla y puede admitir pantallas de hasta 8K. La tarjeta también admite 96 transmisiones simultáneas de 1080p y está equipada con las últimas herramientas de desarrollo USIFY que pueden aprovechar al máximo el software basado en CUDA de NVIDIA. Resumiendo las especificaciones:

• Arquitectura GPU MUSA de tercera generación
• Memoria GDDR6 de 48 GB
• Ancho de banda de 768 GB/s (velocidades de PIN de 16 Gbps)
• Compatible con PCIe Gen5
• 25 TFLOP FP32
• 50 TFLOP TF32
• 100 TFLOP FP16/BF16
• 200 TOPS INT8
• Cuatro salidas de pantalla
• 96 transmisiones de 1080p
• Hecho para aplicaciones de IA

La tarjeta en sí viene en una solución estándar de dos ranuras con refrigeración pasiva y utiliza un conector de alimentación de 12 VHPWR para arrancar. A modo de comparación, el MTT S3000 de la generación anterior ofrece 32 GB de memoria y un cálculo FP32 máximo de 15,2 TFLOP. Esto supone un aumento del 50 % en la capacidad de memoria y del 64 % en las capacidades informáticas del FP32.

La GPU Moore Threads MTT S4000 también se está integrando en las soluciones informáticas de KUAE que son similares a los sistemas DGX de NVIDIA. El sistema Kuae MCCX D800 utiliza 8 GPU MTT S4000 y también viene con una expansión perfecta desde una sola máquina a múltiples tarjetas y múltiples sistemas de IA. Tanto las GPU MTT S4000 como los sistemas Kuae son compatibles con los últimos LLM, como LLaMA, GLM, Aquila, Baichuan, GPT, Bloom, Yuyan, y pueden manejar 130 mil millones de parámetros con facilidad. Las primeras 1000 GPU MTT S4000 se alojarán en el primer clúster informático a gran escala de China para impulsar cargas de trabajo de IA.

Al igual que las otras dos GPU Moore Threads, MTT S80 y MTT S70, se espera que la MTT S4000 esté disponible a precios muy competitivos. El rendimiento, por otro lado, es algo que sólo sabremos realmente una vez que los resultados reales estén disponibles, ya que las dos primeras tarjetas fueron muy decepcionantes a pesar de que la compañía se jactaba mucho de sus capacidades de rendimiento en juegos.

Hoy, una startup llamada Atom Computing anunció que ha estado realizando pruebas internas de una computadora cuántica de 1.180 qubit y que la pondrá a disposición de los clientes el próximo año. El sistema representa un gran paso adelante para la empresa, que antes solo había construido un sistema basado en qubits de átomos neutros, un sistema que funcionaba con sólo 100 qubits.

La tasa de error para las operaciones de qubits individuales es lo suficientemente alta como para que no sea posible ejecutar un algoritmo que se base en el recuento completo de qubits sin que falle debido a un error. Pero respalda las afirmaciones de la compañía de que su tecnología puede escalar rápidamente y proporciona un banco de pruebas para trabajar en la corrección de errores cuánticos. Y, para algoritmos más pequeños, la compañía dice que simplemente ejecutará múltiples instancias en paralelo para aumentar las posibilidades de devolver la respuesta correcta.

Computando con átomos

Atom Computing, como su nombre lo indica, ha elegido átomos neutros como su qubit preferido (hay otras empresas que están trabajando con iones). Estos sistemas se basan en un conjunto de láseres que crean una serie de ubicaciones energéticamente favorables para los átomos. Si se los deja solos, los átomos tenderán a caer en estos lugares y permanecer allí hasta que un átomo de gas perdido choque con ellos y los derribe.

Debido a que las ubicaciones de los átomos están determinadas por la configuración de los láseres, es posible abordar cada uno de ellos individualmente. La información cuántica se almacena en el espín nuclear, que es relativamente impermeable al medio ambiente. Mientras que otros tipos de qubits tienen vidas de coherencia de sólo una fracción de segundo, los átomos neutros a menudo mantienen su estado durante decenas de segundos. Debido a que el espín nuclear no interactúa fácilmente con el medio ambiente, es posible agrupar los átomos muy juntos, lo que permite un sistema relativamente denso.

Sin embargo, es posible manipular los átomos para que puedan interactuar y entrelazarse. Esto funciona a través de lo que se llama un bloqueo de Rydberg, que prohíbe las interacciones a menos que dos átomos estén separados por una distancia determinada y ambos estén en el estado de Rydberg, en el que sus electrones más externos están débilmente unidos y orbitan a una gran distancia del núcleo. Al colocar los pares correctos de átomos en el estado de Rydberg (lo que también se puede hacer con láseres), es posible entrelazarlos. Y, dado que los láseres permiten controlar la ubicación de átomos individuales, es posible entrelazar dos cualesquiera.

Debido a que este sistema permite que los átomos estén relativamente juntos, Atom Computing sostiene que el sistema está bien posicionado para escalar rápidamente. A diferencia de sistemas como los transmons, donde pequeñas diferencias en la fabricación de dispositivos conducen a qubits con pequeñas variaciones en el rendimiento, se garantiza que cada átomo atrapado se comportará de la misma manera. Y, dado que los átomos no intervienen a menos que se manipulen, es posible agrupar muchos de ellos en un espacio relativamente pequeño.

Estos dos factores, argumentan los ejecutivos de la compañía, significan que los átomos neutros están bien posicionados para escalar hasta una gran cantidad de qubits. Su sistema original, que entró en funcionamiento en 2021, era una cuadrícula de átomos de 10 × 10 (aunque también son posibles disposiciones tridimensionales). Y, cuando hablaron con Ars hace un año, mencionaron que esperaban escalar su sistema de próxima generación en un orden de magnitud, aunque no dijeron cuándo esperaban que estuviera listo.

Los juegos en una CPU ARM de 192 núcleos ahora se han convertido en una realidad desde que Ampere Computing ha facilitado una forma de utilizar sus chips de alto número de núcleos para juegos en Linux.

Ampere Computing utiliza capas de emulación para permitir que los títulos de juegos de Steam se ejecuten en sus CPU ARM de 192 núcleos

Ampere ha publicado una guía de “Juegos en Linux” para ejecutar Steam en CPU basadas en ARM64. Para brindar soporte al usuario sin interrupciones, Ampere ha mantenido un repositorio GitHub, que es de código abierto y también es compatible con procesadores de 64 bits similares en el mercado.

Ampere se dirige específicamente a su línea de CPU Altra y One ARM, y también brinda soporte para el procesador “Altra Max” de Ampere, que viene con hasta 192 núcleos. Las CPU Ampere utilizarán Box86 y Box64, que también es otra capa de emulación que ayuda a mejorar la experiencia binaria de Linux. En términos simples, hace que la compatibilidad con Steam sea más efectiva.

Es importante tener en cuenta que no se puede ejecutar Steam directamente en Linux, y la empresa sólo es posible con Proton, una capa de compatibilidad que proporciona un puente entre Steam y Linux. Aparte de esto, las CPU Ampere por sí solas no pueden proporcionar rendimiento de computación gráfica, por lo que también será necesaria la utilización de una GPU dedicada. En el caso de la guía Ampere, están utilizando la GPU de estación de trabajo de la serie RTX A6000 de NVIDIA, que viene con soporte para controladores propietarios AArch64.

Si bien uno podría creer que se puede obtener un alto rendimiento en juegos con una CPU de 192 núcleos (Ampere Altra Max Arm), debido a su gigantesca cantidad de núcleos, este no es el caso aquí. Esto se debe principalmente a que los chips no están diseñados para frecuencias más altas y, al igual que Threadripper y las líneas de núcleo alto de los proveedores x86, podría haber una subutilización significativa del hardware disponible. Por el momento no existen puntos de referencia que respalden esto.

Debemos darle crédito a la dedicación de Ampere para hacer posible este paso, ya que abrirá nuevas puertas en la experimentación con CPU ARM64; sin embargo, jugar no es algo que uno deba hacer con estos procesadores, ya que son terribles en eso. Esperamos que alguien pruebe la efectividad real de la guía «Juegos en Linux» para darnos una idea de la capacidad de las CPU Ampere en los juegos.

Fuente de noticias: Phoronix

NVIDIA ha anunciado sus nuevos sistemas de GPU Hopper H100 AI que están sobrealimentados con las CPU de 4.ª generación Xeon «Sapphire Rapids» de Intel.

NVIDIA ofrece una alta eficiencia 25 veces mayor con los sistemas de IA Hopper H100 con tecnología de CPU Intel Xeon «Sapphire Rapids» de cuarta generación

Presione soltar: La IA está en el centro de las innovaciones más transformadoras de la humanidad, desde el desarrollo de vacunas contra el COVID a velocidades sin precedentes y el diagnóstico del cáncer hasta la potencia de vehículos autónomos y la comprensión del cambio climático.

Prácticamente todas las industrias se beneficiarán de la adopción de IA, pero la tecnología se ha vuelto más intensiva en recursos a medida que las redes neuronales han aumentado en complejidad. Para evitar imponer demandas insostenibles a la generación de electricidad para hacer funcionar esta infraestructura informática, la tecnología subyacente debe ser lo más eficiente posible.

La computación acelerada impulsada por las GPU NVIDIA y la plataforma de inteligencia artificial ofrece la eficiencia que permite que los centros de datos impulsen de manera sostenible la próxima generación de avances.

Y ahora, coincidiendo con el lanzamiento de los procesadores escalables Intel Xeon de 4.ª generación, NVIDIA y sus socios han lanzado una nueva generación de sistemas informáticos acelerados creados para una IA eficiente en el consumo de energía. Cuando se combinan con las GPU H100 Tensor Core, estos sistemas pueden ofrecer un rendimiento mucho mayor, una mayor escala y una mayor eficiencia que la generación anterior, lo que proporciona más cómputo y resolución de problemas por vatio.

Las nuevas CPU Intel se utilizarán en los sistemas DGX H100, así como en más de 60 servidores con GPU H100 de los socios de NVIDIA en todo el mundo.

Supercarga de velocidad, eficiencia y ahorros para la IA empresarial

Los próximos sistemas impulsados ​​por NVIDIA e Intel ayudarán a las empresas a ejecutar cargas de trabajo con un promedio de 25 veces más eficiencia que los servidores de centros de datos tradicionales solo con CPU. Este increíble rendimiento por vatio significa que se necesita menos energía para realizar los trabajos, lo que ayuda a garantizar que la energía disponible para los centros de datos se utilice de la manera más eficiente posible para potenciar el trabajo más importante.

En comparación con los sistemas acelerados de la generación anterior, esta nueva generación de servidores acelerados por NVIDIA acelera la capacitación y la inferencia para aumentar la eficiencia energética en 3,5 veces, lo que se traduce en ahorros de costos reales, con centros de datos de IA que ofrecen un costo total de propiedad más de 3 veces menor.

Las nuevas CPU Intel Xeon de cuarta generación mueven más datos para acelerar NVIDIA AI

Entre las características de la nueva CPU Intel Xeon de 4.ª generación se encuentra la compatibilidad con PCIe Gen 5, que puede duplicar las tasas de transferencia de datos de la CPU a las GPU NVIDIA y las redes. Los carriles PCIe aumentados permiten una mayor densidad de GPU y redes de alta velocidad dentro de cada servidor.

Un ancho de banda de memoria más rápido también mejora el rendimiento de las cargas de trabajo con uso intensivo de datos, como la IA, mientras que las velocidades de red, hasta 400 gigabits por segundo (Gbps) por conexión, admiten transferencias de datos más rápidas entre servidores y almacenamiento.

Los sistemas y servidores DGX H100 de NVIDIA se asocian con las GPU H100 PCIe vienen con una licencia para NVIDIA AI Enterprise, un conjunto de software de desarrollo e implementación de IA completo, seguro y nativo de la nube, que proporciona una plataforma completa para la excelencia en la empresa eficiente AI.

Los sistemas NVIDIA DGX H100 supercargan la eficiencia para la IA de gran tamaño

Como la cuarta generación de la principal infraestructura de IA especialmente diseñada del mundo, los sistemas DGX H100 proporcionan una plataforma totalmente optimizada impulsada por el sistema operativo del centro de datos acelerado, el software NVIDIA Base Command.

Cada sistema DGX H100 cuenta con ocho GPU NVIDIA H100, 10 adaptadores de red NVIDIA ConnectX-7 y dos procesadores escalables Intel Xeon de 4.ª generación para ofrecer el rendimiento necesario para crear grandes modelos de IA generativa, modelos de lenguaje grande, sistemas de recomendación y más.

En combinación con las redes NVIDIA, esta arquitectura potencia la computación eficiente a escala al ofrecer hasta 9 veces más rendimiento que la generación anterior y entre 20 y 40 veces más rendimiento que los servidores X86 de doble socket no acelerados para entrenamiento de IA y cargas de trabajo de HPC. Si un modelo de idioma requería anteriormente 40 días para entrenarse en un clúster de servidores solo X86, NVIDIA DGX H100 con CPU Intel Xeon y redes con tecnología ConnectX-7 podría completar el mismo trabajo en tan solo 1 o 2 días.

Los sistemas NVIDIA DGX H100 son los componentes básicos de un NVIDIA DGX SuperPOD llave en mano listo para la empresa, que ofrece hasta un exaflop de rendimiento de IA, proporcionando un salto en la eficiencia para la implementación de IA empresarial a gran escala.

Los socios de NVIDIA aumentan la eficiencia del centro de datos

Para las cargas de trabajo del centro de datos de IA, las GPU NVIDIA H100 permiten a las empresas crear e implementar aplicaciones de manera más eficiente.

Al brindar una nueva generación de rendimiento y eficiencia energética a las empresas de todo el mundo, pronto llegará una amplia cartera de sistemas con GPU H100 y CPU escalables Intel Xeon de cuarta generación de los socios de NVIDIA, incluidos ASUS, Atos, Cisco, Dell Technologies, Fujitsu, GIGABYTE, Hewlett. Packard Enterprise, Lenovo, QCT y Supermicro.

Como referente de las ganancias de eficiencia que se avecinan, Lenovo ThinkSystem del Instituto Flatiron con GPU NVIDIA H100 encabeza la lista Green500 más reciente, y las tecnologías NVIDIA impulsan 23 de los 30 sistemas principales de la lista. El sistema Flatiron utiliza CPU Intel de generaciones anteriores, por lo que se espera aún más eficiencia de los sistemas que ahora salen al mercado.

Además, la conexión de servidores con la red NVIDIA ConnectX-7 y los procesadores escalables Intel 4th Gen Xeon aumentará la eficiencia y reducirá la infraestructura y el consumo de energía.

Los adaptadores NVIDIA ConnectX-7 admiten PCIe Gen 5 y 400 Gbps por conexión mediante Ethernet o InfiniBand, lo que duplica el rendimiento de la red entre servidores y almacenamiento. Los adaptadores admiten descargas avanzadas de red, almacenamiento y seguridad. ConnectX-7 reduce la cantidad de cables y puertos de conmutación necesarios, lo que ahorra un 17 % o más en la electricidad necesaria para la conexión en red de grandes clústeres de IA y HPC acelerados por GPU y contribuye a una mejor eficiencia energética de estos nuevos servidores.

El software NVIDIA AI Enterprise ofrece una solución de IA de pila completa

Estos sistemas de próxima generación también brindan un salto adelante en la eficiencia operativa, ya que están optimizados para el paquete de software NVIDIA AI Enterprise.

NVIDIA AI Enterprise, que se ejecuta en NVIDIA H100, acelera la canalización de la ciencia de datos y agiliza el desarrollo y la implementación de modelos predictivos de IA para automatizar procesos esenciales y obtener información rápida a partir de los datos.

Con una amplia biblioteca de software de pila completa, que incluye flujos de trabajo de IA de aplicaciones de referencia, marcos, modelos preentrenados y optimización de infraestructura, el software proporciona una base ideal para escalar el éxito de la IA empresarial.

Para probar NVIDIA H100 con marcos y flujos de trabajo de IA compatibles con NVIDIA AI Enterprise, regístrese en NVIDIA LaunchPad sin cargo. Vea al fundador y director ejecutivo de NVIDIA, Jensen Huang, hablar en el evento de lanzamiento del procesador escalable Intel Xeon de cuarta generación.