El imprescindible chip H100 AI de Nvidia lo logr\u00f3 una empresa multimillonaria<\/a>uno que puede valer la pena m\u00e1s que Alphabet y Amazon<\/a>y los competidores han sido luchando para ponerse al d\u00eda<\/a>. Pero tal vez Nvidia est\u00e9 a punto de ampliar su liderazgo, con la nueva GPU Blackwell B200 y el \u201csuperchip\u201d GB200. <\/p>\n<\/div>\n Nvidia dice que la nueva GPU B200 ofrece hasta 20 petaflops <\/em>de caballos de fuerza del FP4 de sus 208 mil millones de transistores. Adem\u00e1s, dice, un GB200 que combina dos de esas GPU con una sola CPU Grace puede ofrecer 30 veces m\u00e1s rendimiento para cargas de trabajo de inferencia LLM y, al mismo tiempo, ser potencialmente sustancialmente m\u00e1s eficiente. \u00abReduce el costo y el consumo de energ\u00eda hasta 25 veces\u00bb en comparaci\u00f3n con un H100, dice Nvidia. <\/p>\n<\/div>\n Para entrenar un modelo de 1,8 billones de par\u00e1metros se habr\u00edan necesitado anteriormente 8.000 GPU Hopper y 15 megavatios de potencia, afirma Nvidia. Hoy, el CEO de Nvidia dice que 2.000 GPU Blackwell pueden hacerlo consumiendo s\u00f3lo cuatro megavatios.<\/p>\n<\/div>\n En un punto de referencia GPT-3 LLM con 175 mil millones de par\u00e1metros, Nvidia dice que el GB200 tiene un rendimiento algo m\u00e1s modesto siete veces el de un H100, y Nvidia dice que ofrece cuatro veces la velocidad de entrenamiento. <\/p>\n<\/div>\n Nvidia dijo a los periodistas que una de las mejoras clave es un motor transformador de segunda generaci\u00f3n que duplica la computaci\u00f3n, el ancho de banda y el tama\u00f1o del modelo mediante el uso de cuatro bits para cada neurona en lugar de ocho (de ah\u00ed los 20 petaflops del FP4 que mencion\u00e9 anteriormente). Una segunda diferencia clave solo surge cuando se conecta una gran cantidad de estas GPU: un conmutador NVLink de pr\u00f3xima generaci\u00f3n que permite que 576 GPU se comuniquen entre s\u00ed, con 1,8 terabytes por segundo de ancho de banda bidireccional. <\/p>\n<\/div>\n Eso requiri\u00f3 que Nvidia construyera un chip conmutador de red completamente nuevo, uno con 50 mil millones de transistores y parte de su propia computaci\u00f3n integrada: 3,6 teraflops de FP8, dice Nvidia.<\/p>\n<\/div>\n Anteriormente, dice Nvidia, un grupo de s\u00f3lo 16 GPU dedicaba el 60 por ciento de su tiempo a comunicarse entre s\u00ed y s\u00f3lo el 40 por ciento a la computaci\u00f3n.<\/p>\n<\/div>\n Nvidia cuenta con que las empresas compren grandes cantidades de estas GPU, por supuesto, y las est\u00e1 empaquetando en dise\u00f1os m\u00e1s grandes, como el GB200 NVL72, que conecta 36 CPU y 72 GPU en un \u00fanico bastidor refrigerado por l\u00edquido para un total de 720 petaflops de Rendimiento de entrenamiento de IA o 1.440 petaflops (tambi\u00e9n conocido como 1,4 exaflops<\/em>) de inferencia. Tiene casi dos millas de cables en su interior, con 5.000 cables individuales.<\/p>\n<\/div>\n Cada bandeja del bastidor contiene dos chips GB200 o dos conmutadores NVLink, con 18 de los primeros y nueve de los \u00faltimos por bastidor. En total, Nvidia dice que uno de estos bastidores puede admitir un modelo de 27 billones de par\u00e1metros. Se rumorea que GPT-4 tiene alrededor de un modelo de par\u00e1metros de 1,7 billones.<\/p>\n<\/div>\n La compa\u00f1\u00eda dice que Amazon, Google, Microsoft y Oracle ya est\u00e1n planeando ofrecer los racks NVL72 en sus ofertas de servicios en la nube, aunque no est\u00e1 claro cu\u00e1ntos est\u00e1n comprando. <\/p>\n<\/div>\n Y, por supuesto, Nvidia tambi\u00e9n se complace en ofrecer a las empresas el resto de la soluci\u00f3n. Aqu\u00ed est\u00e1 el DGX Superpod para DGX GB200, que combina ocho sistemas en uno para un total de 288 CPU, 576 GPU, 240 TB de memoria y 11,5 exaflops de computaci\u00f3n FP4.<\/p>\n<\/div>\n Nvidia dice que sus sistemas pueden escalar a decenas de miles de superchips GB200, conectados con redes de 800 Gbps con su nuevo Quantum-X800 InfiniBand (para hasta 144 conexiones) o Ethernet Spectrum-X800 (para hasta 64 conexiones). <\/p>\n<\/div>\n No esperamos escuchar nada sobre las nuevas GPU para juegos hoy, ya que esta noticia surge de la Conferencia de tecnolog\u00eda GPU de Nvidia, que generalmente se centra casi por completo en la computaci\u00f3n GPU y la inteligencia artificial, no en los juegos. Pero la arquitectura de la GPU Blackwell probablemente tambi\u00e9n impulse una futura l\u00ednea de la serie RTX 50<\/a> de tarjetas gr\u00e1ficas de escritorio.<\/p>\n<\/div>\n<\/div>\n