No encontrará la GPU H100 (Hopper) de Nvidia en la lista de las mejores tarjetas gráficas. Sin embargo, el punto fuerte del H100 radica en la inteligencia artificial (IA), lo que lo convierte en una GPU codiciada en la industria de la IA. Y ahora que todos se están subiendo al carro de la IA, el H100 de Nvidia se ha vuelto aún más popular.
Nvidia afirma que el H100 ofrece un rendimiento de entrenamiento de IA hasta 9 veces más rápido y un rendimiento de inferencia hasta 30 veces más rápido que el anterior A100 (amperio). Con un rendimiento de ese nivel, es fácil comprender por qué todo el mundo quiere tener en sus manos un H100. Además, Reuters (se abre en una pestaña nueva) informó que Nvidia había modificado el H100 para cumplir con las reglas de exportación para que el fabricante de chips pudiera vender el H100 alterado como H800 a China.
El año pasado, los funcionarios estadounidenses implementaron varias regulaciones para evitar que Nvidia vendiera sus GPU A100 y H100 a clientes chinos. Las reglas limitaban las exportaciones de GPU con tasas de transferencia de datos de chip a chip por debajo de 600 GBps. La velocidad de transferencia es primordial en el mundo de la IA, donde los sistemas tienen que mover enormes cantidades de datos para entrenar los modelos de IA, como ChatGPT. Obstaculizar la tasa de transferencia de datos de chip a chip da como resultado un impacto significativo en el rendimiento, ya que las tasas de transferencia más lentas aumentan el tiempo que se tarda en transferir datos, lo que a su vez aumenta el tiempo de entrenamiento.
Con el A100, Nvidia redujo la interconexión de 600 GBps de la GPU a 400 GBps y lo renombró como A800 para comercializarlo en el mercado chino. Nvidia está adoptando un enfoque idéntico al H100.
Según una fuente de la industria china de chips de Reuters, Nvidia redujo la tasa de transferencia de datos de chip a chip en el H800 a aproximadamente la mitad del H100. Eso dejaría al H800 con una interconexión restringida a 300 GBps. Ese es un golpe de rendimiento más significativo que en comparación con el A100 y el A800, donde este último sufrió una tasa de transferencia de datos de chip a chip un 33% más baja. Sin embargo, el H100 es sustancialmente más rápido que el A100, lo que podría ser la razón por la que Nvidia impuso un límite de velocidad de transferencia de datos de chip a chip más severo en el primero.
Reuters se puso en contacto con un portavoz de Nvidia para preguntar qué diferencia al H800 del H100. Sin embargo, el representante de Nvidia solo afirmó que «nuestros productos de la serie 800 cumplen totalmente con las regulaciones de control de exportaciones».
Nvidia ya tiene tres de las empresas tecnológicas chinas más destacadas que utilizan el H800: Alibaba Group Holding, Baidu Inc y Tencent Holdings. China ha prohibido ChatGPT; por lo tanto, los gigantes tecnológicos compiten entre sí para producir un modelo doméstico similar a ChatGPT para el mercado chino. Y aunque un H800 con la mitad de la velocidad de transferencia de chip a chip sin duda será más lento que el H100 completo, aún no será lento. Dado que las empresas pueden usar miles de GPU Hopper, en última instancia, tenemos que preguntarnos si esto significará usar más H800 para lograr el mismo trabajo que menos H100.