Mientras la gente debate si la Ley de Moore se está desacelerando, sigue siendo aplicable o incluso está viva o muerta en la década de 2020, los científicos de Nvidia anuncian el impresionante impulso detrás de la Ley de Huang. Durante la última década, se afirma que la destreza de procesamiento de IA de la GPU de Nvidia se ha multiplicado por 1.000. La Ley de Huang significa que las aceleraciones que hemos visto en el “rendimiento de inferencia de un solo chip” no van a desaparecer ahora, sino que seguirán llegando.
Nvidia publicó una entrada de blog sobre la Ley de Huang el viernes, describiendo la creencia y las prácticas laborales detrás de ella. Lo que el científico jefe de Nvidia, Bill Dally, describe como un “cambio tectónico en cómo se logra el rendimiento de las computadoras en una era posterior a la ley de Moore” se basa, curiosamente, principalmente en el ingenio humano. Parece algo impredecible establecer una ley sobre esta característica, pero Dally cree que el impresionante cuadro a continuación marca solo el comienzo de la Ley de Huang.
Según la reciente conferencia de Dally sobre Hot Chips 2023, el gráfico anterior muestra un aumento de 1000 veces en el rendimiento de inferencia de IA de GPU en los últimos diez años. Curiosamente, a diferencia de la Ley de Moore, la reducción del proceso ha tenido poco impacto en el progreso de la Ley de Huang, afirmó el científico jefe de Nvidia.
Dally recuerda cómo se logró una ganancia de 16 veces al cambiar el manejo de números subyacente de la GPU de Nvidia. Otro gran impulso se produjo con la llegada de la arquitectura Nvidia Hopper, con Transformer Engine. Hopper utiliza una combinación dinámica de punto flotante de ocho y 16 bits y matemáticas enteras para ofrecer un salto de rendimiento de 12,5 veces, además de ahorrar energía, se afirma. Anteriormente, Nvidia Ampere introdujo escasez estructural para duplicar el rendimiento, dijo el científico. Avances como NVLink y la tecnología de redes Nvidia han reforzado aún más estos impresionantes avances.
Una de las afirmaciones más sorprendentes de Dally fue que las ganancias compuestas de 1000 veces anteriores en el rendimiento de inferencia de IA contrastan marcadamente con las ganancias atribuidas a las mejoras de procesos. Durante la última década, a medida que las GPU de Nvidia pasaron de procesos de 28 nm a 5 nm, las mejoras en los procesos de semiconductores «sólo representaron 2,5 veces las ganancias totales», afirmó Dally en Hot Chips.
Con conceptos como «ingenio y esfuerzo para inventar y validar ingredientes frescos» detrás, ¿cómo continuará a buen ritmo la Ley de Huang? Afortunadamente, Dally indica que él y su equipo todavía ven «varias oportunidades» para acelerar el procesamiento de inferencias de IA. Las vías a explorar incluyen «simplificar aún más la forma en que se representan los números, crear más escasez en los modelos de IA y diseñar mejores circuitos de memoria y comunicaciones».