NVIDIA ha criticado bastante a toda la industria de las CPU en Computex 2023. Jensen subi\u00f3 al escenario en el primer show en vivo despu\u00e9s de 4 a\u00f1os y declar\u00f3 con audacia (y con bastante acierto) que la IA generativa y la computaci\u00f3n acelerada son el futuro de la computaci\u00f3n. Al leer un elogio a la sabidur\u00eda convencional de la Ley de Moore, declar\u00f3 que el tiempo en el que pod\u00eda obtener una velocidad 10x en 5 a\u00f1os manteniendo la misma potencia y el mismo costo se acab\u00f3. En el futuro, la mayor\u00eda de las aceleraciones provendr\u00e1n de la IA generativa y los enfoques basados \u200b\u200ben computaci\u00f3n acelerada. Tambi\u00e9n comparti\u00f3 un TCO absolutamente encantador con la audiencia:<\/p>\n
NVIDIA presenta un an\u00e1lisis de TCO de modelo de lenguaje grande (LLM) en Comptuex:<\/h2>\n
Comencemos con la l\u00ednea de base primero. Se necesitan servidores de 10 millones de d\u00f3lares basados \u200b\u200ben CPU 960 para entrenar 1 LLM (modelo de lenguaje grande). Para ser claros, NVIDIA calcul\u00f3 el costo total del cl\u00faster de servidores necesario para entrenar un solo modelo de lenguaje grande (incluidas las redes, la carcasa, las interconexiones, todo) y descubri\u00f3 que se necesitaron aproximadamente $ 10 millones de d\u00f3lares y un consumo de energ\u00eda de 11 GWh para entrenar un \u00fanico modelo de lenguaje grande.<\/p>\n Por otro lado, si mantiene el mismo costo y compra un cl\u00faster de GPU de $ 10 millones, puede entrenar 44 modelos de lenguaje grandes por el mismo costo y una fracci\u00f3n del costo de energ\u00eda (3.2 GWh). Este escenario se denomina costo ISO en un an\u00e1lisis de TCO (manteniendo el mismo costo irrecuperable).<\/p>\n Si cambia a la potencia ISO o mantiene el mismo consumo de energ\u00eda, puede lograr una aceleraci\u00f3n de 150x al entrenar 150 LLM con el mismo consumo de energ\u00eda de 11 GWh a un costo de $ 34 millones de d\u00f3lares. La huella de este cl\u00faster a\u00fan ser\u00eda significativamente menor que la del cl\u00faster de CPU.<\/p>\n Finalmente, si quisiera mantener la carga de trabajo exactamente igual, solo necesitar\u00eda un servidor GPU de $ 400,000 USD que consume 0.13 GWh para entrenar un solo LLM. Esencialmente, lo que dice NVIDIA es que puede entrenar un LLM con solo el 4 % del costo y solo el 1,2 % del consumo de energ\u00eda, lo que representa una reducci\u00f3n enorme en comparaci\u00f3n con los servidores basados \u200b\u200ben CPU.<\/p>\n![\"\"](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2023\/05\/IMG_20230529_112420-1456x1092.jpg\")
<\/figure>\n![\"\"](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2023\/05\/IMG_20230529_112457-1456x1092.jpg\")
<\/figure>\n