{"id":856306,"date":"2023-10-26T02:37:13","date_gmt":"2023-10-26T02:37:13","guid":{"rendered":"https:\/\/magazineoffice.com\/el-consumo-de-energia-de-las-cargas-de-trabajo-de-ia-se-acerca-al-de-los-paises-pequenos-informe\/"},"modified":"2023-10-26T02:37:17","modified_gmt":"2023-10-26T02:37:17","slug":"el-consumo-de-energia-de-las-cargas-de-trabajo-de-ia-se-acerca-al-de-los-paises-pequenos-informe","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/el-consumo-de-energia-de-las-cargas-de-trabajo-de-ia-se-acerca-al-de-los-paises-pequenos-informe\/","title":{"rendered":"El consumo de energ\u00eda de las cargas de trabajo de IA se acerca al de los pa\u00edses peque\u00f1os: informe"},"content":{"rendered":"<p> <br \/>\n<\/p>\n<div id=\"article-body\">\n<p>La demanda de IA es inmensa en estos d\u00edas.  La empresa francesa Schneider Electric estima que el consumo de energ\u00eda de las cargas de trabajo de IA totalizar\u00e1 alrededor de 4,3 GW en 2023, lo que es ligeramente inferior al consumo de energ\u00eda de la naci\u00f3n de Chipre (4,7 GW) en 2021. La compa\u00f1\u00eda anticipa que el consumo de energ\u00eda de las cargas de trabajo de IA aumentar\u00e1 a una tasa de crecimiento anual compuesta (CAGR) del 26% al 36%, lo que sugiere que para 2028, las cargas de trabajo de IA consumir\u00e1n de 13,5 GW a 20 GW, que es m\u00e1s de lo que consumi\u00f3 Islandia en 2021.<\/p>\n<h2 id=\"massive-power-requirements\">Requisitos de energ\u00eda masivos<\/h2>\n<p>En 2023, se estima que el consumo energ\u00e9tico total de todos los centros de datos ser\u00e1 de 54 GW, y las cargas de trabajo de IA representar\u00e1n 4,3 GW de esta demanda, seg\u00fan Schneider Electric.  Dentro de estas cargas de trabajo de IA, la distribuci\u00f3n entre entrenamiento e inferencia se caracteriza por un 20% de la energ\u00eda consumida para fines de entrenamiento y un 80% asignado a tareas de inferencia.  Esto significa que las cargas de trabajo de IA ser\u00e1n responsables de aproximadamente el 8% del consumo total de energ\u00eda de los centros de datos este a\u00f1o.  <\/p>\n<aside class=\"hawk-nest\" data-render-type=\"fte\" data-skip=\"dealsy\" data-widget-type=\"seasonal\"\/>\n<p>De cara a 2028, Schneider proyecta que el consumo total de energ\u00eda de los centros de datos aumentar\u00e1 a 90 GW, y las cargas de trabajo de IA consumir\u00e1n entre 13,5 GW y 20 GW de este total.  Esto indica que para 2028, la IA podr\u00eda ser responsable de consumir entre el 15% y el 20% del uso total de energ\u00eda de los centros de datos, lo que muestra un aumento significativo en la proporci\u00f3n de energ\u00eda consumida por las cargas de trabajo de IA en los centros de datos durante el per\u00edodo de cinco a\u00f1os.  Se espera que la distribuci\u00f3n entre entrenamiento e inferencia cambie ligeramente: el entrenamiento consumir\u00e1 el 15% de la energ\u00eda y la inferencia representar\u00e1 el 85%, seg\u00fan estimaciones de Schneider Electric.<\/p>\n<h2 id=\"ai-gpus-get-hungrier\">Las GPU con IA se vuelven m\u00e1s hambrientas<\/h2>\n<p>El creciente consumo de energ\u00eda en los centros de datos de IA se atribuye principalmente a la intensificaci\u00f3n de las cargas de trabajo de IA, los avances de las GPU y los procesadores de IA y los crecientes requisitos de otro hardware de los centros de datos.  Por ejemplo, la A100 de Nvidia de 2020 consum\u00eda hasta 400W, la H100 de 2022 consum\u00eda hasta 700W.  Adem\u00e1s de las GPU, los servidores de IA tambi\u00e9n ejecutan CPU y tarjetas de red que consumen mucha energ\u00eda.<\/p>\n<p>Las cargas de trabajo de IA, especialmente aquellas asociadas con la capacitaci\u00f3n, requieren recursos computacionales sustanciales, incluidos servidores especializados equipados con GPU de IA, ASIC especializados o CPU.  El tama\u00f1o de los grupos de IA, influenciado por la complejidad y magnitud de los modelos de IA, es un determinante importante del consumo de energ\u00eda.  Los modelos de IA m\u00e1s grandes requieren una cantidad mayor de GPU, lo que aumenta los requisitos energ\u00e9ticos generales.  Por ejemplo, un cl\u00faster con 22.000 GPU H100 utiliza alrededor de 700 bastidores.  Un bastidor basado en H100, cuando se completa con ocho servidores HPE Cray XD670 acelerados por GPU, da como resultado una densidad de bastidor total de 80 kW.  Como resultado, todo el cl\u00faster demanda aproximadamente 31 MW de potencia, excluyendo la energ\u00eda necesaria para necesidades de infraestructura adicionales como la refrigeraci\u00f3n, se\u00f1ala Schneider Electric.<\/p>\n<p>Estos cl\u00fasteres y GPU suelen estar operativos casi a plena capacidad durante los procesos de capacitaci\u00f3n, lo que garantiza que el uso promedio de energ\u00eda sea casi sin\u00f3nimo del consumo m\u00e1ximo de energ\u00eda.  El documento especifica que las densidades de rack en grandes grupos de IA var\u00edan entre 30 kW y 100 kW, dependiendo de la cantidad y el modelo de la GPU.<\/p>\n<p>La latencia de la red tambi\u00e9n juega un papel crucial en el consumo de energ\u00eda de los centros de datos de IA.  Una infraestructura de red sofisticada es esencial para respaldar la comunicaci\u00f3n de datos de alta velocidad que requieren las GPU potentes durante los procesos de capacitaci\u00f3n distribuidos.  La necesidad de infraestructuras y cables de red de alta velocidad, como aquellos capaces de soportar velocidades de hasta 800 Gb\/s, aumenta a\u00fan m\u00e1s el consumo general de energ\u00eda.<\/p>\n<p>Dado que las cargas de trabajo de IA requieren ASIC, GPU, CPU, tarjetas de red y SSD que consumen mucha energ\u00eda, la refrigeraci\u00f3n plantea un gran desaf\u00edo.  Dadas las altas densidades de rack y el inmenso calor generado durante los procesos computacionales, son imprescindibles soluciones de refrigeraci\u00f3n eficaces para mantener un rendimiento \u00f3ptimo y evitar fallos o mal funcionamiento del hardware.  Mientras tanto, los m\u00e9todos de refrigeraci\u00f3n l\u00edquida y por aire tambi\u00e9n son \u00abcaros\u00bb en t\u00e9rminos de consumo de energ\u00eda, por lo que tambi\u00e9n contribuyen en gran medida al consumo de energ\u00eda de los centros de datos utilizados para cargas de trabajo de IA.<\/p>\n<h2 id=\"some-recommendations\">Algunas recomendaciones<\/h2>\n<p>Schneider Electric no espera que el consumo de energ\u00eda del hardware de IA disminuya en el corto plazo, y la compa\u00f1\u00eda espera que el consumo de energ\u00eda de un rack de IA llegue a 100 kW o m\u00e1s.  Por ello, Schneider Electric tiene algunas recomendaciones para centros de datos especializados en cargas de trabajo de IA. <\/p>\n<p>En particular, Schneider Electric recomienda la transici\u00f3n a una distribuci\u00f3n de 240\/415 V desde la convencional 120\/208 V para adaptarse mejor a las altas densidades de potencia de las cargas de trabajo de IA.  Para la refrigeraci\u00f3n, se recomienda pasar de la refrigeraci\u00f3n por aire a la refrigeraci\u00f3n l\u00edquida para mejorar la confiabilidad del procesador y la eficiencia energ\u00e9tica, aunque la refrigeraci\u00f3n por inmersi\u00f3n podr\u00eda producir resultados a\u00fan mejores.  Los bastidores utilizados deber\u00edan ser de mayor capacidad, con especificaciones como tener al menos 750 mm de ancho y una capacidad de peso est\u00e1tico superior a 1.800 kg. <\/p>\n<\/div>\n<p><br \/>\n<br \/><a href=\"https:\/\/magazineoffice.com\/\">Source link-41<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>La demanda de IA es inmensa en estos d\u00edas. La empresa francesa Schneider Electric estima que el consumo de energ\u00eda de las cargas de trabajo de IA totalizar\u00e1 alrededor de&hellip;<\/p>\n","protected":false},"author":1,"featured_media":856307,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[21980],"tags":[2100,30557,17615,3453,4703,246,8,2715,2863,2516],"_links":{"self":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/856306"}],"collection":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/comments?post=856306"}],"version-history":[{"count":1,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/856306\/revisions"}],"predecessor-version":[{"id":856308,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/856306\/revisions\/856308"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media\/856307"}],"wp:attachment":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media?parent=856306"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/categories?post=856306"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/tags?post=856306"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}