Cada vez más personas utilizan la inteligencia artificial en su vida cotidiana. Sin embargo, se sabe poco sobre el consumo de energía. La aclaración de esta cuestión depende de si la IA de voz vale la pena económicamente
Centro de datos de Google en Saint-Ghislain, Bélgica: la refrigeración consume energía y genera enormes cantidades de vapor de agua. (19/09/2017)
Ya sea un viaje en avión, la calefacción de su apartamento o incluso simplemente ver su serie favorita, cualquiera que esté interesado en su huella ecológica ahora puede obtener información sobre su propio consumo de energía sin mucho esfuerzo. De todas las cosas, cuando se trata de inteligencia artificial con sus redes neuronales hambrientas de energía, no es tan fácil.
El usuario final difícilmente puede estimar cuánta energía cuesta una respuesta de Chat-GPT. Ni siquiera los desarrolladores de IA suelen conocer en detalle el consumo energético de sus creaciones.
«Mientras no se mida el consumo de energía, no se puede reducir de manera efectiva», afirma Stefan Naumann, profesor de informática de sostenibilidad en el Campus Ambiental Birkenfeld de la Universidad de Ciencias Aplicadas de Trier. Junto con sus compañeros, se ha fijado el objetivo de cuantificar y optimizar las necesidades energéticas de los sistemas de aire acondicionado.
Según estimaciones, todas las tecnologías de la información y las comunicaciones ya están… 2 a 4 por ciento responsable de las emisiones globales de gases de efecto invernadero. Esto lo sitúa aproximadamente en el rango del tráfico aéreo mundial. «La IA se ha convertido en el nuevo motor en este ámbito», afirma Naumann. «En particular, el entrenamiento de redes neuronales requiere mucha energía».
Entrenamiento complejo
Durante la fase de entrenamiento, los grandes modelos de lenguaje detrás de aplicaciones como Chat-GPT aprenden las estructuras del lenguaje humano utilizando enormes cantidades de datos. Para ello, optimizan paso a paso, en largos procesos, los a menudo miles de millones de parámetros de sus redes neuronales artificiales. Y a medida que el tamaño de los modelos crece rápidamente, el esfuerzo computacional también se dispara.
En casos extremos, según Naumann, hay miles de procesadores conectados en red que funcionan durante varias semanas en enormes centros de datos y generan cientos de miles de euros en costes de electricidad hasta que finaliza la formación. Se estima que se dedicaron 1287 megavatios hora a entrenar el modelo GPT-3. Esto corresponde aproximadamente a la cantidad de electricidad que produce una central nuclear de tamaño medio en una hora.
Las empresas de tecnología no revelan ningún detalle.
Sin embargo, por más claro que sea el aumento en el consumo total de energía, actualmente se sabe poco sobre la eficiencia energética a nivel de procesadores individuales o incluso de cálculos individuales. Por este motivo, Naumann y su equipo realizan experimentos con modelos más pequeños en sus propios ordenadores e intentan determinar el consumo de energía de la forma más precisa y detallada posible.
Y ya se están examinando grandes modelos lingüísticos con fines de investigación. La startup de IA Hugging Face, por ejemplo, tiene datos detallados sobre el consumo de energía de su sistema de 176 mil millones de parámetros. Modelo de lenguaje Bloom publicado.
En el futuro, la información debería ayudar a hacer un uso óptimo de la capacidad informática disponible. En última instancia, la eficiencia energética de un centro de datos es mayor cuando todos los procesadores se utilizan de manera óptima.
En realidad, sin embargo, el aprovechamiento es significativamente menor, porque los procesadores individuales tienen que esperar temporalmente a que se les asigne una nueva tarea informática. Al igual que un PC encendido que se encuentra desatendido sobre el escritorio, también consumen electricidad durante este tiempo sin ofrecer ningún rendimiento.
En el caso del entrenamiento de Bloom, resultó que sólo un poco más de la mitad de la energía se dedicó a ejecutar el código. Una tercera parte se desperdició en computadoras inactivas y el resto se gastó en la infraestructura general del centro de datos, como el funcionamiento del sistema de refrigeración.
El boom desde que Chat-GPT aumentó el consumo de energía
Incluso cuando un modelo está completamente entrenado, el requerimiento de energía continúa: con cada aplicación. Aunque necesita Según el científico de datos Alex de Vries, una sola solicitud de chat no requiere más energía que una lámpara de noche., que se ilumina durante unas horas. Por otro lado, Chat-GPT por sí solo encontró la impresionante cifra de 100 millones de nuevos usuarios en solo dos meses cuando se lanzó y, según estimaciones, utilizó más de 500 megavatios hora de electricidad todos los días para mantener el servicio en funcionamiento. Esto significa que un coche eléctrico económico podría dar la vuelta a la Tierra cien veces.
Chat-GPT ahora está integrado en el motor de búsqueda Bing de Microsoft. «Microsoft sigue manteniendo un perfil bajo respecto al consumo de energía del nuevo sistema», afirma Naumann. Si los 9 mil millones de consultas diarias de búsqueda en Google fueran respondidas por un modelo lingüístico, según las estimaciones más pesimistas de De Vries, el consumo de energía podría aumentar treinta veces y, por lo tanto, superar las necesidades totales de electricidad de un país pequeño como Irlanda.
«Sin embargo, no está claro si la combinación de búsquedas en Internet con modelos lingüísticos conducirá realmente a un mayor consumo», afirma Naumann. «En última instancia, mejores respuestas también podrían significar que se deben realizar menos consultas de búsqueda en general». Además, para un uso a tan gran escala, primero habría que producir e instalar cientos de miles de nuevas tarjetas gráficas, lo que no sólo llevaría algunos años, sino que probablemente tampoco sería económicamente rentable en el estado actual.
Según De Vries estimar Sólo la compra del hardware adicional costaría alrededor de 100 mil millones de dólares. Incluso dividido en tres años, esto, combinado con el horrendo aumento esperado en los costos de la electricidad, consumiría casi por completo las ganancias anuales generadas por Google.
La solución podrían ser modelos menos precisos.
Una solución propuesta es entrenar modelos de IA más eficientes. Esto provoca un esfuerzo adicional durante el entrenamiento. Pero: «En el caso de servicios que se utilizan de forma especialmente intensiva, este esfuerzo probablemente valdría la pena si se mejora la eficiencia de las aplicaciones individuales», afirma Naumann. «En cualquier caso, el objetivo debe ser fijar algún tipo de precio de la energía a cada servicio».
Otra clave para controlar el hambre de energía de la inteligencia artificial es la precisión de los cálculos.
Los algoritmos de IA ya se ejecutan en tarjetas especiales hoy en día y los fabricantes de chips como Nvidia están adaptando los suyos. chips recientemente desarrollados se adapta cada vez más a las exigencias del aprendizaje automático. Básicamente, estos procesadores todavía están diseñados para cálculos clásicos y matemáticos. «Son precisos y precisos, tal como estamos acostumbrados en los ordenadores», afirma el profesor Ralf Herbrich, director del departamento de inteligencia artificial y sostenibilidad del Instituto Hasso Plattner (HPI) de Potsdam. «Los algoritmos de IA que sólo estiman probabilidades, a menudo funcionan con demasiada precisión y, por lo tanto, utilizan una cantidad innecesariamente grande de energía».
Este nivel de precisión está integrado en los procesadores, por lo que cada cálculo, por pequeño que sea, suele realizarse con una precisión de 38 dígitos. «Incluso si al final el resultado sólo predice con un uno por ciento de precisión si una imagen muestra un perro o un gato», afirma Herbrich. Por este motivo, la investigación básica estudia actualmente cómo se podrían realizar los procesos de cálculo necesarios con menor precisión.
Todavía tiene suficiente potencia, pero tal vez no por mucho tiempo.
En el HPI de Potsdam, los investigadores trabajan en las llamadas redes de un bit, en las que los parámetros que describen las conexiones en una red neuronal artificial se representan únicamente con un bit en lugar de un valor continuo.
«La única información disponible es si existe o no conexión», explica Herbrich. «En algunos casos, esto puede reducir el esfuerzo informático a una décima parte, mientras que la precisión del resultado apenas disminuye porque los errores se promedian entre los numerosos nodos de la red». Al mismo tiempo, en los departamentos de investigación de los principales fabricantes de chips se desarrolla hardware flexible, cuya precisión se puede adaptar a las exigencias de los algoritmos.
«Ya es hora de analizar detenidamente los costes energéticos de la IA», afirma Herbrich. El pistoletazo de salida para el triunfo de los grandes modelos lingüísticos se dio hace cinco años. “Hoy en día todavía tenemos suficiente electricidad, pero el camino desde la investigación básica hasta la aplicación es largo”, advierte el investigador. «Y si no queremos tener un problema energético dentro de cinco años, tenemos que abordarlo ahora».
Un artículo del «NZZ el domingo»