\n<\/aside>\nLa Dra. Sasha Luccioni es investigadora y l\u00edder clim\u00e1tica en Hugging Face, donde estudia los impactos \u00e9ticos y sociales de los modelos y conjuntos de datos de IA. Tambi\u00e9n es directora de Women in Machine Learning (WiML), miembro fundador de Climate Change AI (CCAI) y presidenta del comit\u00e9 del C\u00f3digo de \u00c9tica de NeurIPS. Las opiniones en este art\u00edculo no reflejan necesariamente los puntos de vista de Ars Technica.<\/p>\n
<\/p>\n
En los \u00faltimos meses, el campo de la inteligencia artificial ha experimentado un r\u00e1pido crecimiento, con oleada tras oleada de nuevos modelos como Dall-E y GPT-4 emergiendo uno tras otro. Cada semana trae la promesa de nuevos y emocionantes modelos, productos y herramientas. Es f\u00e1cil dejarse llevar por las olas de publicidad, pero estas brillantes capacidades tienen un costo real para la sociedad y el planeta.<\/p>\n
Las desventajas incluyen el costo ambiental de la extracci\u00f3n de minerales raros, los costos humanos del proceso de anotaci\u00f3n de datos que requiere mucha mano de obra y la creciente inversi\u00f3n financiera requerida para entrenar modelos de IA a medida que incorporan m\u00e1s par\u00e1metros.<\/p>\n
Veamos las innovaciones que impulsaron las generaciones recientes de estos modelos y aumentaron los costos asociados.<\/p>\n
Modelos m\u00e1s grandes<\/h2>\n En los \u00faltimos a\u00f1os, los modelos de IA se han vuelto m\u00e1s grandes, y los investigadores ahora miden su tama\u00f1o en cientos de miles de millones de par\u00e1metros. Los \u00abpar\u00e1metros\u00bb son las conexiones internas utilizadas dentro de los modelos para aprender patrones basados \u200b\u200ben los datos de entrenamiento.<\/p>\n
Para modelos de lenguaje extenso (LLM) como ChatGPT, pasamos de alrededor de 100 millones de par\u00e1metros en 2018 a 500 mil millones<\/em> en 2023 con el modelo PaLM de Google. La teor\u00eda detr\u00e1s de este crecimiento es que los modelos con m\u00e1s par\u00e1metros deber\u00edan tener un mejor rendimiento, incluso en tareas en las que no fueron entrenados inicialmente, aunque esta hip\u00f3tesis sigue sin probarse.<\/p>\n\nAgrandar
\/<\/span> Crecimiento del tama\u00f1o del modelo a lo largo de los a\u00f1os.<\/div>\n<\/figcaption><\/figure>\nLos modelos m\u00e1s grandes suelen tardar m\u00e1s en entrenarse, lo que significa que tambi\u00e9n necesitan m\u00e1s GPU, lo que cuesta m\u00e1s dinero, por lo que solo unas pocas organizaciones pueden entrenarlos. Las estimaciones ponen el costo de capacitaci\u00f3n de GPT-3, que tiene 175 mil millones de par\u00e1metros, en $ 4.6 millones, fuera del alcance de la mayor\u00eda de las empresas y organizaciones. (Vale la pena se\u00f1alar que el costo de los modelos de capacitaci\u00f3n est\u00e1 disminuyendo en algunos casos, como en el caso de LLaMA, el modelo reciente capacitado por Meta).<\/p>\n\n Anuncio <\/span> <\/p>\n<\/aside>\nEsto crea una brecha digital en la comunidad de IA entre aquellos que pueden capacitar a los LLM m\u00e1s avanzados (principalmente empresas de Big Tech e instituciones ricas en el Norte Global) y aquellos que no pueden (organizaciones sin fines de lucro, nuevas empresas y cualquier persona sin acceso a una supercomputadora o millones en cr\u00e9ditos de nube). Construir y desplegar estos gigantes requiere una gran cantidad de recursos planetarios: metales raros para fabricar GPU, agua para enfriar enormes centros de datos, energ\u00eda para mantener esos centros de datos funcionando las 24 horas del d\u00eda, los 7 d\u00edas de la semana a escala planetaria… sobre el potencial futuro de los modelos resultantes.<\/p>\n
Impactos planetarios<\/h2>\n Un estudio de la profesora de la Universidad Carnegie Melon, Emma Strubell, sobre la huella de carbono de la capacitaci\u00f3n de LLM estim\u00f3 que entrenar un modelo 2019 llamado BERT, que tiene solo 213 millones de par\u00e1metros, emiti\u00f3 280 toneladas m\u00e9tricas de emisiones de carbono, aproximadamente equivalente a las emisiones de cinco autom\u00f3viles durante su vidas Desde entonces, los modelos han crecido y el hardware se ha vuelto m\u00e1s eficiente, entonces, \u00bfd\u00f3nde estamos ahora?<\/p>\n
En un art\u00edculo acad\u00e9mico reciente que escrib\u00ed para estudiar las emisiones de carbono incurridas al entrenar BLOOM, un modelo de lenguaje de 176 mil millones de par\u00e1metros, comparamos el consumo de energ\u00eda y las emisiones de carbono resultantes de varios LLM, todos los cuales surgieron en los \u00faltimos a\u00f1os. El objetivo de la comparaci\u00f3n era tener una idea de la escala de emisiones de diferentes tama\u00f1os de LLM y qu\u00e9 los afecta.<\/p>\n<\/p><\/div>\n
Source link-49<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"Aurich Lawson | im\u00e1genes falsas La Dra. Sasha Luccioni es investigadora y l\u00edder clim\u00e1tica en Hugging Face, donde estudia los impactos \u00e9ticos y sociales de los modelos y conjuntos de…<\/p>\n","protected":false},"author":1,"featured_media":569559,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[21980],"tags":[6882,7126,19377,59500,3275,8],"_links":{"self":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/569558"}],"collection":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/comments?post=569558"}],"version-history":[{"count":1,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/569558\/revisions"}],"predecessor-version":[{"id":569560,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/569558\/revisions\/569560"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media\/569559"}],"wp:attachment":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media?parent=569558"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/categories?post=569558"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/tags?post=569558"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}