Meta, empeñada en alcanzar a sus rivales en el espacio de la IA generativa, está gastando miles de millones en sus propios esfuerzos de IA. Una parte de esos miles de millones se destina a contratar investigadores de IA. Pero se está gastando una parte aún mayor en el desarrollo de hardware, específicamente chips para ejecutar y entrenar los modelos de IA de Meta.
Meta presentó hoy el fruto más reciente de sus esfuerzos de desarrollo de chips, notablemente un día después de que Intel anunciara su último hardware acelerador de IA. Llamado Meta Training and Inference Accelerator (MTIA) de “próxima generación”, el sucesor del MTIA v1 del año pasado, el chip ejecuta modelos que incluyen la clasificación y recomendación de anuncios gráficos en las propiedades de Meta (por ejemplo, Facebook).
En comparación con MTIA v1, que se creó en un proceso de 7 nm, el MTIA de próxima generación es de 5 nm. (En la fabricación de chips, “proceso” se refiere al tamaño del componente más pequeño que se puede construir en el chip). El MTIA de próxima generación tiene un diseño físicamente más grande, equipado con más núcleos de procesamiento que su predecesor. Y aunque consume más energía (90 W frente a 25 W), también cuenta con más memoria interna (128 MB frente a 64 MB) y funciona a una velocidad de reloj promedio más alta (1,35 GHz frente a 800 MHz).
Meta dice que el MTIA de próxima generación está actualmente disponible en 16 de sus regiones de centros de datos y ofrece un rendimiento general hasta 3 veces mejor en comparación con MTIA v1. Si esa afirmación de «3x» suena un poco vaga, no estás equivocado: nosotros también lo pensamos. Pero Meta se limitó a decir que la cifra provino de probar el rendimiento de “cuatro modelos clave” en ambos chips.
«Debido a que controlamos toda la pila, podemos lograr una mayor eficiencia en comparación con las GPU disponibles comercialmente», escribe Meta en una publicación de blog compartida con TechCrunch.
La exhibición de hardware de Meta, que se produce apenas 24 horas después de una conferencia de prensa sobre las diversas iniciativas de IA generativa en curso de la compañía, es inusual por varias razones.
Primero, Meta revela en la publicación del blog que no está utilizando el MTIA de próxima generación para cargas de trabajo de entrenamiento de IA generativa en este momento, aunque la compañía afirma que tiene «varios programas en marcha» explorando esto. En segundo lugar, Meta admite que la MTIA de próxima generación no reemplazará a las GPU para ejecutar o entrenar modelos, sino que las complementará.
Leyendo entre líneas, Meta se mueve lentamente, quizás más lentamente de lo que le gustaría.
Es casi seguro que los equipos de IA de Meta estén bajo presión para reducir costos. Se estima que la compañía gastará 18 mil millones de dólares para fines de 2024 en GPU para entrenar y ejecutar modelos de IA generativa y, con costos de capacitación para modelos generativos de vanguardia que oscilan en decenas de millones de dólares, el hardware interno presenta una alternativa atractiva.
Y mientras el hardware de Meta se arrastra, sospecho que los rivales están tomando la delantera, para gran consternación del liderazgo de Meta.
Esta semana, Google puso a disposición de los clientes de Google Cloud su chip personalizado de quinta generación para entrenar modelos de IA, TPU v5p, y reveló su primer chip dedicado para ejecutar modelos, Axion. Amazon tiene varias familias de chips de IA personalizados en su haber. Y el año pasado, Microsoft saltó a la palestra con el acelerador Azure Maia AI y la CPU Azure Cobalt 100.
En la publicación del blog, Meta dice que tomó menos de nueve meses “pasar del primer silicio a los modelos de producción” del MTIA de próxima generación, que para ser justos es más corto que la ventana típica entre los TPU de Google. Pero Meta tiene mucho que hacer para ponerse al día si espera lograr cierta independencia de las GPU de terceros y estar a la altura de su dura competencia.