Samsung ha construido el primer sistema informático a gran escala del mundo utilizando GPU con chips de procesamiento en memoria (PIM) integrados. Estos módulos de memoria, que se cargaron en 96 GPU AMD Instinct MI100, aumentaron el rendimiento del entrenamiento de IA en 2,5 veces, según un informe de Business Korea.
Samsung demostró originalmente las GPU modificadas con PIM en octubre, pero solo recientemente combinó 96 GPU modificadas con PIM en un clúster. En comparación con la memoria de video normal, estos chips MI100 modificados no solo funcionaron 2,5 veces mejor, sino que también redujeron el consumo de energía en 2,67 veces, lo que aumentó drásticamente la eficiencia de las GPU en la ejecución de algoritmos de IA.
PIM es una nueva generación de memoria de computadora que puede acelerar flujos de trabajo computacionalmente complejos manejados por procesadores como CPU y GPU. Como sugiere el nombre, cada módulo de memoria es capaz de procesar datos por sí solo, lo que reduce la cantidad de datos necesarios para viajar entre la memoria y el procesador.
Samsung ha estado desarrollando PIM desde hace algún tiempo. La compañía demostró varias implementaciones en 2021, que involucraron varios tipos de memoria diferentes, incluidos DDR4, LPDDR5X, GDDR6 y HBM2. En forma de LPDDR5, Samsung experimentó un aumento de 1,8 veces en el rendimiento con una reducción del 42,6 % en el consumo de energía y una reducción del 70 % en la latencia en un programa de prueba que involucraba una carga de trabajo Meta AI. Aún más impresionante, estos resultados fueron de un sistema de servidor estándar sin modificaciones en la placa base o la CPU (todo lo que cambió fue un cambio a DIMM LPDDR5 habilitados para PIM).
Samsung no es la única empresa que desarrolla chips PIM: SK hynix lanzó sus propios módulos PIM a principios de este año. Según las pruebas preliminares de SK hynix, su aplicación GDDR6-AiM (Acelerador en memoria) aceleró el procesamiento de IA 16 veces y redujo el consumo de energía en un 80 %. Eso es mucho más rápido que los MI100 modificados de Samsung, pero no sabemos qué usó SK hynix para las pruebas, por lo que no es una comparación directa.
Independientemente, PIM parece una solución potente para acelerar los flujos de trabajo acelerados por IA. «Como director del centro de investigación de IA, quiero hacer de Samsung una empresa de semiconductores que utilice la IA mejor que cualquier otra empresa», Choi Chang-kyu, vicepresidente y director del Centro de Investigación de IA del Instituto de Tecnología Avanzada de Samsung Electronics, le dijo a Business Korea.