NVIDIA, Intel y ARM apuestan su futuro de IA en FP8, se publica un informe técnico para FP de 8 bits


Tres importantes empresas de tecnología e inteligencia artificial, Arm, Intel y NVIDIA, se han unido para estandarizar el nuevo estándar FP8 o punto flotante de 8 bits. Las empresas han publicado un nuevo documento técnico que describe el concepto de una especificación de coma flotante de 8 bits y las variaciones correspondientes, llamado FP8 con las variantes E5M2 y E4M3, para proporcionar un arreglo intercambiable estándar que puede funcionar tanto para la inferencia como para el entrenamiento de inteligencia artificial (IA). .

NVIDIA, ARM e Intel se fijan en el «punto flotante de 8 bits» del FP8 para sus futuros proyectos de IA

En teoría, esta nueva alineación de especificaciones entre industrias entre estos tres gigantes tecnológicos permitirá que los modelos de IA funcionen en todas las plataformas de hardware, lo que acelerará el desarrollo del software de IA.

La innovación en inteligencia artificial se ha convertido en una necesidad tanto en el software como en el hardware para producir un rendimiento computacional suficiente para que la tecnología pueda avanzar. Los requisitos para los cálculos de IA han aumentado en los últimos años, pero más que el año anterior. Una de esas áreas de investigación de IA que gana bastante importancia para abordar la brecha informática es la reducción de los requisitos de precisión numérica en el aprendizaje profundo, mejorando tanto la memoria como la eficiencia computacional.

Fuente de la imagen: «FP8 Formats For Deep Learning», a través de NVIDIA, Arm e Intel.

Intel tiene la intención de respaldar la especificación del formato de IA en su hoja de ruta que cubre procesadores, tarjetas gráficas y numerosos aceleradores de IA. La compañía está trabajando en un acelerador, el acelerador de aprendizaje profundo Habana Gaudi. La promesa de métodos de precisión reducida permite descubrir propiedades resistentes al ruido inherentes en redes neuronales de aprendizaje profundo enfocadas en mejorar la eficiencia informática.

Fuente de la imagen: «FP8 Formats For Deep Learning», a través de NVIDIA, Arm e Intel.

La nueva especificación FP8 reducirá las desviaciones de los formatos de punto flotante IEEE 754 actuales con un nivel cómodo entre software y hardware, aprovechando las implementaciones actuales de IA, acelerando la adopción y mejorando la productividad de los desarrolladores.

lenguaje-modelo-ai-entrenamiento-1
lenguaje-modelo-ai-inferencia-1

El documento financiará el principio para aprovechar cualquier algoritmo, concepto o convención construido sobre la estandarización IEEE entre Intel, Arm y NVIDIA. Tener un estándar más consistente entre todas las empresas otorgará la libertad más considerable para el futuro de la innovación de IA mientras se mantienen las convenciones actuales en la industria.

Fuentes de noticias: brazo, especificación FP8





Source link-29