Especificación de hardware interindustrial para acelerar el desarrollo de software de IA

La nueva especificación equilibra las implementaciones existentes de hardware y software para acelerar la adopción y mejorar la productividad de los desarrolladores.

Arm, Intel y Nvidia han elaborado conjuntamente un artículo en el que describen una especificación de punto flotante de 8 bits (FP8) y sus dos variantes E5M2 y E4M3 para proporcionar un formato común intercambiable que funcione tanto para el entrenamiento como para la inferencia de la inteligencia artificial (IA). Esta alineación de especificaciones entre industrias permitirá que los modelos de IA operen y funcionen de manera consistente en todas las plataformas de hardware, acelerando el desarrollo de software de IA.

Los requisitos computacionales para la IA han ido creciendo a un ritmo exponencial. Se requiere una nueva innovación en todo el hardware y el software para ofrecer el rendimiento computacional necesario para avanzar en la IA.

Una de las áreas prometedoras de investigación para abordar esta creciente brecha de cómputo es reducir los requisitos de precisión numérica para el aprendizaje profundo para mejorar la memoria y la eficiencia computacional. Los métodos de precisión reducida explotan las propiedades inherentes resistentes al ruido de las redes neuronales profundas para mejorar la eficiencia de la computación.

Intel planea admitir esta especificación de formato en toda su hoja de ruta de productos de IA para CPU, GPU y otros aceleradores de IA, incluidos los aceleradores de aprendizaje profundo Habana® Gaudi®.

FP8 minimiza las desviaciones de los formatos de coma flotante IEEE 754 existentes con un buen equilibrio entre hardware y software para aprovechar las implementaciones existentes, acelerar la adopción y mejorar la productividad del desarrollador.

El principio rector de esta propuesta de formato de Arm, Intel y Nvidia es aprovechar las convenciones, conceptos y algoritmos basados en la estandarización IEEE. Esto permite la mayor libertad para la innovación futura de la IA sin dejar de adherirse a las convenciones actuales de la industria.