¿Qué es Intel® Advanced Matrix Extensions (Intel® AMX)?

Procesadores escalables Intel® Xeon® e Intel® Advanced Matrix Extensions

Las cargas de trabajo de aprendizaje profundo, como las que dependen de la IA generativa, los modelos de lenguaje de gran tamaño (LLMs) y la visión artificial, pueden hacer un uso increíblemente intensivo de cómputos, lo que requiere altos niveles de desempeño y, a menudo, hardware especializado adicional para garantizar una implementación exitosa de la IA. Los costos relacionados con estos requisitos pueden aumentar rápidamente, y agregar soluciones de hardware independientes puede crear capas innecesarias de complejidad y problemas de compatibilidad.

A fin de que sus cargas de trabajo de aprendizaje profundo sean más eficientes, rentables y fáciles de entrenar e implementar, Intel® AMX en los procesadores escalables Intel® Xeon® ofrece aceleración para la inferencia y el entrenamiento, además de minimizar la necesidad de hardware especializado.

Intel® AMX es uno de los dos Intel® AI Engines integrados en los procesadores escalables Intel® Xeon® que pueden ayudarle a sacar el mayor provecho de su CPU para impulsar las cargas de trabajo de entrenamiento e inferencia de IA a escala y aportar beneficios, como mayor eficiencia, menores costos de inferencia, entrenamiento e implementación, y un menor costo total de propiedad (TCO). Debido a que Intel® AMX es un acelerador integrado que reside en cada núcleo de la CPU y se coloca cerca de la memoria del sistema, su uso suele ser menos complejo que el de aceleradores independientes, lo que representa menor tiempo de valorización.

Aunque son muchas las maneras en las que las organizaciones pueden respaldar las cargas de trabajo de IA de avanzada, una base de procesadores escalables Intel® Xeon® con potentes aceleradores de IA integrados puede ayudarle a alcanzar sus objetivos de desempeño en entrenamiento e inferencia y, a la vez, reducir la complejidad, la implementación y los costos operativos del sistema, y así lograr mayor retorno comercial.

Cómo funciona Intel® AMX

Intel® AMX es un bloque de hardware especializado que se encuentra en el núcleo del procesador escalable Intel® Xeon® que permite optimizar y acelerar las cargas de trabajo de entrenamiento e inferencia de aprendizaje profundo que dependen de la matemática de la matriz.

Intel® AMX permite que las cargas de trabajo de IA se ejecuten en la CPU en lugar de descargarlas a un acelerador independiente, lo que proporciona un aumento drástico del desempeño.² Su arquitectura es compatible con datos tipo BF16 (entrenamiento e inferencia) e int8 (inferencia), e incluye dos componentes principales:

• Íconos: consisten en ocho registros bidimensionales, cada uno de 1 kilobyte de tamaño, que almacenan grandes fragmentos de datos.
• Multiplicación de matrices de íconos (TMUL): TMUL es un motor acelerador adherido a los íconos que realiza cálculos de multiplicación de matrices para la IA.

Estos componentes en conjunto permiten que Intel® AMX almacene más datos en cada núcleo y calcule matrices más grandes en una sola operación. Además, Intel® AMX se diseñó para ser totalmente extensible y escalable.

Beneficios de Intel® AMX para lograr mejores resultados comerciales

Intel® AMX permite a los procesadores escalables Intel® Xeon® aumentar el desempeño de las cargas de trabajo de entrenamiento e inferencia de aprendizaje profundo mediante el equilibrio de la inferencia, el caso de uso más destacado para una CPU en aplicaciones de IA, con más capacidades de entrenamiento.

Muchos clientes de Intel están aprovechando Intel® AMX para lograr mejores resultados para sus organizaciones. Gracias a los procesadores Intel® Xeon® de 5ᵃ Generación, los clientes pueden disfrutar de un entrenamiento y una inferencia hasta 14 veces mejor que con los procesadores Intel® Xeon® de 3ᵃ Generación.³

Los beneficios principales de Intel® AMX comprenden los siguientes:

• Desempeño mejorado
  La aceleración basada en la CPU puede mejorar la potencia y las eficiencias del uso de recursos, a fin de ofrecerle mejor desempeño por el mismo precio.
  Por ejemplo, el procesador Intel® Xeon® Platinum 8592+ de 5ᵃ Generación, equipado con Intel® AMX BF16, mostró un desempeño de inferencia de reconocimiento de voz (RNN-T) hasta 10,7 veces mejor y un desempeño por vatio 7,9 veces superior en comparación con los procesadores Intel® Xeon® de 3ᵃ Generación equipados con FP32.⁴
• Costo total de propiedad (TCO) reducido.
  Los procesadores escalables Intel® Xeon® con Intel® AMX permiten una serie de mejoras de eficiencia que ayudan a disminuir los costos, reducir el costo total de propiedad y progresar en los objetivos de sostenibilidad.
  Como acelerador integrado en los procesadores escalables Intel® Xeon® que quizás ya tenga, Intel® AMX le permite maximizar las inversiones que ya realizó y aprovechar mejor su CPU, ya que elimina el costo y la complejidad que suelen estar asociados con la incorporación de un acelerador independiente.
  Los procesadores escalables Intel® Xeon® con Intel® AMX también pueden proporcionar una arquitectura de servidor más rentable en comparación con otras opciones disponibles, debido a que ofrecen beneficios de reducción de emisiones y de consumo de energía.
  Al compararlos con los servidores AMD Genoa 9654, los procesadores Intel® Xeon® Platinum de 5ᵃ Generación, equipados con Intel® AMX, proporcionaron un desempeño de inferencia de procesamiento de lenguaje natural por lotes (BERT-Large) hasta 2,69 veces mejor y un desempeño por vatio 2,96 veces superior.⁵
• Tiempo de desarrollo reducido
  Con el objetivo de simplificar el proceso de desarrollo de aplicaciones de aprendizaje profundo, trabajamos en estrecha colaboración con la comunidad de código abierto, incluidos los proyectos TensorFlow y PyTorch, a fin de optimizar los marcos de trabajo para el hardware Intel®, y de transmitir nuestras optimizaciones y características más recientes para que estén disponibles de inmediato para los desarrolladores. Esto le permite aprovechar los beneficios de desempeño de Intel® AMX, además de algunas líneas de código, lo que reduce el tiempo de desarrollo general.
  También ofrecemos acceso a herramientas de desarrollo, bibliotecas y recursos Intel® gratuitos.

Casos de uso de aprendizaje profundo de Intel® AMX

Intel® AMX se puede implementar en una amplia variedad de casos de uso de aprendizaje profundo para proporcionar un aumento significativo del desempeño que conlleva un mayor valor para el usuario final y la empresa.

• Sistemas de recomendación: use Intel® AMX como una solución más rentable para los modelos de recomendación de IA que aumentan la capacidad de respuesta de las recomendaciones acerca de productos, contenido y servicios para casos de uso, como el comercio electrónico, las redes sociales, el entretenimiento del streaming y la banca personalizada. Por ejemplo, los proveedores de contenido a menudo usan Intel® AMX para acelerar la prestación de recomendaciones y anuncios de películas o libros específicos, o para ofrecer un sistema de recomendación basado en el aprendizaje profundo que tenga en cuenta las señales del comportamiento del usuario en tiempo real y las características del contexto, como la hora y la ubicación en tiempo casi real. Los procesadores Intel® Xeon® de 5ᵃ Generación ofrecen un desempeño de inferencia del sistema de recomendación por lotes (DLRM) hasta 8,7 veces mayor y un desempeño por vatio 6,2 veces superior en comparación con los procesadores Intel® Xeon® de 3ᵃ Generación con FP32.⁶
• Procesamiento de lenguaje natural (PLN): acelere los casos de uso basados en texto para respaldar y adaptar las aplicaciones de PLN, como las que se usan en la atención médica y las ciencias biológicas, para obtener información de las notas clínicas o procesar grandes cantidades de datos médicos a fin de ayudar en la detección temprana de problemas de salud y mejorar la prestación de atención. En los servicios financieros, Intel® AMX se puede usar para mejorar la capacidad de respuesta de los bots de chat en línea, a fin de conectar a los clientes con la información que necesitan más rápidamente, además de liberar al personal limitado para que pueda atender solicitudes más complejas.
  Al igual que los beneficios de ahorro de costos para los sistemas de recomendaciones, Intel® AMX puede ser una solución más rentable para el PLN. Por ejemplo, cuando se usa para implementar el modelo de lenguaje natural de IA BERT-Large, Intel® AMX, en procesadores Intel® Xeon® de 4ᵃ Generación, permite un ahorro de hasta el 79 % en comparación con AMD Genoa 9354.⁷
• IA generativa: aproveche Intel® AMX para acelerar el desempeño de las cargas de trabajo de entrenamiento e inferencia de aprendizaje profundo para casos de uso de IA generativa, como la generación de contenido, incluso imágenes, videos y audio, la traducción de idiomas, el aumento de datos y el resumen. Por ejemplo, una evaluación del desempeño de los procesadores Intel® Xeon® Platinum 8480+ con Intel® AMX para datos tipo BF16, en comparación con los procesadores Intel® Xeon® Platinum 8380 para datos tipo FP32, redujo el tiempo de generación de texto a imagen en Stable Diffusion a menos de cinco segundos y el ajuste fino de los modelos de Stable Diffusion a menos de cinco minutos.⁸
• Visión artificial: reduzca el tiempo que transcurre desde la captura de imágenes y video hasta la perspectiva y la acción, para ofrecer experiencias excepcionales a los clientes y permitir que su empresa mejore la eficiencia y reduzca los costos operativos. Por ejemplo, en tiendas minoristas, Intel® AMX puede ayudar a minimizar el tiempo de transacción para los clientes que usan procesos de pago sin dificultades habilitados por la visión artificial, y admitir la supervisión casi en tiempo real de las estanterías para realizar un seguimiento de los datos de inventario y notificar al instante al personal cuando se agota un artículo. En la fabricación, el análisis acelerado de video de las cámaras con visión artificial de los brazos robóticos puede permitir un ahorro de tiempo y costos debido a las capacidades de detección automatizada de defectos.

Si desea conocer otros ejemplos de cómo los clientes de Intel están usando Intel® AMX para impulsar mejores resultados comerciales, visite nuestra biblioteca de puntos de interés para clientes.

Comience con Intel® AMX

Ofrecemos una amplia variedad de recursos de desarrollo para ayudarlo a aprovechar el acelerador Intel® AMX integrado en sus procesadores escalables Intel® Xeon®.

Para comenzar, consulte las instrucciones paso a paso en las siguientes guías para aumentar el desempeño con Intel® AMX.

• Guía de inicio rápido para optimizaciones por medio de Intel® AI: proporciona instrucciones para mejorar el desempeño de las cargas de trabajo de IA con bibliotecas y marcos de trabajo de IA optimizados por Intel®. Esta guía incluye instrucciones paso a paso para TensorFlow, XGBoost, PyTorch y más.
• Guía de ajuste para mejorar el desempeño de la IA en el aprendizaje profundo: ofrece recomendaciones para ajustar los procesadores para los kits de herramientas de IA optimizados por Intel® para lograr el mejor desempeño posible.

Para obtener más información técnica en profundidad, tutoriales, ejemplos de códigos y módulos de prueba, acceda a la siguiente información:

• Marcos de trabajo de IA con Intel® AMX
• Kits de referencia de IA para Intel® AMX
• Guía de referencia para desarrolladores acerca de Intel® AMX
• Ejemplo de códigos con Intel® AMX

Puede acceder a todas las guías de ajuste para los procesadores escalables Intel® Xeon® en nuestro catálogo de herramientas de software para desarrolladores.

A fin de permitirle agilizar sus esfuerzos de desarrollo de IA, le ofrecemos nuestros kits de herramientas Intel® oneAPI, componentes y optimizaciones, por ejemplo:

• Intel® oneAPI AI Analytics Toolkit
• Intel® oneAPI Math Kernel Library
• Intel® Extension for TensorFlow
• Optimizaciones para PyTorch Intel®

Experimente con Intel® AMX hoy mismo

Además de consultar nuestros materiales de referencia, puede experimentar con el hardware Intel®, Intel® AMX y otras características de aceleración integradas a través de Intel® Developer Cloud.

Esta plataforma en línea gratuita para el aprendizaje, la creación de prototipos, las pruebas y la ejecución de cargas de trabajo también incluye la compatibilidad con una serie de kits de herramientas para el desarrollo de software, herramientas y bibliotecas Intel®.

Amplíe y mejore las capacidades de IA en su CPU con Intel® AMX

Si su organización está buscando soluciones para responder a las crecientes demandas de cómputos que admitan las cargas de trabajo de entrenamiento e inferencia para el aprendizaje profundo, Intel® AMX puede ayudar a aumentar el desempeño con el hardware Intel® que ya tiene, sin el costo y la complejidad que implica otro hardware especializado y, en comparación, en menos tiempo de desarrollo, si se utilizan las optimizaciones Intel® en marcos de trabajo de código abierto populares, y se accede a las herramientas y los recursos de desarrollo Intel® gratuitos.