Intel elimina barreras de propiedad para ofrecer opciones en el mercado empresarial de GenAI

Descargar todas las imágenes (ZIP, 27 MB)

Novedades: En Intel Vision, la compañía presentó el acelerador de IA Intel® Gaudi® 3, que ofrece 4 veces más cómputo de IA para BF16, 1,5 veces más de ancho de banda de memoria y 2 veces más ancho de banda de red para escalamiento masivo del sistema en comparación con su predecesor, un salto significativo en desempeño y productividad para el entrenamiento e inferencia de IA en modelos de lenguaje grande (LLMs) y modelos multimodales populares. Basándose en el desempeño y la eficiencia demostrados del acelerador de IA Intel® Gaudi® 2, la única alternativa de referencia de MLPerf para LLM en el mercado, Intel ofrece a los clientes una opción de software abierto basado en la comunidad y redes Ethernet estándar de la industria para escalar sus sistemas de manera más flexible.

Por qué es importante: Hoy en día, las empresas de sectores críticos como las finanzas, la fabricación y la atención médica están buscando rápidamente ampliar la accesibilidad a la IA y hacer la transición de los proyectos de IA generativa (GenAI) de las fases experimentales a la implementación a gran escala. Para gestionar esta transición, impulsar la innovación y alcanzar los objetivos de crecimiento de los ingresos, requieren soluciones y productos abiertos, rentables y más eficientes desde el punto de vista energético que satisfagan las necesidades de retorno de la inversión (ROI) y eficiencia operativa.

El acelerador Intel Gaudi 3 cumplirá con estos requisitos y ofrecerá versatilidad a través de software abierto basado en la comunidad y Ethernet abierto estándar de la industria, ayudando a las empresas a escalar de manera flexible sus sistemas y aplicaciones de IA.

Cómo la arquitectura personalizada ofrece desempeño y eficiencia de GenAI: El acelerador Intel Gaudi 3, diseñado para una informática eficiente de IA a gran escala, se fabrica en un proceso de 5 nanómetros (nm) y ofrece avances significativos con respecto a su predecesor. Está diseñado para permitir la activación de todos los motores en paralelo, con el motor de multiplicación de matriz (MME), los núcleos del procesador de tensor (TPC) y las tarjetas de interfaz de red (NIC), lo que permite la aceleración necesaria para un cálculo y escala de aprendizaje profundo rápido y eficiente. Las características clave incluyen:

• Motor de cómputo dedicado a la IA: El acelerador Intel Gaudi 3 fue diseñado específicamente para la computación GenAI de alto desempeño y alta eficiencia. Cada acelerador cuenta de manera única con un motor de cómputo heterogéneo compuesto por 64 TPC programables y personalizados de IA, y ocho MME. Cada Intel® Gaudi 3 MME es capaz de realizar la impresionante cantidad de 64 000 operaciones paralelas, lo que permite un alto grado de eficiencia computacional y los convierte en expertos en el manejo de operaciones matriciales complejas, un tipo de computación que es fundamental para los algoritmos de deep learning. Este diseño único acelera la velocidad y la eficiencia de las operaciones de IA en paralelo y admite varios tipos de datos, incluidos FP8 y BF16.

• Memory Boost para LLM Requisitos de capacidad: 128 gigabytes (GB) de capacidad de memoria HBMe2, 3,7 terabytes (TB) de ancho de banda de memoria y 96 megabytes (MB) de memoria estática de acceso aleatorio (SRAM) incorporada proporcionan una amplia memoria para procesar grandes conjuntos de datos GenAI en menos procesadores Intel Gaudi 3, particularmente útiles para servir a modelos multimodales y de lenguaje grande, lo que resulta en un mayor desempeño de la carga de trabajo y la rentabilidad del centro de datos.

• Escalado eficiente del sistema para Enterprise GenAI: Veinticuatro puertos Ethernet de 200 gigabits (Gb) están integrados en cada acelerador Intel Gaudi 3, proporcionando una red flexible y de estándar abierto. Permiten un escalamiento eficiente para admitir clústeres de cómputo grandes y eliminar el bloqueo de proveedores de las estructuras de red propietarias. El acelerador Intel Gaudi 3 está diseñado para escalarse de manera eficiente de un solo nodo a miles para satisfacer los requisitos expansivos de los modelos GenAI.

• Software abierto para la productividad de los desarrolladores: El software Intel Gaudi integra el marco de PyTorch y proporciona modelos optimizados basados en la comunidad Hugging Face, el marco de IA más común para los desarrolladores de GenAI en la actualidad. Esto permite a los desarrolladores de GenAI operar a un alto nivel de abstracción para facilitar el uso y la productividad y facilitar la migración de modelos entre tipos de hardware.

• Gaudi 3 PCIe: Una novedad en la línea de productos es la tarjeta adicional Gaudi 3 peripheral component interconnect express (PCIe). Diseñado para ofrecer una alta eficiencia con menor consumo de energía, este nuevo formato es ideal para cargas de trabajo como el ajuste fino (fine-tuning), la inferencia y la generación aumentada por recuperación (RAG). Está equipado como un factor de forma de altura completa a 600 vatios, con una capacidad de memoria de 128 GB y un ancho de banda de 3,7 TB por segundo.

El acelerador Intel Gaudi 3 ofrecerá mejoras significativas de desempeño para las tareas de entrenamiento e inferencia en los principales modelos de GenAI. Específicamente, se proyecta que el acelerador Intel Gaudi 3 funcione en promedio en comparación con Nvidia H100:

• Tiempo de entrenamiento 50% más rápido¹ en los modelos de parámetros Llama2 7B y 13B, y GPT-3 175B.
• Rendimiento de inferencia un 50 % más rápido, ² y una eficiencia energética de inferencia un 40 % mayor³ en los parámetros Llama 7B y 70B, y Falcon 180B. Una ventaja de desempeño de inferencia aún mayor en secuencias de entrada y salida más largas.
• Inferencia 30% más rápida⁴ en los parámetros Llama 7B y 70B, y modelos de parámetros Falcon 180B contra Nvidia H200.

Acerca de la disponibilidad y adopción en el mercado: El acelerador Intel Gaudi 3 estará disponible para los fabricantes de equipos originales (OEM) en el segundo trimestre de 2024 en configuraciones estándar de la industria de placa base universal y módulo de acelerador abierto (OAM). Entre los adoptantes notables de OEM que llevarán Gaudi 3 al mercado se encuentran Dell Technologies, HPE, Lenovo y Supermicro. La disponibilidad general de los aceleradores Intel Gaudi 3 está prevista para el tercer trimestre de 2024, y se prevé que la tarjeta adicional Intel Gaudi 3 PCIe esté disponible en el último trimestre de 2024.

El acelerador Intel Gaudi 3 también impulsará varias infraestructuras LLM en la nube rentables para entrenamiento e inferencia, ofreciendo ventajas y opciones de precio-desempeño a las organizaciones que ahora incluyen NAVER.

Los desarrolladores pueden comenzar hoy con acceso a instancias basadas en Intel Gaudi 2 en la nube de desarrolladores para aprender, crear prototipos, probar y ejecutar aplicaciones y cargas de trabajo.

Lo que sigue: El impulso de los aceleradores Intel Gaudi 3 será fundamental para Falcon Shores, la unidad de procesamiento de gráficos (GPU) de próxima generación de Intel para IA y computación de alto desempeño (HPC). Falcon Shores integrará la propiedad intelectual (PI) de Intel Gaudí e Intel® Xe con una única interfaz de programación de GPU basada en la especificación Intel® oneAPI.

Más contexto: Intel desata la IA empresarial con Gaudí 3, la estrategia de sistemas abiertos de IA y las ganancias de nuevos clientes (Noticias) | Intel Gaudi 3 AI Accelerator (página del producto) | Acelerador de IA Intel Gaudí 3 (Documentación técnica) | Intel Gaudi 2 sigue siendo la única alternativa de referencia a NV H100 para el desempeño de GenAI (Noticias)

_Detalle:

_{Intel no controla ni audita los datos de terceros. Le recomendamos consultar otras fuentes para evaluar la exactitud.}

_{Comparación de} ¹ _{NV H100 basada en: https://developer.nvidia.com/deep-learning-performance-training-inference/training, 28 de marzo de 2024 à pestaña "Large Language Model" Vs proyecciones de Intel® Gaudi® 3 para LLAMA2-7B, LLAMA2-13B y GPT3-175B al 28/03/2024. Los resultados pueden variar.}

_{Comparación de} ² _{NV H100 basada en https://nvidia.github.io/TensorRT-LLM/performance.html#h100-gpus-fp8 del 28 de marzo del 2024. Los números informados son por GPU. Vs Intel® Gaudi® 3 proyecciones para las proyecciones LLAMA2-7B, LLAMA2-70B y Falcon 180B. Los resultados pueden variar.}

³ _{Comparación de NV basada en https://nvidia.github.io/TensorRT-LLM/performance.html#h100-gpus-fp8 del 28 de marzo del 2024. Los números informados son por GPU. Proyecciones de Intel® Gaudi® 3 para LLAMA2-7B, LLAMA2-70B y Falcon 180B Eficiencia energética para Nvidia y Gaudi 3 según estimaciones internas. Los resultados pueden variar.}

_{Comparación de} ⁴ _{NV H200 basada en https://nvidia.github.io/TensorRT-LLM/performance.html#h100-gpus-fp8 , 28 de marzo de 2024. Los números informados son por GPU. Vs Intel® Gaudi® 3 proyecciones para las proyecciones LLAMA2-7B, LLAMA2-70B y Falcon 180B. Los resultados pueden variar.}