Utilice el Aprendizaje Automático para Acelerar el Tiempo de Valor para IA

Resumen Ejecutivo

El deseo creciente de ganar valor empresarial de inteligencia artificial (IA) ha creado una brecha entre la demanda de experiencia en ciencias de datos y el suministro de científicos de datos. La plataforma de aprendizaje automático de máquinas (AutoML) de DataRobot, que se ejecuta con la arquitectura Intel®, aborda este desafío al automatizar muchas tareas necesarias para desarrollar aplicaciones de IA y aprendizaje automático.

Los usuarios de DataRobot pueden construir modelos predictivos precisos y transparentes en minutos. Los expertos en ciencias de datos pueden trabajar de manera más eficiente. Los usuarios de empresas pueden crear modelos sólidos de aprendizaje automático al aplicar su comprensión de los datos empresariales y los procesos empresariales. Las organizaciones pueden aplicar la IA a importantes desafíos empresariales y posicionarse para el éxito en la economía de algoritmos emergentes.

Optimizada para las más recientes tecnologías Intel, la Solución DataRobot AutoML ofrece un desempeño, una capacidad de memoria y una escalabilidad inigualables para crear, entrenar e implementar modelos de aprendizaje automático en infraestructura familiar y rentable. Con los procesadores escalable Intel® Xeon® de 2ª Generación y la memoria persistente Intel® Optane™ las organizaciones pueden entrenar modelos en conjuntos de datos de hasta 100 GB. En las pruebas de análisis de referencia, un sistema con memoria persistente Intel® Optane™ entrenado prácticamente a la misma velocidad que un sistema equipado solamente con la DRAM, según el tamaño del conjunto de datos y el método de entrenamiento. El sistema con memoria persistente Intel® Optane™ se proyecta para entrenar hasta un conjunto de datos 1,33 veces mayor al mismo costo de memoria en comparación con un sistema equipado solamente con la DRAM.¹

Desafío Empresarial: Complete la Brecha de Talento de la Ciencia de Datos

Las organizaciones de todos los tamaños están dispuestas a aplicar la IA a sus desafíos más difíciles y sus oportunidades más apasionantes. Muchos reconocen el aprendizaje automático y otras maneras de IA como formas eficaces de obtener ventaja competitiva mediante la obtención de información actualizada de sus tiendas de datos en crecimiento. El mercado de IA global, valorado en 20 670 mil millones de dólares estadounidenses en 2018, prevé que aumentará a 202 570 mil millones de dólares estadounidenses para 2026, una tasa de crecimiento anual acumulada con respecto a 2019 del 33,1 por ciento.²

La demanda creciente de soluciones de IA ha llevado a deficiencias significativas en el talento de la IA. Según un informe realizado por TalentSeer en enero de 2020, la demanda de personas con conocimientos de IA creció un 74 por ciento en cada uno de los cuatro años anteriores.³ En una encuesta realizada por Gartner en la que participaron 3000 CIOs de empresas de 89 países, el 54 por ciento identificó la escasez de conocimientos como su mayor desafío de IA ⁴.

Junto con la escasez de expertos en ciencias de datos, el desarrollo del aprendizaje automático se ve obstaculizado por tareas que a menudo son complejas, tediosas y que requieren mucho tiempo. Como resultado, los científicos de datos dedican mucho tiempo para realizar estas tareas en lugar de aprovechar al máximo su experiencia. Además, muchas personas con conocimiento de datos empresariales carecen de las competencias específicas para crear modelos de aprendizaje automático. Estos problemas ralentizan el desarrollo de la IA e impiden que las empresas implementen la IA con la rapidez y amplitud que requieren las necesidades empresariales.

Descripción General de la Solución: Aprendizaje Automático con DataRobot e Intel

DataRobot utiliza el aprendizaje automático de máquinas (AutoML) para ayudar a llenar el vacío de conocimientos de la IA. La solución DataRobot automatiza y reemplaza gran parte del trabajo manual tedioso que requieren los procesos de ciencia de datos tradicionales. Permite que los usuarios con conocimientos de datos en todos los niveles de competencias desarrollen, prueben, modelen e implementen algoritmos de aprendizaje automático con rapidez, mediante las mejores prácticas y salvaguardas para ayudar a evitar el error humano.

Con DataRobot, los usuarios de una empresa pueden basarse en su conocimiento de datos empresariales para generar modelos de aprendizaje automático avanzados, sin necesidad de crear un código o comprender las complejidades de los algoritmos específicos. Los científicos de datos pueden aplicar su experiencia única de forma productiva para seleccionar y ajustar los modelos. Las organizaciones pueden crear modelos de aprendizaje automático precisos con rapidez y capturar un mayor valor de los datos de la empresa. La Figura 2 muestra la interfaz de usuario gráfica (GUI) de la solución DataRobot.

DataRobot utiliza el aprendizaje automático y las tecnologías Intel para analizar grandes volúmenes de datos y capturar relaciones, tendencias y patrones que pueden ser demasiado sutiles para que la inteligencia empresarial y los análisis empresariales anteriores los detecten. Los usuarios ingresan los datos relevantes y seleccionan la variable que desean predecir. DataRobot elige los algoritmos más adecuados y optimiza el reprocesamiento de datos, la ingeniería de características y el ajuste de parámetros para cada algoritmo. Construye y entrena cientos de modelos predictivos, clasifica y evalúa los modelos, y recomienda el mejor modelo para implementar para el objetivo de datos y de predicción. En lugar de pasar semanas o meses desarrollando y probando algunos modelos codificados a mano, los usuarios pueden construir y explorar cientos de modelos e implementar el modelo de mejor desempeño, todo en cuestión de horas.

DataRobot está diseñado para obtener transparencia, con el fin de que los usuarios puedan comprender y explicar cómo se construyeron los modelos y por qué los modelos realizaron las predicciones que hicieron. Las visualizaciones integradas muestran qué tipos de datos tienen el mayor impacto en el modelo y ofrecen información sobre cómo las variables individuales afectan a la empresa. La solución utiliza el desempeño, la escalabilidad y la capacidad de memoria de tecnologías Intel® para construir, entrenar y evaluar los modelos de aprendizaje automático, así como para manejar conjuntos de datos y casos de uso en crecimiento.

Generación de Información y Valor con AutoML

Diversas industrias están utilizando la solución DataRobot AutoML para crear modelos predictivos que aumenten la experiencia de las personas, mejoren la toma de decisiones basadas en datos, mejoren la eficiencia y más. He aquí algunos ejemplos:

• Las compañías de seguros están enfocadas en áreas que van desde la suscripción a la comercialización. Están utilizando información habilitada para el aprendizaje automático con el fin de optimizar los algoritmos de precios, mejorar la evaluación de riesgos y reducir las reclamaciones fraudulentas.
• Las empresas de tecnología financiera pronostican transacciones fraudulentas con tarjetas de crédito y crean nuevos productos de inversión. Están reforzando la seguridad de la cadena de bloques mediante la detección de comportamientos anómalos dentro de la cadena y el aumento de las tasas de respuesta de marketing mediante la orientación mejorada.
• Los minoristas están obteniendo información nueva sobre los patrones de los gastos de los clientes y el comportamiento de compras en todos los canales. Aplican estos datos para alinear mejor la combinación de los productos, las promociones, los mensajes y las elecciones de medios para seleccionar el producto adecuado en el lugar y momento indicado.
• Los fabricantes están dando los próximos pasos en la automatización de las fábricas y la optimización de la cadena de suministro, lo que impulsó más ganancias de productividad, ahorros de costos y mejoras de calidad. Mediante el mantenimiento predictivo y los flujos de datos en tiempo real de activos conectados, están optimizando los costos y el tiempo de actividad al servir los activos antes de que tengan la oportunidad de presentar fallas. Están incorporando modelos de aprendizaje automático en el diseño de productos inteligentes de la próxima generación.
• Las agencias del sector público están utilizando modelos de aprendizaje automático con fuentes de datos en tiempo real para predecir posibles actividades terroristas, actividades fraudulentas y amenazas para la seguridad cibernética. Las soluciones de aprendizaje automático escalable son un habilitador clave para la funcionalidad de la ciudad inteligente que puede ayudar a mejorar la seguridad pública, la eficiencia de tráfico y más.
• Las organizaciones de atención médica están mejorando el criterio de los equipos de atención clínica con modelos de aprendizaje automático que señalan a los pacientes con alto riesgo de desarrollar infecciones que ponen en peligro la vida o que requieren costosas readmisiones. Las empresas farmacéuticas buscan optimizar la logística de los envíos de medicamentos, mejorar los costos de entrega y el servicio al cliente.

Valor de la Solución: ruta Simplificada Hacia una Empresa Impulsada por la IA

La solución AutoML de DataRobot e Intel cambia la velocidad y la economía de los análisis predictivos y proporciona una ruta rápida al éxito de la IA. Esta plataforma de grado industrial aborda la escasez de conocimientos al hacer que los científicos de datos sean más productivos. Permite que el profesional de datos que tiene conocimientos de datos y empresariales desarrolle e implemente modelos predictivos precisos de forma rápida. También afronta la necesidad de que muchos usuarios de DataRobot entrenen modelos en conjuntos de datos muy grandes. Las organizaciones pueden incrementar sus esfuerzos de aprendizaje automático para completar más proyectos, iterar y explorar nuevos casos de uso, así como aplicar la IA de forma más amplia en sus empresas. Pueden democratizar la IA y crear empresas impulsadas por la IA.

DataRobot es una solución integral que añade valor a lo largo de las fases críticas de desarrollo e implantación de modelos de aprendizaje automático.

• Introducir datos. DataRobot transforma los datos estructurados y no estructurados en el formato específico que cada algoritmo necesita para un desempeño óptimo. Aplica las mejores prácticas para la partición de datos.
• Características de los ingenieros. DataRobot desarrolla nuevas características a partir de características numéricas, categóricas y de texto existentes. Sabe qué algoritmos se benefician de la ingeniería de características adicionales y cuáles no, y solo genera características que tienen utilidad en función de las características de los datos.
• Explora y selecciona algoritmos. DataRobot proporciona acceso a cientos de algoritmos junto con el procesamiento previo adecuado para que los usuarios prueben sus datos. Ayuda a los usuarios a seleccionar los algoritmos que tienen utilidad para sus datos y su desafío de IA.
• Entrena y perfecciona los modelos de aprendizaje automático. DataRobot entrena los modelos en los datos del usuario, mediante la configuración inteligente para optimizar los hiperparámetros más importantes para cada algoritmo.
• Encuentra las combinaciones de algoritmos óptimas. Ensambla o mezcla los modelos que suelen superar a los algoritmos individuales. DataRobot encuentra los algoritmos óptimos para combinar y ajusta la ponderación de los algoritmos dentro de cada modelo de ensamble.
• Compara los modelos de forma directa. DataRobot construye y entrena decenas de modelos, compara los resultados y clasifica los modelos por la precisión, velocidad y combinación más eficiente. Los usuarios pueden explorar los modelos con la GUI intuitiva de DataRobot y elegir con cuáles avanzar.
• Construye la confianza. Para ayudar a garantizar la transparencia, DataRobot explica sus decisiones del modelo y muestra qué características tienen el mayor impacto en la precisión del modelo y los patrones adaptados para cada característica. Proporciona explicaciones para ilustrar la razón detrás de una predicción específica.
• Implementa modelos listos para la producción. DataRobot produce modelos listos para la producción que los usuarios pueden integrar con las aplicaciones empresariales con solo unas pocas líneas de código. Los modelos pueden implementarse para las predicciones en tiempo real, las implementaciones de lotes, la puntuación en Apache Hadoop u otros métodos. Los usuarios pueden desarrollar sus propios modelos mediante R, Python, Apache Spark, MLlib, H2O y otras herramientas, como tmabién llamar a la biblioteca DataRobot para activarlos.
• Supervisar y administrar. Luego de la implementación, DataRobot facilita la comparación de las predicciones con los resultados reales y el entrenamiento de un modelo nuevo con los datos más recientes. DataRobot resalta de forma proactiva si el desempeño de un modelo se está deteriorando con el tiempo.

Arquitectura de Soluciones para el Aprendizaje Automático

Las potentes tecnologías Intel ayudan a DataRobot a optimizar el desempeño para automatizar, entrenar y evaluar de forma simultánea varios modelos de aprendizaje automático y ofrecer aplicaciones de IA a escala (ver Figura 3).

Para cada modelo nuevo, DataRobot busca en su creciente biblioteca de miles de modelos de aprendizaje automático de código abierto.

Evalúa las posibles combinaciones de algoritmos, los pasos de procesamiento previo y otros atributos para seleccionar o construir los elementos más adecuados para un conjunto de datos y un objetivo de predicción. Entrena a los modelos más destacados en cuanto a los datos del usuario y presenta los más altos resultados para que los usuarios puedan evaluarlos. Los modelos implementados pueden analizar miles de millones de combinaciones de datos para ofrecer nuevos conocimientos y descubrir señales que podrían haber estado ocultas previamente por datos “ruidosos”. La solución puede implementarse en una nube privada local o en una nube de servicios web de Amazon (AWS) administrada por DataRobot.

DataRobot se integra con facilidad en el ecosistema de tecnologías que ya existen en la empresa. Entre ellos se incluyen tecnologías de seguridad y privacidad de datos, herramientas de integración y visualización de datos y plataformas de infraestructura como base de datos SQL y Apache Hadoop. Los datos estructurados y no estructurados pueden ser ingeridos desde lagos de datos, tablas y otras fuentes de la empresa, y los usuarios pueden interactuar con el sistema a través de interfaces gráficas o programáticas.

La plataforma DataRobot incluye dos productos independientes pero relacionados entre sí:

• La regresión y clasificación incorporan una variedad de técnicas de regresión, desde la regresión lineal sencilla hasta los modelos estadísticos de regresión clásicos, además de técnicas más complejas como el aumento de degradación y las redes neuronales. La plataforma soluciona los problemas simples de clasificación binaria así como los problemas complejos de varias clases con hasta 100 categorías.
• Las serie temporales automatizan el desarrollo de modelos sofisticados que predicen los valores futuros de una serie de datos en función de su historia y sus tendencias. La plataforma integra la ingeniería de características de las series temporales para descubrir señales predictivas.

Utiliza los modelos de series temporales básicas y avanzadas para optimizar la precisión de las predicciones y puede visualizar los conocimientos con el tiempo e implementar los modelos en la producción.

Tecnologías Intel® para el Entrenamiento de AutoML Rentable y de Alto Desempeño

La última generación de tecnologías de centros de datos de Intel® se construye desde cero para las cargas de trabajo de la IA. Ofrecen un desempeño excepcional, escalabilidad y capacidad de memoria para las cargas de trabajo de DataRobot, que requieren un uso intensivo de la CPU y la memoria. Las organizaciones pueden promover su uso de la IA mientras que mantengan un entorno coherente y rentable para el desarrollo de la IA y la implementación del modelo.

• Los procesadores escalable Intel® Xeon® ofrecen plataformas poderosas para las cargas de trabajo centradas en los datos. Los procesadores escalable Intel® Xeon® de 2ª Generación incorporan un acelerador de hardware integrado y el aprendizaje profundo Intel® con la instrucción de red neuronal vectorial (VNNI) para aumentar el desempeño de la inferencia. También agregan características de seguridad mejoradas en el hardware para ayudar a construir una base informática de confianza. Los nuevos procesadores escalable Intel® Xeon® de 3ª Generación agregan más características de desempeño, incluso la primera plataforma x86 compatible con instrucciones de punto flotante cerebral de 16 bits (bfloat 16) para un mayor rendimiento del entrenamiento.
• La memoria persistente Intel® Optane™ es una nueva clase de memoria no volátil que llena la brecha entre la DRAM rápida pero costosa y los SSDs NAND de menor costo y desempeño. Esta memoria innovadora aborda los niveles de desempeño de la DRAM, pero a un costo más bajo por gigabyte. Reside en el bus de memoria y permite más de 3 TB de memoria por cada zócalo de la CPU. En el modo de memoria, la memoria persistente de Intel® Optane™ puede utilizarse de forma transparente como una extensión volátil de la DRAM.
• Las unidades de estado sólido Intel® (SSDs Intel®) combinan un alto rendimiento, una baja latencia y una alta resistencia para mejorar el desempeño de las aplicaciones vinculadas a los datos. Intel® SSD D3-S4510 es una SSD basado en SATA optimizada para las cargas de trabajo con lectura intensiva. Diseñadas para un mayor almacenamiento de datos por unidad de rack, estas SSDs de gran capacidad están disponibles en tamaños de 240 GB a 3,8 TB. La SSD DC P4610 Intel® está diseñada con tecnología Intel® 3D NAND de 64 capas y celda de nivel triple para ayudar a los administradores de centros de datos a optimizar la eficiencia de almacenamiento y a administrar de forma competente a escala.
• Los adaptadores de red Ethernet Intel® XXV710 ofrecen un desempeño flexible y escalable con la capacidad de negociar automáticamente para las conexiones de 1/10/25 GbE. Estos adaptadores proporcionan descargas y aceleradores inteligentes para desbloquear el desempeño de la red en los servidores equipados con procesadores escalable Intel® Xeon.

Juntas, estas tecnologías permiten que las empresas implementen DataRobot para entrenar enormes conjuntos de datos y varios modelos de forma simultánea con un alto desempeño.

Análisis de Referencia para el Entrenamiento de AutoML

El entrenamiento de aprendizaje automático es una tarea que demanda una gran cantidad de datos que puede requerir una cantidad significativa de memoria. Las exigencias pueden ser muy elevadas para una solución AutoML como DataRobot, que entrena varios modelos de forma simultánea mediante los datos del cliente antes de clasificarlos. Mientras que los modelos pueden entrenarse con una cantidad variable de datos, un conjunto de datos más grande puede ayudar a aumentar la precisión del modelo.

Para explorar los requisitos de la memoria de DataRobot, un equipo del grupo de soluciones de IA de Intel® utilizó DataRobot en el modo de piloto automático para seleccionar y entrenar de forma aleatoria los modelos del catálogo de modelo de DataRobot. Descubrimos que entrenar varios modelos elegidos de forma aleatoria requería una huella de memoria de 6 a 25 veces el tamaño del conjunto de datos. El rango dependía de los tipos de modelo, así como del porcentaje de datos utilizados para el entrenamiento. Debido a la alta proporción de la huella de base de datos a memoria, las organizaciones que entrenan grandes conjuntos de datos pueden necesitar un gran grupo de datos para evitar el drenaje del desempeño de las cargas de trabajo vinculadas con la capacidad de memoria. Sin embargo, configurar un grupo de datos grande y equipados totalmente con la DRAM puede ser prohibitivamente costoso.

El equipo de análisis de referencia quería descubrir cómo la memoria persistente de Intel® Optane™ podría abordar esta situación. ¿Podría la innovación de la memoria de Intel® proporcionar a los usuarios de DataRobot una solución rentable para el entrenamiento de AutoML de alto desempeño en grandes conjuntos de datos?

El equipo comenzó con el entrenamiento de DataRobot en modo de piloto automático con un conjunto de datos de pruebas de 50 GB. Luego, seleccionaron varios modelos del marcador al azar y los volvieron a entrenar en dos sistemas que solo se diferenciaban en el tipo de memoria en sus nodos de funcionamiento. Uno utilizó toda la DRAM y el otro utilizó la memoria persistente de Intel® Optane™. La Figura 4 y la Tabla 1 resumen los sistemas de análisis de referencia.

Configuramos ambos sistemas con la misma capacidad de memoria y comparamos el desempeño (tiempo de entrenamiento) de las dos configuraciones. Esperábamos que la memoria persistente de Intel® Optane™ proporcionara un desempeño un poco inferior al sistema equipado solamente con la DRAM. Sin embargo, cuando analizamos el tiempo de entrenamiento para los modelos seleccionados, descubrimos que el desempeño del sistema con memoria persistente de Intel® Optane™ era similar al sistema equipado solo con la DRAM, según el modelo que se entrena.

Luego, mediante un modelo de precios de Intel, reconfiguramos los dos sistemas para el mismo costo de memoria en lugar de la misma capacidad. Nuestro análisis proyectó que la memoria persistente de Intel® Optane™ proporcionaría hasta una capacidad 1,33 veces mayor en el conjunto de datos para el entrenamiento que la configuración de la DRAM, como se mencionó, según del modelo que se esté entrenando.

La Figura 4¹ muestra estos resultados para el entrenamiento en el clasificador de árboles potenciados del gradiente para sistema de memoria persistente de Intel® Optane™ en relación con el sistema equipado solamente con la DRAM. La mitad izquierda del gráfico ilustra el desempeño y el desempeño por dólar para la misma capacidad de memoria. En la parte derecha se muestra la capacidad proyectada del conjunto de datos de entrenamiento y la capacidad del conjunto de datos de entrenamiento por dólar para el costo de memoria equivalente.

En resumen, nuestras pruebas demostraron lo siguiente:

• Las organizaciones pueden entrenar prácticamente a la misma velocidad en un sistema con memoria persistente Intel® Optane™ como en un sistema equipado solamente con la DRAM con un rendimiento por dólar 1,23 veces superior.
• Se proyecta que las organizaciones pueden entrenar hasta un conjunto de datos 1,33 veces mayor al mismo costo en un sistema con memoria persistente de Intel® Optane™ en comparación con un sistema equipado solamente con la DRAM. Se estima que esto produzca una capacidad indexada por dólar de hasta 1,26 veces.

Configuración Típica para la Implementación de DataRobot

La Tabla 1 resume una configuración típica del sistema para ejecutar DataRobot en las instalaciones con la implementación de Hadoop para los conjuntos de datos de entrenamiento de hasta 100 GB. Según el tamaño de su empresa y la cantidad y el tamaño de los conjuntos de datos, es posible que necesite varios nodos de funcionamiento. Comuníquese con su representante de DataRobot para conocer más sobre el tamaño óptimo para sus requisitos de entrenamiento.

Conclusión: IA a Escala

La IA se ha convertido en un elemento esencial de las operaciones empresariales y una fuente crítica de la diferenciación competitiva. Con la IA y la plataforma AutoML de DataRobot y las tecnologías Intel® líderes en la industria, las empresas pueden abordar la escasez de científicos de datos y eliminar un obstáculo importante para el éxito de la IA. Pueden crear modelos de aprendizaje automático preparados para la producción con rapidez, mediante el aumento de la productividad de los científicos de datos, la ampliación de los esfuerzos de desarrollo de la IA y la aplicación del aprendizaje automático a sus mayores desafíos y oportunidades empresariales.

Si se aprovechan las tecnologías Intel® optimizadas para la IA, las organizaciones pueden beneficiarse de toda la capacidad de AutoML. Pueden implementar potentes plataformas de entrenamientos con hasta 3 TB de memoria persistente Intel® Optane™ por cada zócalo de la CPU. También pueden entrenar grandes conjuntos de datos a un costo más bajo que las configuraciones de la memoria DRAM. Ya sea que elijan la infraestructura local o basada en la nube, pueden ejecutarse en la arquitectura versátil y estándar de la industria con un desempeño excepcional, escalabilidad y fiabilidad. Con la solución AutoML de DataRobot y las tecnologías Intel®, las organizaciones pueden centrarse en la innovación de la IA y la creación de una empresa impulsada por la IA.

Encuentre la solución que sea adecuada para su organización. Comuníquese con su representante de Intel o visite intel.com/ai.

Los siguientes recursos pueden resultarle útiles:

• DataRobot URL: https://www.datarobot.com/
• Intel AI
• Procesadores escalables Intel® Xeon®
• Memoria persistente Intel® Optane™
• SSD Intel® DC P4610
• Productos Ethernet Intel®
• Intel® Deep Learning Boost