Cómo construir, ejecutar y gestionar análisis de datos e IA escalables para la empresa

En la parte 2 de nuestra miniserie centrada en la construcción de un flujo de trabajo de análisis de datos, examinamos cómo el desarrollo de canales de datos puede desbloquear valor empresarial real

Principales conclusiones

  • Para que las empresas FSI desbloqueen verdaderamente el valor de la IA y el análisis, deben trabajar cómo operacionalizar los datos a escala

  • Tomar un enfoque DataOps y ModelOps permitirá a las empresas FSI crear análisis ágiles y automatizados e IA que puedan gestionarse, monitorizar y cumplir las normativas al mismo tiempo

  • La automatización del proceso será la clave para desarrollar una plataforma escalable para apoyar cientos de análisis y proyectos de IA, para finalmente conducir a extraer valor empresarial real del volumen masivo de datos empresariales

author-image

Por

El desafío clave es cómo ofrecer una plataforma escalable que pueda ofrecer IA o análisis avanzados en toda la empresa.

La inteligencia artificial (IA) y el análisis avanzado ayudan a transformar la industria de servicios financieros (FSI) en la era digital. Muchas organizaciones ya están utilizando estas tecnologías en una amplia gama de aplicaciones, desde la gestión de riesgos, la prevención de fraudes y el comercio de alta frecuencia hasta la automatización de procesos robóticos y la personalización de la experiencia del cliente.

Las organizaciones financieras siempre han estado en la vanguardia de la tecnología debido a la naturaleza de su negocio. Son conocidas por adoptar la tecnología más reciente mucho antes que otras industrias. Sin embargo, con el progreso pueden aparecer barreras, y el mundo financiero ha alcanzado el desafío de cómo tratar con la IA y el análisis avanzado escalables mucho antes que otros sectores.

«El desafío clave es cómo ofrecer una plataforma escalable que pueda ofrecer IA o análisis avanzados en toda la empresa», dijo Parviz Peiravi, director de tecnología global/ingeniero principal, Servicios de la industria financiera de Intel. «El valor de la IA y el análisis solo se pueden desbloquear si las organizaciones trabajan como operacionalizar los datos a escala».

 

Preparación y minería de datos

El primer paso es el descubrimiento de datos, pero una vez que los datos estén disponibles, ¿cuál es el siguiente? Las empresas deben decidir cómo desarrollar estos canales para obtener información empresarial real de la IA y el análisis.

Después de la descubrimiento de datos, el segundo paso en el proceso es decidir qué tipo de datos se pueden utilizar, y qué características son importantes para cada modelo de IA o análisis. En función del caso y el modelo necesarios, se pueden elegir características relevantes de los datos. Es necesario determinar cómo extraer estas características de los datos en bruto y cómo dividirlos en conjuntos de datos de entrenamiento y prueba utilizables.

El tercer paso es la ingeniería de selección de características y la minería de patrones. Los silos de datos son comunes y si los conjuntos de datos proceden de diferentes fuentes, es posible que algunas de las características estén ausentes, por lo que es necesario determinar cómo llenar esas lagunas. La minería de patrones se realiza para identificar patrones característicos dentro de los datos para determinar qué va a explorar el modelo. En el cuarto paso, los datos se transforman en un conjunto de trabajo para que pueda entrar directamente en el algoritmo para generar el modelo. Todo esto es parte del proceso de preparación de datos. Para desarrollar un modelo de IA o análisis utilizable, estos pasos adicionales son vitales después de la captura de datos inicial y el preprocesamiento de los mismos. 

Estos pasos de preparación de datos suelen ser manuales. Hoy en día hay algunos aspectos del proceso que se han automatizado, pero el desafío de cómo automatizar completamente el proceso de selección de características es un tema de debate. Esto es especialmente complejo, ya que los modelos suelen requerir miles de características. Como resultado, construir una infraestructura que pueda apoyar la preparación de datos automatizada para el desarrollo de modelos es un enfoque clave en este momento. Este proceso de preparación de datos forma parte del enfoque de flujo de trabajo de DataOps.

 

Análisis y desarrollo de modelos

Una vez que la etapa de preparación de datos haya terminado, pasaremos al paso cinco: desarrollo de modelos, donde el modelo es capacitado usando el conjunto de datos. Tras el desarrollo, cada modelo debe ser probado y evaluado. El siguiente desafío es cómo ponerlo en marcha. Para una empresa con cientos de estos modelos, esto significa cientos de canales de datos.

El paso seis trata de cómo operacionalizar cientos de modelos. Las empresas no solo tienen que garantizar la precisión de los modelos, también deben garantizar que son explicables y que se adhieren a la normativa. Estos modelos deben ser monitorizados constantemente para que puedan evaluarse su nivel de rendimiento y precisión, según los requisitos.

«A medida que los datos cambian con el tiempo, el comportamiento del modelo también puede cambiar, potencialmente produciendo una respuesta inexacta», Peiravi. «Esto se conoce como deriva de modelos, otro aspecto del proceso que debe gestionarse. Y con miles de modelos para gestionar, es vital que las empresas sepan encontrarlas. Los repositorios y registros son necesarios para que un modelo certificado y registrado pueda ser ejecutado en un entorno de producción, similar al concepto de «imagen de oro» para máquinas virtuales que se han utilizado en la informática durante años».

Este enfoque de ModelOps se refiere a cómo las empresas pueden operacionalizar un modelo desde la etapa en la que los científicos de datos la han desarrollado, hasta el punto en el que se entrega al equipo operativo informático para ejecutarlo en la producción. ModelOps y DataOps son clave para el desarrollo, ejecución y gestión de IA y análisis escalables para la empresa, usando un canal CI/CD.

«Lo que estamos tratando de hacer es aplicar una filosofía de desarrollo de software, herramientas y procesos para el desarrollo de modelos y de canales de datos», dijo Peiravi.

Los retos de la operacionalización de la IA y el análisis a escala

Este proceso sigue siendo muy poco fluido, con organizaciones encontrándose con varios obstáculos que les impiden operacionalizar con éxito los proyectos de IA. Cerca de un 47 por ciento de los encuestados citan dificultades de despliegue en procesos y aplicaciones empresariales como la principal barrera para ofrecer valor empresarial, según un informe de Gartner 1. Las demás barreras más comunes dadas fueron la resistencia cultural, la falta de proceso de DevOps, las habilidades relevantes y la incapacidad de asegurar o gobernar adecuadamente los datos y los análisis de entradas o salidas. Otros obstáculos clave incluyen: la mala planificación, la falta de asistencia ejecutiva y financiación y la incapacidad de abordar los problemas de calidad e integridad de los datos, dice el informe.

Las organizaciones también parecen tener problemas para colaborar en los pasos importantes necesarios para desarrollar modelos de análisis e IA, según la investigación del TDWI 2. Se pidió a los participantes que valorasen cuán bien las partes interesadas de sus organizaciones colaboran para completar los pasos clave en los ciclos de vida de los proyectos de IA y análisis. Los resultados demostraron que eran mejores identificando las fuentes de datos relevantes e identificando oportunidades para lograr ventajas empresariales. Sin embargo, solo un porcentaje muy pequeño calificó a sus organizaciones como «excelentes», mientras que menos de la mitad (42 %) otorgaron altas calificaciones a la colaboración en el desarrollo y las pruebas de modelos de análisis.

Superar estos desafíos será vital para la gestión de datos escalables e IA en el futuro. Las organizaciones también deben contar con la infraestructura subyacente adecuada. Intel proporciona tecnología fundamental para permitir a las empresas FSI construir una plataforma sólida y escalable, incluyéndolo todo, desde la red y las tecnologías de almacenamiento hasta la infraestructura informática y tecnologías de memoria. Intel también ofrece tecnología específica para IA y análisis avanzados, como marcos optimizados, bibliotecas y herramientas para soluciones de código abierto y comerciales.

«La tecnología Intel cubre las cuatro capas cruciales necesarias para la IA y el análisis avanzado:

infraestructura de hardware, software de sistema, marcos y aplicaciones», dijo Peiravi. «Esto permite a las empresas FSI construir una plataforma escalable para ofrecer diferentes capacidades necesarias para diferentes proyectos». Además, Intel trabaja continuamente con un gran número de partners del ecosistema para lanzar nuevas tecnologías que aborden los desafíos cada vez mayores de los análisis avanzados e IA para la industria de servicios financieros.

Para desbloquear todo el potencial de la IA y el análisis avanzado, es posible que las organizaciones deban alejarse de los procesos que han utilizado en el pasado. El desafío de operacionalizar el análisis avanzado e IA a escala exige un nuevo enfoque. Tomar un enfoque DataOps y ModelOps permitirá a las empresas FSI crear modelos de análisis e IA ágiles y automatizados que puedan ser implementados de forma rentable en un proceso escalable y gestionado según la política interna y la normativa vigente. Esto permitirá a las organizaciones mejorar sus decisiones basadas en los datos, lo que dará lugar a un valor empresarial real. Aunque este enfoque sigue siendo un concepto relativamente nuevo, es probable que las empresas del sector financiero lo adopten a una escala mucho más amplia en los próximos meses y años.

En caso de que no lo haya leído, eche un vistazo a la parte 1, Datos unificados: Su empresa necesita una sola casa muy bien conectada, no cuatro edificios inconexos, para obtener más información sobre la fase inicial de descubrimiento de datos y el desafío de unificar los datos.

Información sobre productos y rendimiento

1How to Operationalize Machine Learning and Data Science Projects: https://www.gartner.com/en/documents/3880054/how-to-operationalize-machine-learning-and-data-science-
2TDWI Best Practices Report: Faster Insights from Faster Data: https://tdwi.org/whitepapers/2020/04/data-all-sas-tdwi-bpr-faster-insights-from-faster-data.aspx