Si ETL es el infierno de la integración, ¿cómo puedo evitarlo e ir al cielo?

La extracción, transformación y carga (ETL) es el proceso que se ha utilizado durante décadas para compartir datos entre aplicaciones, sistemas transaccionales y almacenes de datos. Básicamente, funciona así: se define una integración, se extraen los datos del sistema de origen, se aplican unas reglas de mapeo y agregación para transformar los datos al formato que necesita el sistema de destino y, a continuación, se cargan (guardan) los datos en la base de datos del sistema de destino.

El infierno del ETL

Aunque este proceso parece sencillo e intuitivo, presenta algunos problemas que están llevando a muchas empresas a cuestionar la viabilidad de esta práctica. Para los arquitectos de soluciones y de datos, el ETL puede convertirse rápidamente en un auténtico infierno de integración.

1. Es necesario definir de antemano qué datos deben transferirse entre los sistemas y qué transformaciones deben realizarse.
2. Transmitir más datos de los que necesitas.
3. La complejidad que supone el seguimiento de los datos a través de múltiples sistemas.
4. El esfuerzo y el coste que supone mantener actualizados los procesos ETL a medida que cambian los sistemas de origen y destino.
5. Las vulnerabilidades de seguridad que se pusieron de manifiesto durante el propio proceso de ETL.

El ETL funciona muy bien en situaciones en las que se define un sistema o un conjunto de integraciones que se mantendrán estables durante mucho tiempo. Sin embargo, esa no es la realidad de la mayoría de los ecosistemas empresariales y de TI actuales. La búsqueda de la agilidad empresarial ha provocado que las aplicaciones y los procesos de negocio cambien rápidamente, lo que ha incrementado el coste de la integración entre aplicaciones. A las soluciones ETL les resulta difícil hacer frente a esta constante renovación de la integración de datos de las aplicaciones.

Reduzca considerablemente la carga de trabajo de ETL

La buena noticia para el sector de las tecnologías de la información es que ahora existen formas de reducir el uso de ETL y ayudar a tu personal a salir del «infierno del ETL». Para ello, puedes basarte en tres principios clave:

1. Si puedes utilizar los datos directamente desde el sistema de origen, no los copies en absoluto. Gran parte de las integraciones de sistemas y las configuraciones ETL que se han creado en las últimas décadas se desarrollaron como una solución alternativa a los límites de capacidad de cálculo y rendimiento de las aplicaciones individuales. Los datos transaccionales se trasladaban de los sistemas de origen a los almacenes de datos para la generación de informes, con el fin de evitar que los procesos analíticos ralentizaran los flujos de trabajo transaccionales. Ahora que la computación es rápida y económica, a menudo sus sistemas transaccionales pueden gestionar el procesamiento de análisis y nuevas transacciones al mismo tiempo sin un impacto apreciable en el rendimiento.
2. Transfiere solo los datos que necesites cuando vayas a utilizarlos. Pasa de enviar datos hacia los sistemas posteriores a recuperarlos en el momento de su consumo. Esto no solo reduce la cantidad de datos que se copian entre sistemas, sino que garantiza que los datos que consumen tus usuarios y tus procesos empresariales estén lo más actualizados posible. Cuando se envían datos a través de un sistema, surge el reto de mantener los datos de destino actualizados con los cambios del sistema de origen. Al extraer los datos cuando se necesitan, cualquier cambio ya se habrá aplicado.
3. Planifica el cambio. Mientras que el ETL se diseñó pensando en la estabilidad, los entornos informáticos modernos se diseñan pensando en la agilidad. Esto significa que debes pasar de integraciones fijas y predefinidas y de definiciones ETL a una solución que centralice la gestión de las conexiones y ponga los datos a disposición de toda la empresa. Puede tratarse de un almacén de datos operativos o, simplemente, de un bus de datos corporativo. Lo que buscas es flexibilidad y la capacidad de reconfigurar el flujo de datos cada vez que cambien las necesidades del negocio o los sistemas.

Para salir del «infierno del ETL» y encontrar una solución que se parezca más al «paraíso de los datos», hay que empezar por desarrollar una mentalidad más ágil sobre cómo fluyen los datos por toda la organización. No des por sentado que sabrás de antemano qué necesitará tu empresa, ni que los sistemas con los que cuentas hoy serán los mismos que tendrás mañana en tu entorno de TI. Busque plataformas modernas de gestión de datos, como Actian, que le permitan gestionar sus conexiones de forma coherente, agregar sus datos para su uso en toda la empresa y proporcionar las herramientas de análisis necesarias para obtener la información que necesita hoy y un nuevo conjunto de conocimientos mañana.

Acerca del autor

Acerca de Actian Corporation

Actian ayuda a las empresas a gestionar y gobernar sus datos con total confianza, incluso a gran escala. Las organizaciones confían en las soluciones de gestión e inteligencia de datos de Actian para simplificar entornos complejos y acelerar la entrega de datos listos para la IA. Diseñadas para ser flexibles, las soluciones de Actian se integran perfectamente, funcionan de forma fiable y se adaptan a entornos locales, en la nube o híbridos. Descubra más sobre Actian, la división de datos e IA de HCL Software, en actian.com.