Si ETL es el infierno de la integración, ¿cómo puedo evitarlo e ir al cielo?

Extraer, transformar y cargar (ETL) es el proceso que se ha utilizado durante décadas para compartir datos entre aplicaciones, sistemas transaccionales y almacenes de datos. Básicamente, funciona así: se define una integración, se extraen los datos del sistema de origen, se utilizan algunas reglas de asignación y agregación para transformar los datos en el formato que necesita el sistema de destino y, a continuación, se cargan (guardan) los datos en la base de datos del sistema de destino.

Infierno ETL

Aunque este proceso parece sencillo e intuitivo, tiene algunos problemas que están llevando a muchas empresas a cuestionarse la sostenibilidad de esta práctica. Para los arquitectos de soluciones y datos, ETL puede convertirse rápidamente en un infierno de integración.

1. La necesidad de predefinir qué datos deben circular entre los sistemas y qué transformaciones deben realizarse.
2. Mover más datos de los necesarios.
3. La complejidad de rastrear datos a través de múltiples sistemas.
4. El esfuerzo/coste de mantener actualizados los procesos ETL a medida que cambian los sistemas de origen y destino.
5. Las vulnerabilidades de seguridad expuestas durante el propio proceso ETL.

ETL funciona muy bien en situaciones en las que se está definiendo un sistema o un conjunto de integraciones que serán estables durante mucho tiempo. Pero esa no es la realidad de la mayoría de los ecosistemas informáticos modernos. El impulso de la agilidad empresarial ha provocado que las aplicaciones y los procesos empresariales cambien rápidamente, lo que aumenta el coste de la integración entre aplicaciones. Este cambio en la integración de datos de aplicaciones es difícil de soportar para las soluciones ETL.

Reduzca significativamente su carga ETL

La buena noticia para el sector informático es que ahora existen formas de reducir el uso de ETL y ayudar a sacar a su personal del infierno de ETL. Puede hacerlo basándose en tres principios clave:

1. Si puede utilizar los datos directamente del sistema de origen, no los copie. Gran parte de las integraciones de sistemas y las configuraciones ETL que se han creado en las últimas décadas se desarrollaron como solución para la capacidad de cálculo y el rendimiento de las aplicaciones individuales. Los datos transaccionales se trasladaron de los sistemas de origen a los almacenes de datos para la generación de informes, con el fin de evitar que los procesos analíticos ralentizaran los flujos de trabajo transaccionales. Ahora que la computación es rápida y barata, a menudo los sistemas transaccionales pueden procesar análisis y nuevas transacciones al mismo tiempo sin un impacto apreciable en el rendimiento.
2. Mueva sólo los datos que necesite cuando necesite utilizarlos. Pase de transferir datos en sentido descendente a extraerlos en el momento de su consumo. Esto no sólo reduce la cantidad de datos que se copian entre sistemas, sino que garantiza que los datos que consumen los usuarios y los procesos empresariales estén lo más actualizados posible. Cuando se envían datos a través de un sistema, se plantea el reto de mantener los datos de destino actualizados con los cambios en el sistema de origen. Al extraer los datos cuando se necesitan, los cambios ya se han aplicado.
3. Planifique el cambio. Mientras que ETL se diseñó para la estabilidad, los entornos de TI modernos están diseñados para la agilidad. Esto significa que debe pasar de integraciones y definiciones ETL fijas y predefinidas a una solución que centralice la gestión de las conexiones y ponga los datos a disposición de toda la empresa. Puede tratarse de un almacén de datos operativos o, simplemente, de un bus de datos empresariales. Lo que busca es flexibilidad y la posibilidad de reconfigurar su flujo de datos siempre que cambien las necesidades empresariales o los sistemas.

Salir del infierno ETL y encontrar una solución que se parezca más al paraíso de los datos empieza por desarrollar una mentalidad más ágil sobre cómo fluyen los datos en su organización. No dé por sentado que sabrá de antemano lo que necesitará su empresa ni dé por sentado que los sistemas que tiene hoy serán los sistemas que tendrá mañana en su entorno de TI. Busque plataformas modernas de gestión de datos como Actian, que le permitirán gestionar sus conexiones de forma coherente, agregar sus datos para su uso en toda la empresa y proporcionar las herramientas de análisis para desarrollar las perspectivas que necesita hoy y un nuevo conjunto de perspectivas mañana.

Acerca de Actian Corporation

Actian hace que los datos sean fáciles. Nuestra plataforma de datos simplifica el modo en que las personas conectan, gestionan y analizan los datos en entornos en la nube, híbridos y locales. Con décadas de experiencia en gestión de datos y análisis, Actian ofrece soluciones de alto rendimiento que permiten a las empresas tomar decisiones basadas en datos. Actian cuenta con el reconocimiento de los principales analistas y ha recibido premios del sector por su rendimiento e innovación. Nuestros equipos comparten casos de uso probados en conferencias (por ejemplo, Strata Data) y contribuyen a proyectos de código abierto. En el blog de Actian, cubrimos temas que van desde la ingestión de datos en tiempo real hasta el análisis impulsado por IA.