Wenn ETL die Integrationshölle ist, wie kann ich sie vermeiden und in den Himmel kommen?

Extract, Transform, and Load (ETL) ist ein Prozess, der seit Jahrzehnten zum Austausch von Daten zwischen Anwendungen, Transaktionssystemen und Data Warehouses verwendet wird. Im Wesentlichen funktioniert er wie folgt: Sie definieren eine Integration, extrahieren die Daten aus dem Quellsystem, wandeln die Daten mithilfe von Mapping- und Aggregationsregeln in das vom Zielsystem benötigte Format um und laden (speichern) die Daten dann in die Datenbank des Zielsystems.

ETL-Hölle

Obwohl dieser Prozess einfach und intuitiv erscheint, weist er einige Probleme auf, die viele Unternehmen dazu veranlassen, die Nachhaltigkeit dieser Vorgehensweise in Frage zu stellen. Für Lösungs- und Datenarchitekten kann ETL schnell zu einer Integrationshölle werden.

1. Die Notwendigkeit, im Voraus festzulegen, welche Daten zwischen den Systemen übertragen werden müssen und welche Transformationen erforderlich sind.
2. Mehr Daten übertragen, als Sie benötigen.
3. Die Komplexität der Datenverfolgung über mehrere Systeme hinweg.
4. Der Aufwand/die Kosten für die Aktualisierung von ETL-Prozessen bei Änderungen an Quell- und Zielsystemen.
5. Die während des ETL-Prozesses selbst aufgedeckten Sicherheitslücken.

ETL eignet sich hervorragend für Situationen, in denen Sie ein System oder eine Reihe von Integrationen definieren, die über einen langen Zeitraum stabil bleiben. Dies entspricht jedoch nicht der Realität der meisten modernen Business-IT-Ökosysteme. Das Streben nach geschäftlicher Agilität hat zu raschen Veränderungen bei Anwendungen und Geschäftsprozessen geführt, wodurch die Kosten für die Integration zwischen Anwendungen gestiegen sind. Diese Fluktuation bei der Anwendungsdatenintegration ist für ETL-Lösungen nur schwer zu bewältigen.

Reduzieren Sie Ihren ETL-Aufwand erheblich

Die gute Nachricht für die IT-Branche ist, dass es nun Möglichkeiten gibt, den Einsatz von ETL zu reduzieren und Ihre Mitarbeiter aus der ETL-Hölle zu befreien. Dazu können Sie sich auf drei Grundprinzipien stützen:

1. Wenn Sie die Daten direkt aus dem Quellsystem verwenden können, kopieren Sie sie gar nicht erst. Ein Großteil der Systemintegrationen und ETL-Konfigurationen, die in den letzten Jahrzehnten entwickelt wurden, dienten als Workaround für die Rechenkapazität und Leistung einzelner Anwendungen. Transaktionsdaten wurden aus den Quellsystemen in Data Warehouses für die Berichterstellung verschoben, um zu vermeiden, dass Analyseprozesse die Transaktionsabläufe verlangsamen. Da Rechenleistung heute sowohl schnell als auch kostengünstig ist, können Ihre Transaktionssysteme oft gleichzeitig Analysen und neue Transaktionen verarbeiten, ohne dass dies messbare Auswirkungen auf die Leistung hat.
2. Verschieben Sie nur die Daten, die Sie benötigen, wenn Sie sie verwenden müssen. Wechseln Sie vom Push-Verfahren beim Datenaustausch zum Pull-Verfahren zum Zeitpunkt der Nutzung. Dadurch wird nicht nur die Menge der zwischen den Systemen kopierten Daten reduziert, sondern auch sichergestellt, dass die von Ihren Benutzern und Geschäftsprozessen verwendeten Daten so aktuell wie möglich sind. Wenn Sie Daten durch ein System schieben, stehen Sie vor der Herausforderung, die Zieldaten mit den Änderungen im Quellsystem auf dem neuesten Stand zu halten. Wenn Sie Daten bei Bedarf abrufen, sind alle Änderungen bereits übernommen worden.
3. Planen Sie Veränderungen. Während ETL auf Stabilität ausgelegt war, sind moderne IT-Umgebungen auf Agilität ausgelegt. Das bedeutet, dass Sie von festen, vordefinierten Integrationen und ETL-Definitionen zu einer Lösung übergehen müssen, die Ihr Verbindungsmanagement zentralisiert und Daten unternehmensweit verfügbar macht. Dabei kann es sich um ein operatives Data Warehouse oder einfach um einen Unternehmensdatenbus handeln. Was Sie suchen, ist Flexibilität und die Möglichkeit, Ihren Datenfluss neu zu konfigurieren, wenn sich die Geschäftsanforderungen oder Systeme ändern.

Um aus der ETL-Hölle herauszukommen und eine Lösung zu finden, die eher wie ein Datenhimmel erscheint, müssen Sie zunächst eine agilere Denkweise hinsichtlich des Datenflusses in Ihrem Unternehmen entwickeln. Gehen Sie nicht davon aus, dass Sie im Voraus wissen, was Ihr Unternehmen benötigen wird, oder dass die Systeme, über die Sie heute verfügen, auch morgen noch Teil Ihrer IT-Umgebung sein werden. Suchen Sie nach modernen Datenmanagement wie Actian, mit denen Sie verwalten Verbindungen konsistent verwalten , Ihre Daten für die unternehmensweite Nutzung aggregieren und die Analyse-Tools bereitstellen können, um die Erkenntnisse zu gewinnen, die Sie heute benötigen, und morgen neue Erkenntnisse zu gewinnen.

Über den Autor

Über Actian Germany GmbH

Actian ermöglicht es Unternehmen, Daten in großem Umfang sicher verwalten zu steuern. Unternehmen vertrauen auf Datenmanagement Datenintelligenzlösungen von Actian, um komplexe Datenumgebungen zu optimieren und die Bereitstellung von KI-fähigen Daten zu beschleunigen. Die flexiblen Lösungen von Actian lassen sich nahtlos integrieren und arbeiten zuverlässig in On-Premises, Cloud und Hybrid-Umgebungen. Weitere Informationen über Actian, den Daten- und KI-Bereich von HCLSoftware, finden Sie unter actian.com.