Wenn ETL die Integrationshölle ist, wie kann ich sie vermeiden und in den Himmel kommen?
Actian Germany GmbH
22. August 2019

Extrahieren, Transformieren und Laden (ETL) ist der Prozess, der seit Jahrzehnten zur gemeinsamen Nutzung von Daten zwischen Anwendungen, Transaktionssystemen und Data Warehouses verwendet wird. Er funktioniert im Wesentlichen wie folgt: Sie definieren eine Integration, ziehen die Daten aus dem Quellsystem, verwenden einige Zuordnungs- und Aggregationsregeln, um die Daten in das vom Zielsystem benötigte Format umzuwandeln, und laden (speichern) die Daten dann in die Datenbank des Zielsystems.
ETL-Hölle
Dieser Prozess scheint zwar einfach und intuitiv zu sein, birgt jedoch einige Probleme, die viele Unternehmen dazu veranlassen, die Nachhaltigkeit dieser Praxis in Frage zu stellen. Für Lösungs- und Datenarchitekten kann ETL schnell zur Integrationshölle werden.
- Die Notwendigkeit, im Voraus festzulegen, welche Daten zwischen den Systemen ausgetauscht und welche Umwandlungen vorgenommen werden müssen.
- Sie verschieben mehr Daten, als Sie benötigen.
- Die Komplexität der Datenverfolgung durch mehrere Systeme.
- Aufwand/Kosten für die Aktualisierung von ETL-Prozessen, wenn sich Quell- und Zielsysteme ändern.
- Die Sicherheitsschwachstellen, die während des ETL-Prozesses selbst auftreten.
ETL eignet sich hervorragend für Situationen, in denen Sie ein System oder eine Reihe von Integrationen definieren, die für eine lange Zeit stabil sein werden - das ist nicht die Realität der meisten modernen Business-IT-Ökosysteme. Das Streben nach geschäftlicher Agilität hat dazu geführt, dass sich Anwendungen und Geschäftsprozesse schnell ändern, wodurch die Kosten für die Integration zwischen Anwendungen steigen. Diese Veränderungen bei der Integration von Anwendungsdaten sind für ETL-Lösungen nur schwer zu bewältigen.
Reduzieren Sie Ihren ETL-Aufwand erheblich
Die gute Nachricht für die IT-Branche ist, dass es jetzt Möglichkeiten gibt, den Einsatz von ETL zu reduzieren und Ihre Mitarbeiter aus der ETL-Hölle zu befreien. Sie können dies tun, indem Sie sich auf drei Schlüsselprinzipien verlassen:
- Wenn Sie die Daten direkt aus dem Quellsystem verwenden können, sollten Sie sie gar nicht erst kopieren. Ein Großteil der Systemintegrationen und ETL-Setups, die in den letzten Jahrzehnten entstanden sind, wurden als Workaround für die Rechenkapazität und Leistung einzelner Anwendungen entwickelt. Transaktionsdaten wurden aus den Quellsystemen in Data Warehouses für die Berichterstattung verschoben, um zu vermeiden, dass Analyseprozesse die Transaktionsabläufe verlangsamen. Da die Rechenleistung heute sowohl schnell als auch kostengünstig ist, können Ihre Transaktionssysteme häufig Analysen und neue Transaktionen gleichzeitig verarbeiten, ohne dass dies messbare Auswirkungen auf die Leistung hat.
- Verschieben Sie nur die Daten, die Sie benötigen, wenn Sie sie verwenden müssen. Gehen Sie dazu über, Daten nicht mehr nachgelagert zu verschieben, sondern sie zum Zeitpunkt des Verbrauchs abzurufen. Dadurch wird nicht nur die Menge der Daten, die zwischen den Systemen kopiert werden, verringert, sondern auch sichergestellt, dass die Daten, die Ihre Benutzer und Geschäftsprozesse nutzen, so aktuell wie möglich sind. Wenn Sie Daten durch ein System schieben, stehen Sie vor der Herausforderung, die Zieldaten mit den Änderungen im Quellsystem auf dem neuesten Stand zu halten. Wenn Sie die Daten erst dann abrufen, wenn Sie sie benötigen, sind alle Änderungen bereits berücksichtigt worden.
- Planen Sie für Veränderungen. Während ETL auf Stabilität ausgelegt war, sind moderne IT-Umgebungen auf Agilität ausgerichtet. Das bedeutet, dass Sie von festen, vordefinierten Integrationen und ETL-Definitionen zu einer Lösung übergehen müssen, die Ihre Verbindungsverwaltung zentralisiert und Daten unternehmensweit verfügbar macht. Dabei kann es sich um ein operatives Data Warehouse oder einfach um einen Unternehmensdatenbus handeln. Was Sie suchen, ist Flexibilität und die Möglichkeit, Ihren Datenfluss neu zu konfigurieren, wenn sich Geschäftsanforderungen oder Systeme ändern.
Um aus der ETL-Hölle herauszukommen und eine Lösung zu finden, die sich eher wie ein Datenhimmel anfühlt, müssen Sie eine flexiblere Denkweise darüber entwickeln, wie Daten in Ihrem Unternehmen fließen. Gehen Sie nicht davon aus, dass Sie im Voraus wissen, was Ihr Unternehmen benötigt, oder davon, dass die Systeme, die Sie heute haben, auch morgen noch in Ihrer IT-Umgebung vorhanden sein werden. Suchen Sie nach modernen Datenmanagement wie Actian, die es Ihnen ermöglichen, Ihre Verbindungen auf konsistente Weise verwalten , Ihre Daten für die unternehmensweite Nutzung zu aggregieren und die Analysewerkzeuge bereitzustellen, mit denen Sie die Erkenntnisse gewinnen können, die Sie heute benötigen, und die Ihnen morgen neue Erkenntnisse liefern.
Abonnieren Sie den Actian Blog
Abonnieren Sie den Blog von Actian, um direkt Dateneinblicke zu erhalten.
- Bleiben Sie auf dem Laufenden - Holen Sie sich die neuesten Informationen zu Data Analytics direkt in Ihren Posteingang.
- Verpassen Sie keinen Beitrag: Sie erhalten automatische E-Mail-Updates, die Sie informieren, wenn neue Beiträge veröffentlicht werden.
- Ganz wie sie wollen: Ändern Sie Ihre Lieferpräferenzen nach Ihren Bedürfnissen.