Wenn ETL die Integrationshölle ist, wie kann ich sie vermeiden und in den Himmel kommen?

Extrahieren, Transformieren und Laden (ETL) ist der Prozess, der seit Jahrzehnten zur gemeinsamen Nutzung von Daten zwischen Anwendungen, Transaktionssystemen und Data Warehouses verwendet wird. Er funktioniert im Wesentlichen wie folgt: Sie definieren eine Integration, ziehen die Daten aus dem Quellsystem, verwenden einige Zuordnungs- und Aggregationsregeln, um die Daten in das vom Zielsystem benötigte Format umzuwandeln, und laden (speichern) die Daten dann in die Datenbank des Zielsystems.

ETL-Hölle

Dieser Prozess scheint zwar einfach und intuitiv zu sein, birgt jedoch einige Probleme, die viele Unternehmen dazu veranlassen, die Nachhaltigkeit dieser Praxis in Frage zu stellen. Für Lösungs- und Datenarchitekten kann ETL schnell zu einer Integrationshölle werden.

1. Die Notwendigkeit, im Voraus festzulegen, welche Daten zwischen den Systemen ausgetauscht und welche Umwandlungen vorgenommen werden müssen.
2. Sie verschieben mehr Daten, als Sie benötigen.
3. Die Komplexität der Datenverfolgung durch mehrere Systeme.
4. Aufwand/Kosten für die Aktualisierung von ETL-Prozessen, wenn sich Quell- und Zielsysteme ändern.
5. Die Sicherheitsschwachstellen, die während des ETL-Prozesses selbst auftreten.

ETL eignet sich hervorragend für Situationen, in denen Sie ein System oder eine Reihe von Integrationen definieren, die für lange Zeit stabil sein werden. In den meisten modernen Business-IT-Ökosystemen ist das nicht der Fall. Das Streben nach geschäftlicher Agilität hat dazu geführt, dass sich Anwendungen und Geschäftsprozesse schnell ändern, wodurch die Kosten für die Integration zwischen Anwendungen steigen. Für ETL-Lösungen ist es schwierig, diesen Wandel der Anwendungsdatenintegration zu unterstützen.

Reduzieren Sie Ihren ETL-Aufwand erheblich

Die gute Nachricht für die IT-Branche ist, dass es jetzt Möglichkeiten gibt, den Einsatz von ETL zu reduzieren und Ihre Mitarbeiter aus der ETL-Hölle zu befreien. Sie können dies tun, indem Sie sich auf drei Schlüsselprinzipien verlassen:

1. Wenn Sie die Daten direkt aus dem Quellsystem verwenden können, sollten Sie sie gar nicht erst kopieren. Ein Großteil der Systemintegrationen und ETL-Setups, die in den letzten Jahrzehnten entstanden sind, wurden als Workaround für die Rechenkapazität und Leistung einzelner Anwendungen entwickelt. Transaktionsdaten wurden aus den Quellsystemen in Data Warehouses für die Berichterstattung verschoben, um zu vermeiden, dass Analyseprozesse die Transaktionsabläufe verlangsamen. Da die Rechenleistung heute sowohl schnell als auch kostengünstig ist, können Ihre Transaktionssysteme häufig Analysen und neue Transaktionen gleichzeitig verarbeiten, ohne dass dies messbare Auswirkungen auf die Leistung hat.
2. Verschieben Sie nur die Daten, die Sie benötigen, wenn Sie sie verwenden müssen. Gehen Sie dazu über, Daten nicht mehr nachgelagert zu verschieben, sondern sie zum Zeitpunkt des Verbrauchs abzurufen. Dies verringert nicht nur die Datenmenge, die zwischen den Systemen kopiert wird, sondern gewährleistet auch, dass die Daten, die Ihre Benutzer und Geschäftsprozesse nutzen, so aktuell wie möglich sind. Wenn Sie Daten durch ein System schieben, stehen Sie vor der Herausforderung, die Zieldaten mit den Änderungen im Quellsystem auf dem neuesten Stand zu halten. Wenn Sie die Daten erst dann abrufen, wenn Sie sie benötigen, wurden alle Änderungen bereits berücksichtigt.
3. Planen Sie für Veränderungen. Während ETL auf Stabilität ausgelegt war, sind moderne IT-Umgebungen auf Agilität ausgerichtet. Das bedeutet, dass Sie von festen, vordefinierten Integrationen und ETL-Definitionen zu einer Lösung übergehen müssen, die Ihre Verbindungsverwaltung zentralisiert und Daten unternehmensweit verfügbar macht. Dabei kann es sich um ein operatives Data Warehouse oder einfach um einen Unternehmensdatenbus handeln. Was Sie suchen, ist Flexibilität und die Möglichkeit, Ihren Datenfluss neu zu konfigurieren, wenn sich Geschäftsanforderungen oder Systeme ändern.

Um aus der ETL-Hölle herauszukommen und eine Lösung zu finden, die sich eher wie ein Datenhimmel anfühlt, müssen Sie eine agilere Denkweise darüber entwickeln, wie Daten in Ihrem Unternehmen fließen. Gehen Sie nicht davon aus, dass Sie im Voraus wissen, was Ihr Unternehmen benötigt, oder davon, dass die Systeme, die Sie heute haben, auch morgen noch in Ihrer IT-Umgebung vorhanden sein werden. Suchen Sie nach modernen Datenmanagement wie Actian, die es Ihnen ermöglichen, Ihre Verbindungen auf konsistente Weise verwalten , Ihre Daten für die unternehmensweite Nutzung zu aggregieren und die Analysewerkzeuge bereitzustellen, mit denen Sie die Erkenntnisse gewinnen können, die Sie heute benötigen, und die Ihnen morgen neue Erkenntnisse liefern.

Über Actian Corporation

Actian macht Daten einfach. Unsere Datenplattform vereinfacht die Verbindung, Verwaltung und Analyse von Daten in Cloud-, Hybrid- und lokalen Umgebungen. Mit jahrzehntelanger Erfahrung in den Bereichen Datenmanagement und -analyse liefert Actian leistungsstarke Lösungen, die es Unternehmen ermöglichen, datengesteuerte Entscheidungen zu treffen. Actian wird von führenden Analysten anerkannt und wurde für seine Leistung und Innovation mit Branchenpreisen ausgezeichnet. Unsere Teams präsentieren bewährte Anwendungsfälle auf Konferenzen (z. B. Strata Data) und tragen zu Open-Source-Projekten bei. Im ActianBlog behandeln wir Themen wie Echtzeit-Dateneingabe, Datenanalyse, Data Governance, Datenmanagement, Datenqualität, Datenintelligenz und KI-gesteuerte Analysen.