Ein Beispiel für die Datenherkunft

Daten zirkulieren ständig im Informationsökosystem eines Unternehmens. Sie werden von Kunden erfasst, von Systemen generiert, durch Analysetools aufbereitet und schließlich zur Entscheidungsfindung herangezogen, die sich auf Umsatz, Compliance und Strategie auswirkt. Dennoch tun sich viele Teams schwer mit der Beantwortung einer Frage, die auf den ersten Blick einfach erscheint: Woher stammen diese Daten, und wie sind sie hierher gelangt? Genau hier kommt der Datenherkunftsnachweis ins Spiel.

Die Datenherkunft (Data Lineage) bietet Einblick in den Lebenszyklus von Daten – von ihrer Entstehung über jede Transformation und Weitergabe bis hin zu ihrem endgültigen Bestimmungsort. Sie macht die Datenpipeline einer transparenten, nachvollziehbaren Ressource. Um zu verstehen, warum dies wichtig ist und wie es in der Praxis funktioniert, ist es hilfreich, ein konkretes End-to-End-Beispiel durchzugehen.

Was ist Data Lineage?

Die Datenherkunft ist der dokumentierte Weg, den Daten beim Durchlaufen von Systemen, Prozessen und Transformationen nehmen. Sie beschreibt:

• Quellsysteme aus denen die Daten stammen.
• Transformationen die auf die Daten angewendet werden (wie Bereinigung, Aggregation oder Anreicherung).
• Zwischenlager- oder Verarbeitungsschichten.
• Endziele wie Berichte, Dashboards oder Maschinelles Lernen .

Die Datenherkunft kann visuell (als Flussdiagramme), technisch (als von Tools Metadaten ) oder narrativ (als Dokumentation) dargestellt werden. Im Kern beantwortet die Datenherkunft vier grundlegende Fragen:

1. Woher stammen die Daten?
2. Was ist dabei eigentlich daraus geworden?
3. Wo wird es heute verwendet?
4. Wer oder was hängt davon ab?

Warum die Datenherkunft wichtig ist

Bevor wir uns mit dem Beispiel befassen, sollten wir zunächst klären, warum die Datenherkunft so wichtig ist.

• Vertrauen und Genauigkeit: Analysten und Führungskräfte neigen eher dazu, Berichten zu vertrauen, wenn sie die Zahlen auf verlässliche Quellen zurückführen können.
• Fehlerbehebung und Auswirkungsanalyse: Wenn eine Kennzahl falsch erscheint, hilft die Herkunftsverfolgung den Teams dabei, schnell zu erkennen, wo möglicherweise Fehler entstanden sind.
• Compliance und Revision: Vorschriften verlangen oft von Unternehmen, dass sie nachweisen, wie mit sensiblen oder regulierten Daten umgegangen wird.
• Änderungsmanagement: Wenn sich ein Quellsystem oder eine Transformation ändert, zeigt die Herkunftsverfolgung auf, welche nachgelagerten Assets davon betroffen sein werden.

Vor dem Hintergrund dieser Vorteile wollen wir uns nun ein praktisches Beispiel ansehen.

Beispiel für eine Unternehmensgeschichte: Ein E-Commerce-Unternehmen

Stellen Sie sich ein E-Commerce-Unternehmen vor, das Produkte online verkauft. Die Geschäftsleitung sichtet ein tägliches dashboard den täglichen Gesamtumsatz, Anzahl der Bestellungensowie durchschnittlichen Bestellwert. Diese Kennzahlen beeinflussen die Marketingausgaben, die Bestandsplanung und die Berichterstattung an die Geschäftsleitung.

Hinter diesem dashboard eine komplexe Datenpipeline. Wir werden den Weg einer Kennzahl – des täglichen Gesamtumsatzes – von der Rohdatenquelle bis zum dashboard nachverfolgen.

Schritt 1: Datenherkunft im Quellsystem

Die Datenherkunft lässt sich bis zu dem Zeitpunkt zurückverfolgen, an dem die Daten erstmals erstellt wurden.

Quellsystem: Online-Transaktionsdatenbank

Wenn ein Kunde auf der Website eine Bestellung aufgibt, wird die Transaktion in einer relationalen Datenbank erfasst, die die E-Commerce-Anwendung unterstützt. Diese Datenbank enthält eine Tabelle namens „orders“ mit folgenden Feldern:

• Bestellnummer
• Kunden-ID
• Bestellzeitstempel
• Gesamtbetrag der Bestellung
• Währung
• Bestellstatus

In dieser Phase handelt es sich um Rohdaten, die für operative Zwecke genutzt werden. Sie spiegeln die Geschäftsaktivitäten in Echtzeit wider und sind für die Transaktionsverarbeitung optimiert, nicht für Analysen.

Anmerkung zur Abstammung

Die maßgebliche Quelle für Umsatzdaten ist das Feld „orders.order_total“ in der Transaktionsdatenbank.

Schritt 2: Datenextraktion über ETL oder ELT

Betriebssysteme werden für Analysezwecke selten direkt abgefragt. Stattdessen werden die Daten extrahiert und in eine Analyseumgebung übertragen.

Gewinnungsverfahren

Jede Stunde ruft ein automatisierter ETL-Job (Extract, Transform, Load) neue und aktualisierte Datensätze aus der Tabelle „Aufträge“ ab. Die Extraktionslogik umfasst:

• Aufträge auswählen, die seit dem letzten Durchlauf angelegt oder aktualisiert wurden.
• Testtransaktionen herausfiltern.
• Erfassung von Metadaten beispielsweise dem Zeitpunkt der Extraktion.

Die extrahierten Daten werden in einen Zwischenbereich eines Cloud -Warehouse geschrieben.

Anmerkung zur Abstammung

In diesem Schritt wird die erste Transformation eingeführt: das Herausfiltern von Testbestellungen. In den Herkunftsdatensätzen sollte festgehalten werden, welche Logik wann angewendet wurde.

Schritt 3: Einlesen der Daten in das Data Warehouse

Im Data Warehouse werden die extrahierten Daten in einer Staging-Tabelle, die häufig einen Namen wie „stg_orders“ trägt.

Zweck der Staging-Ebene

Die Staging-Ebene dient als nahezu unveränderte Kopie der Quelldaten mit minimalen Umwandlungen. Sie bietet:

• Eine stabile Momentaufnahme der Quelldaten.
• Ein Puffer zwischen den operativen Systemen und der Analyselogik.
• Ein Ort zur Vereinheitlichung grundlegender Formate.

In diesem Beispiel kann der Staging-Prozess:

• Zeitstempel in UTC umrechnen.
• Währungscodes in Großbuchstaben umwandeln.
• Stellen Sie sicher, dass numerische Felder einheitliche Datentypen verwenden.

Anmerkung zur Abstammung

Die Abstammung verknüpft in dieser Phase die Aufträge im Quellsystem mit der Tabelle „stg_orders“ im Data Warehouse, einschließlich der Details zu den Standardisierungsschritten.

Schritt 4: Umwandlung in ein bereinigtes Analysemodell

Anschließend werden die Daten in ein Modell umgewandelt, das für Analysen und Berichte ausgelegt ist.

Angewandte Geschäftslogik

Ein Transformationsjob erstellt eine Tabelle namens „fact_orders“. Bei diesem Vorgang werden umfassendere Geschäftsregeln angewendet, wie zum Beispiel:

• Es werden nur Bestellungen mit dem Status „ABGESCHLOSSEN“ oder „VERSANDT“ berücksichtigt.
• Umrechnung aller Auftragssummen in eine einheitliche Berichtswährung (z. B. USD) unter Verwendung von Wechselkursen.
• Rundung von Geldbeträgen auf zwei Dezimalstellen.

In dieser Phase wird „order_total“ zu „order_total_usd“.

Anmerkung zur Abstammung

Dies ist ein entscheidender Punkt bei der Auftragsverfolgung. Der Umsatzwert hängt nun nicht mehr nur vom ursprünglichen Auftragswert ab, sondern auch von Wechselkurstabellen und Statusfiltern. Die Auftragsverfolgung sollte diese Abhängigkeiten klar dokumentieren.

Schritt 5: Aggregation der täglichen Kennzahlen

Führungskräfte befassen sich nicht mit einzelnen Aufträgen, sondern mit Zusammenfassungen.

Aggregationslogik

Eine weitere Transformation fasst die Tabelle „fact_orders“ in einer täglichen Übersichtstabelle namens „daily_revenue“ zusammen.

Dieser Vorgang:

• Bestellungen nach Datum sortieren (abgeleitet aus `order_timestamp`)
• Summe von „order_total_usd“ für jeden Tag
• Zählt die eindeutigen „order_id“-Werte

Die daraus resultierende Tabelle enthält Felder wie:

• Bestelldatum
• Gesamtumsatz pro Tag
• Gesamtzahl der Bestellungen

Anmerkung zur Abstammung

Aus der Abfolge geht nun hervor, dass „total_daily_revenue“ aus der Summe von „order_total_usd“ abgeleitet wird, das wiederum aus dem ursprünglichen Feld „order_total“ stammt, auf das mehrere Transformationen angewendet wurden.

Schritt 6: Semantische Ebene und Geschäftsdefinitionen

Um Daten auch für nicht-technisch versierte Nutzer zugänglich zu machen, führen viele Organisationen eine semantische Ebene oder eine Metrikebene ein.

Definition der Metrik

Im Business Intelligence wird der „Gesamtumsatz pro Tag“ wie folgt definiert:

Die Summe von „total_daily_revenue“ aus der Tabelle „daily_revenue“, gefiltert nach dem ausgewählten Datumsbereich.

Diese Definition wird zusammen mit Metadaten den folgenden gespeichert:

• Eigentümer der Metrik
• Beschreibung
• Bildwiederholfrequenz

Anmerkung zur Abstammung

Die Rückverfolgbarkeit erstreckt sich über Tabellen und Spalten hinaus auf Kennzahlen und Definitionen. Dadurch wird sichergestellt, dass jeder versteht, wie ein KPI berechnet wird.

Schritt 7: Visualisierung in einem Führungs Dashboard

Schließlich wird die Kennzahl in einem dashboard für Führungskräfte angezeigt.

Dashboard

Auf dem dashboard :

• Ein Zeitreihendiagramm der täglichen Gesamteinnahmen.
• Vergleiche mit früheren Zeiträumen.
• Es wird eine Warnmeldung ausgegeben, wenn der Umsatz unter einen Schwellenwert fällt.

Führungskräfte können innerhalb weniger Minuten nach dem Aufrufen des dashboard auf der Grundlage dieser Zahlen Entscheidungen treffen.

Anmerkung zur Abstammung

Der letzte Schritt in der Abstammungsanalyse verknüpft die dashboard wieder mit der Metrikdefinition, der aggregierten Tabelle und schließlich mit den ursprünglichen Transaktionsdatensätzen.

Visualisierung der vollständigen Datenherkunft

Wenn wir das Beispiel visuell zusammenfassen, könnte die Abstammungslinie etwa so aussehen:

1. Bestelltabelle (Transaktionsdatenbank)
2. ETL-Extraktionsauftrag
3. stg_orders (Staging-Ebene)
4. fact_orders (bereinigtes und angereichertes Analysemodell)
5. daily_revenue (aggregierte Tabelle)
6. Definition der Kennzahl „Gesamtumsatz pro Tag“
7. dashboard Führungs dashboard

Jeder Pfeil zwischen diesen Schritten steht für eine Transformation oder Abhängigkeit, die dokumentiert und im Idealfall automatisch erfasst werden sollte.

Wie Lineage hilft, wenn etwas schiefgeht

Stellen Sie sich ein Szenario vor, in dem Führungskräfte feststellen, dass der tägliche Gesamtumsatz über Nacht plötzlich um 20 % sinkt.

Ohne Rückverfolgbarkeit verbringen Teams möglicherweise Stunden damit, zu raten. Mit Rückverfolgbarkeit:

• Analysten führen die Kennzahl auf die Tabelle „daily_revenue“ zurück und stellen fest, dass für das betreffende Datum weniger Datensätze vorhanden sind.
• Sie verfolgen die Abfolge stromaufwärts und stellen fest, dass die Filterreihenfolge der ETL-Job-Status aktualisiert wurde.
• Bei dem Update wurde versehentlich ein gültiger Statuswert ausgelassen, der von der E-Commerce-Anwendung eingeführt worden war.

Da die Abstammungsstruktur Abhängigkeiten klar aufzeigt, lässt sich die Grundursache schnell ermitteln und zuverlässig beheben.

Technische vs. geschäftliche Herkunft

Dieses Beispiel verdeutlicht zwei sich ergänzende Arten von Abstammungslinien:

• Technische Zuordnung: Zuordnungen und Transformationen von Tabelle zu Tabelle sowie von Spalte zu Spalte.
• Geschäftliche Herkunft: Wie Geschäftskonzepte wie „Umsatz“ oder „Aufträge“ definiert und in Berichten verwendet werden.

Beides ist notwendig. Die technische Herkunft hilft Ingenieuren bei der Wartung von Pipelines, während die geschäftliche Herkunft den Beteiligten hilft, den Daten zu vertrauen und sie zu interpretieren.

Tools und Automatisierung

In der Praxis lässt sich die Abstammungslinie erfassen:

• Manuell, mithilfe von Dokumentation (fehleranfällig und schwer zu pflegen).
• Halbautomatischunter Verwendung von Metadaten ETL- und BI-Tools.
• Vollautomatischunter Verwendung moderner Data-Lineage- und Datenkatalog .

Je stärker die Abstammungslinie automatisiert ist, desto wahrscheinlicher ist es, dass sie auch bei Weiterentwicklungen der Systeme korrekt bleibt.

Wie die Actian Data Intelligence-Plattform die Datenherkunft Actian Data Intelligence-Plattform

Dieses Beispiel für die Datenherkunft zeigt, dass selbst eine scheinbar einfache Kennzahl wie der „Gesamtumsatz pro Tag“ von einer langen Kette aus Systemen, Transformationen und Definitionen abhängt. Die Datenherkunft macht diese Kette sichtbar. Indem sie Daten von ihrem Ursprung in einer Transaktionsdatenbank bis zu ihrer endgültigen Darstellung in einem dashboard für Führungskräfte nachverfolgt, schafft die Datenherkunft Vertrauen, beschleunigt die Fehlerbehebung, unterstützt die Einhaltung von Vorschriften und ermöglicht Entscheidungsfindung intelligentere Entscheidungsfindung.

Um zu erfahren, wie die Actian Data Intelligence-Plattform Einhaltung von Data Governance Actian Data Intelligence-Plattform und die Datenherkunft nachverfolgt, fordern Sie noch heute eine individuelle Vorführung an.

Über den Autor

Über Actian Germany GmbH

Actian ermöglicht es Unternehmen, Daten in großem Umfang sicher verwalten zu steuern. Unternehmen vertrauen auf Datenmanagement Data-Intelligence-Lösungen von Actian, um komplexe Datenumgebungen zu optimieren und die Bereitstellung von KI-fähigen Daten zu beschleunigen. Die auf Flexibilität ausgelegten Lösungen von Actian lassen sich nahtlos integrieren und arbeiten zuverlässig in On-Premises, Cloud und Hybridumgebungen. Erfahren Sie mehr über Actian, den Daten- und KI-Geschäftsbereich von HCL Software, unter actian.com.