Bewährte Verfahren zur Datenherkunftsverfolgung für Governance-Programme

Datenherkunft ist nur dann von Nutzen, wenn sie vertrauenswürdig ist. Eine Herkunftskarte, die unvollständig ist, manuell gepflegt wird oder sechs Monate alt ist, vermittelt den Teams ein falsches Gefühl der Sicherheit – sie glauben, die Datenflüsse zu verstehen, doch die Karte entspricht nicht der Realität. Unternehmen, die die Datenherkunft richtig handhaben, betrachten sie als operatives System und nicht als reine Dokumentationsaufgabe.

Dieser Leitfaden behandelt die Vorgehensweisen, die die Datenherkunft innerhalb eines breiteren Kontexts zuverlässig, skalierbar und verwertbar machen Data Governance .

Warum die Datenherkunft für die Governance von grundlegender Bedeutung ist

Unter „Datenherkunft“versteht man die lückenlose Aufzeichnung Weges, den ein Datenelement von seiner ursprünglichen Quelle über alle Transformationen, Pipeline-Schritte und Systeme bis hin zu seinem endgültigen Ziel in einem Bericht, Modell oder einer operativen Anwendung zurücklegt.

Im Rahmen von Governance-Programmen erfüllt die Herkunftsverfolgung drei unterschiedliche Zwecke:

Compliance. Vorschriften wie die DSGVO, der CCPA, der HIPAA und der SOX verlangen von Unternehmen, dass sie nachweisen, woher Daten stammen, wie sie verarbeitet werden und wer in jeder Phase Zugriff darauf hat. Lineage ist die Nachweisschicht, die diese Nachweise ohne manuelle Rekonstruktion ermöglicht.

Auswirkungsanalyse.Bevorein Schema geändert, ein Datensatz stillgelegt oder eine Pipeline angepasst wird, müssen die Teams wissen, welche nachgelagerten Komponenten davon betroffen sind. Lineage beantwortet diese Frage innerhalb von Sekunden, sodass die Entwickler die Abhängigkeiten nicht mehr manuell nachverfolgen müssen.

Vertrauen. Wenn ein Analyst in einem Bericht einen unerwarteten Wert entdeckt, lässt sich dieser dank der Datenherkunft bis zur genauen Quelltabelle und der Transformation zurückverfolgen, aus der er hervorgegangen ist. Ohne diese Rückverfolgbarkeit müssen Datenverbraucher entweder Werte akzeptieren, die sie nicht überprüfen können, oder Tage damit verbringen, diese manuell zu untersuchen.

Beginnen Sie mit den kritischen Datenbereichen, nicht mit allem

Der häufigste Fehler bei der Umsetzung der Lineage besteht darin, jeden Datenfluss über alle Systeme hinweg auf einmal abbilden zu wollen. Das Ergebnis ist ein unübersichtlicher, nur teilweise vollständiger Lineage-Graph, dem niemand vertraut und den niemand pflegt.

Ein effektiverer Ansatz: Ermitteln Sie die Datenbereiche, in denen Fehler bei der Datenherkunft die höchsten geschäftlichen Kosten verursachen, und beginnen Sie dort.

• Daten für aufsichtsrechtliche Meldungen – Jeder Datensatz in einen Compliance-Bericht, einen Jahresabschluss oder einen Prüfungsbericht einfließt. Die Rückverfolgbarkeit ist in diesem Zusammenhang oft eine aufsichtsrechtliche Anforderung und nicht nur eine bewährte Vorgehensweise.
• Stammdaten — Kunden-, Produkt-, Lieferanten- und Mitarbeiterdaten, die in mehreren Systemen verwendet werden. Die Rückverfolgbarkeit von Stammdaten ermöglicht es, Qualitätsprobleme bis zu ihrer Quelle zurückzuverfolgen und systemübergreifend einheitliche Definitionen durchzusetzen.
• Training KI und ML — Modelle, die auf Daten mit undokumentierter Herkunft trainiert wurden, lassen sich nur schwer überprüfen und können nicht zuverlässig reproduziert werden. Die Rückverfolgbarkeit von Training ist die Grundlage für verantwortungsvolle KI.
• Führungskräfte-Dashboards und KPIs — Die Berichte, die Entscheidungen vorantreiben. Wenn Führungskräfte den Zahlen vertrauen, dann ist es die Herkunft der Daten, die dieses Vertrauen begründet hat.

Sobald die Abstammungsanalyse in Bereichen mit hoher Priorität etabliert ist und funktioniert, lässt sich die Abdeckung schneller auf umfangreichere Datensätze ausweiten, da die entsprechenden Werkzeuge, Prozesse und Organisationsstrukturen bereits vorhanden sind.

Erfassung der Herkunftsdaten automatisieren – manuelle Dokumentation ist nicht skalierbar

Die manuelle Dokumentation von Datenherkünften – Tabellenkalkulationen, Wiki-Seiten, manuell gepflegte Datenflussdiagramme – ist nur von kurzer Dauer. Sie wird in dem Moment ungenau, in dem sich eine Pipeline ändert, eine neue Quelle hinzugefügt oder eine Transformation angepasst wird. Bei den Datenmengen, die in Unternehmen anfallen, lässt sich ohnehin nie eine vollständige Abdeckung erreichen.

Die automatisierte Erfassung von Abstammungsdaten beseitigt dieses Problem, indem die Abstammungsdaten direkt aus den Systemen extrahiert werden, in denen sie entstehen:

• SQL-Parsing – Ermittlung der Herkunft aus abfragen , Transformationsskripten und gespeicherten Prozeduren
• Pipeline Metadaten – Auslesen der Abfolge aus Orchestrierung wie dbt, Airflow oder Spark-Job-Protokollen
• Native Konnektoren — Integration mit Data Warehouses, Cloud und BI-Tools, die über ihre APIs Datenherkunftsinformationen bereitstellen
• Analyse auf Code-Ebene — Erfassung der Herkunft aus CI/CD-Pipelines und versionsverwaltetem Transformationscode

Das Ergebnis ist eine Datenherkunft, die sich bei Systemänderungen automatisch aktualisiert, anstatt nach jeder Änderung an der Pipeline manuell gepflegt werden zu müssen. Das ist der Unterschied zwischen einer Datenherkunft, die den aktuellen Zustand der Datenflüsse widerspiegelt, und einer Datenherkunft, die zeigt, wie die Datenflüsse aussahen, als die Dokumentation zuletzt aktualisiert wurde.

Implementierung einer durchgängigen Rückverfolgbarkeit über den gesamten Daten-Stack hinweg

Eine unvollständige Datenverfolgbarkeit – die sich nur auf die Data-Warehouse-Ebene, nur auf die ETL-Ebene oder nur auf die BI-Ebene beschränkt – führt zu blinden Flecken, die den Kernwert des Programms untergraben. Ein Compliance-Beauftragter, der Daten vom Data Warehouse bis zum Bericht nachverfolgen kann, nicht jedoch vom Quellsystem bis zum Data Warehouse, kann die Frage der Aufsichtsbehörde nach der Herkunft der Daten nicht beantworten.

Die durchgängige Herkunftsverfolgung verbindet:

• Quellsysteme — Die Datenbanken, APIs, SaaS-Anwendungen und Dateien, aus denen die Daten stammen.
• Erfassungsschicht — Wie Daten von den Quellen in die Datenplattform gelangen.
• Transformationsschicht — Alle auf die Daten angewendeten Verknüpfungen, Filter, Aggregationen und Geschäftsregeln.
• Speicherschicht — Tabellen, Schemata und Datensätze im Data Warehouse oder Lakehouse.
• Verbrauchsebene — Die Berichte, Dashboards, Modelle und Anwendungen, die die Daten nutzen.

Jede Ebene sollte mit der nächsten verknüpft sein, sodass jedes Element in der Kette in beide Richtungen zurückverfolgt werden kann – stromaufwärts bis zu seiner Quelle und stromabwärts bis zu seinen Verbrauchern. Diese bidirektionale Rückverfolgbarkeit macht sowohl die Wirkungsanalyse als auch die Ermittlung der Grundursachen praktikabel.

Richtlinien und Tags werden automatisch nachgelagert

Eine der wirkungsvollsten Anwendungen von Lineage in einem Governance-Programm ist die Weitergabe von Richtlinien. Wenn eine Sensitivitätsklassifizierung auf eine Quellspalte angewendet wird – beispielsweise ein PII-Tag, eine HIPAA-Kennzeichnung oder eine Vertraulichkeitskennzeichnung –, sollte diese Klassifizierung automatisch auf alle daraus abgeleiteten nachgelagerten Assets übertragen werden.

Ohne Datenherkunftsmapping müssen alle Tabellen, Ansichten, Berichte und Modelle, die Daten aus der markierten Quelle übernehmen, manuell identifiziert und die Klassifizierung einzeln angewendet werden. Mit Datenherkunftsmapping erfolgt dies in einem einzigen Vorgang, den das Governance-System automatisch ausführt.

Das gleiche Prinzip gilt fürDatenqualitätsregeln, Aufbewahrungsrichtlinien und Zugriffskontrollen. Die Datenherkunft (Lineage) ist der Mechanismus, der sicherstellt, dass an der Quelle getroffene Governance-Entscheidungen korrekt durch die gesamte Datenlandschaft weitergegeben werden, ohne dass eine manuelle Nachverfolgung erforderlich ist.

Verbinden Sie Lineage mit Ihrem Datenkatalog Ihrer Qualitätsüberwachung

Die Versionshistorie ist am wertvollsten, wenn sie in die anderen Komponenten einesMetadaten integriert ist, anstatt als eigenständiges System geführt zu werden.

Lineage +Datenkatalog:Wenn die Herkunftsdaten im Katalog angezeigt werden, Datensatz Nutzer, die nach einem Datensatz suchen, sofort erkennen, woher dieser stammt, welche Transformationen daran vorgenommen wurden und welche Daten davon abhängen – ohne die Suchoberfläche verlassen zu müssen. Dadurch wird der Katalog zu einem wirklich nützlichen Governance-Tool und ist nicht nur ein statisches Verzeichnis.

Lineage + Qualitätsüberwachung: Wenn eine automatisierte Qualitätsprüfung eine Anomalie feststellt, ermittelt die Herkunftsverfolgung, wo nach der Ursache gesucht werden muss. Ein unerwarteter Rückgang der Vollständigkeitsrate einer Spalte ist ein Warnsignal; die Herkunftsverfolgung gibt Aufschluss darüber, ob das Problem im Quellsystem, in der Erfassungspipeline oder in einem Transformationsschritt entstanden ist.

Lineage +Geschäftsglossar:Durch die Verknüpfung von Lineage-Datensätzen mit Glossarbegriffen lässt sich nicht nur nachvollziehen, wohin Daten fließen, sondern auch, wo bestimmte Geschäftsbegriffe – wie „Umsatz“, „aktiver Kunde“ oder „Kundenabwanderung“ – im gesamten Unternehmen definiert, berechnet und verwendet werden.

Zuweisung von Eigentumsrechten entlang der Abstammungskette

Die Abhängigkeitsstruktur deckt Abhängigkeiten auf, die häufig Teamgrenzen überschreiten. Ein Bericht, für den das Finanzteam verantwortlich ist, hängt von einer Transformation ab, für die das Data-Engineering-Team zuständig ist, die wiederum Daten aus einem Quellsystem bezieht, das dem Vertriebsteam untersteht. Wenn etwas nicht mehr funktioniert, führt die Unklarheit hinsichtlich der Zuständigkeiten dazu, dass aus einem behebbaren Problem ein langwieriger Vorfall wird.

Dokumentieren Sie für jeden kritischen Abstammungspfad Folgendes:

• Welches Team ist für den jeweiligen Knoten in der Kette verantwortlich (Quellsystem, Pipeline, Datensatz, Bericht)?
• An wen man sich wenden muss, wenn in der jeweiligen Phase ein Qualitätsproblem festgestellt wird.
• Wie sieht der Eskalationspfad aus, wenn ein vorgelagerter Verantwortlicher nicht reagiert?

Daten-Stewardship Programme, die Datenverwalter Domänenebene statt nur Datenverwalter Asset-Ebene zuweisen, lösen dieses Problem eleganter – ein Domänen-Steward koordiniert teamübergreifend, anstatt dass der nachgelagerte Nutzer die vorgelagerten Eigentümer einzeln kontaktieren muss.

Messung der Lineage-Abdeckung als Governance-KPI

Lineage-Programme, die ihre eigene Abdeckung nicht nachverfolgen, neigen dazu, im Laufe der Zeit Lücken zu entwickeln – neue Pipelines werden ohne Lineage-Integration aufgebaut, Quellsysteme werden ohne Konnektoren hinzugefügt, und die Kluft zwischen dokumentierten und tatsächlichen Datenflüssen vergrößert sich unbemerkt.

Erfassen und melden:

• Erfassungsquote — Wie viel Prozent der kritischen Datenbestände verfügen über eine dokumentierte Herkunftsnachweise, die innerhalb der letzten 30 Tage aktualisiert wurden?
• Vollständigkeit über die gesamte Lieferkette — Wie viel Prozent der kritischen Abstammungspfade sind von der Quelle bis zum Verbrauch vollständig, ohne unterbrochene Verknüpfungen?
• Aktualität — Wie aktuell die Abstammungsdaten für die jeweilige Domain sind
• Zuweisungsrate von Vorfällen — Wie hoch ist der prozentuale Anteil der Datenqualitätsvorfälle, bei denen die Ursache mithilfe der Datenherkunft ermittelt und der Vorfall damit behoben werden konnte, im Vergleich zu den Fällen, in denen eine manuelle Untersuchung erforderlich war?

Diese Kennzahlen machen den Zustand des Lineage-Programms für Datenverantwortliche und die Governance-Führung sichtbar und schaffen Druck, Lücken in der Abdeckung zu schließen, bevor sie zu Vorfällen führen.

Zusammenfassung

Datenherkunft ist keine Funktion – sie ist eine betriebliche Disziplin. Unternehmen, die daraus echten Nutzen ziehen, behandeln sie genauso wie jede andere Governance-Maßnahme: wo möglich automatisiert, klaren Verantwortlichen zugewiesen, kontinuierlich gemessen und in den Rest der Data Governance und desMetadaten .

Die oben genannten Vorgehensweisen bilden die Grundlage für ein Lineage-Programm, das Vertrauen schafft, anstatt es einzufordern – ein Programm, bei dem sich Datennutzer, Compliance-Beauftragte und Entwicklerteams gleichermaßen auf die Lineage verlassen können, um ihre Fragen präzise zu beantworten, da das System, das sie verwaltet, den tatsächlichen Zustand der Datenflüsse widerspiegelt und nicht nur eine Momentaufnahme aus der Zeit, als zuletzt eine Tabelle aktualisiert wurde.

Weitere Informationen zu den Grundlagen der Datenverwaltung finden Sie im„Enterprise Guide to Data Lineage“, im„Enterprise Guide to Data Governance“ und im„Enterprise Guide to Metadaten “.

Über den Autor

Über Actian Germany GmbH

Actian ermöglicht es Unternehmen, Daten in großem Umfang sicher verwalten zu steuern. Unternehmen vertrauen auf Datenmanagement Data-Intelligence-Lösungen von Actian, um komplexe Datenumgebungen zu optimieren und die Bereitstellung von KI-fähigen Daten zu beschleunigen. Die auf Flexibilität ausgelegten Lösungen von Actian lassen sich nahtlos integrieren und arbeiten zuverlässig in On-Premises, Cloud und Hybridumgebungen. Erfahren Sie mehr über Actian, den Daten- und KI-Geschäftsbereich von HCL Software, unter actian.com.