Blog | Datenstrategie & Erkenntnisse | | 3 Minuten Lesezeit

Datenherkunft in einer „ Big Data “-Umgebung: So lässt sie sich visualisieren

data-lineage

Wichtigste Erkenntnisse

  • Die Datenherkunft ist eine detaillierte Darstellung der Daten im Zeitverlauf: ihre Herkunft, ihre Verarbeitungsprozesse und ihre Umwandlungen.
  • Big Data hat eine zentralisierte Abstammungsverfolgung erschwert, da sich die Daten mittlerweile über viele Technologien und Speichersysteme verteilen.
  • Ein „ Datenkatalog “ bündelt die „ Metadaten “-Daten aus allen Speichersystemen, sodass Sie die Herkunft der Daten an einem Ort visualisieren können.
  • DatensatzDie „-level“-Abstammungslinie zeigt die Prozesse und Datensätze, aus denen das endgültige „ Datensatz “ entstanden ist.
  • Die Herkunftsangabe auf Spaltenebene zeigt, durch welche Spalten und Aktionen ein bestimmtes Feld erstellt wurde.

Die Datenherkunft ist eine Form des Datenlebenszyklus. Sie ist eine detaillierte Darstellung aller Daten im Zeitverlauf: ihrer Herkunft, ihrer Verarbeitungsprozesse und ihrer Transformationen. Auch wenn es sich hierbei nicht um ein völlig neues Konzept handelt, findet derzeit ein Paradigmenwechsel statt.

Warum ist die Rückverfolgbarkeit von Daten in einer „ Big Data “-Umgebung schwieriger?

Früher war es ein Kinderspiel, die Datenherkunft aus einem Data Warehouse abzurufen Aufgabe. Da ein Data Warehouse ein zentraler Speicherort ist, konnte man die Datenherkunft aufgrund der Konzeption direkt aus den an einem Ort gespeicherten Daten ableiten.

Das Datenökosystem hat sich seit dem Aufkommen von Big Data, da neue Technologien und Speichersysteme die Informationssysteme von Unternehmen komplexer gemacht haben. Es ist mittlerweile unmöglich geworden, ein einziges zentralisiertes Tool unternehmensweit durchzusetzen. Die Software und Methoden, die Unternehmensarchitekten in der „alten Welt“ verwendeten, lassen sich immer schwerer warten, wodurch ihre Arbeit veraltet und unlesbar geworden ist.

Wie lässt sich die Datenherkunft in einer „ Big Data “-Umgebung visualisieren?

Um einen umfassenden Überblick über die Daten eines Unternehmens zu erhalten, entstehen derzeit neue Tools. Eines davon ist das Datenkatalog. Es verarbeitet die größtmögliche Menge an „ Metadaten “ aus allen Datenspeichern über eine „ Nutzer “-freundliche Oberfläche. Durch die Zentralisierung dieser Informationen können Sie in einer „ Big Data “-Umgebung auf zwei Ebenen eine Datenherkunft (Data Lineage) aufbauen.

Abstammung Datensatz Abstammung auf Spaltenebene
Was es zeigt Die Verfahren und Datensätze, aus denen das Endergebnis hervorgegangen ist Datensatz Die Entwicklungsphasen eines „ Datensatz “ als Zeitleiste der Maßnahmen und Ereignisse
Beispielquellen Eine Tabelle in Oracle, ein Thema in Kafka oder ein Verzeichnis im Daten-Lake Ein bestimmtes Feld, das Sie auswählen
Was Sie lernen Welche Prozesse und Datensätze haben zu diesem Ergebnis geführt? Welche Spalten und Aktionen haben dieses Feld erstellt?
Grenzwert Beantwortet keine Fragen zu sensiblen Daten oder dazu, welche Spalten erstellt wurden und durch welche Prozesse Detaillierter, sodass diese Fragen beantwortet werden

Auf der Ebene „ Datensatz “

Ein „ Datensatz “ kann eine Tabelle in Oracle, ein Topic in Kafka oder ein Verzeichnis im „ Daten-Lake “ sein. Ein „ Datenkatalog “ verdeutlicht die Prozesse und Datensätze, die die Erstellung des endgültigen „ Datensatz “ ermöglicht haben.

Dieser Standard zur Datenherkunft allein reicht jedoch nicht aus, um den Datennutzern Antworten auf alle ihre Fragen zu liefern. Unter anderem bleiben folgende Fragen offen: Wie verhält es sich mit sensiblen Daten? Welche Spalten wurden erstellt und mit welchen Prozessen?

Auf Spaltenebene

Ein detaillierterer Ansatz besteht darin, die verschiedenen Transformationsphasen eines „ Datensatz “ als Zeitleiste mit Aktionen und Ereignissen darzustellen. Durch Auswahl eines bestimmten Feldes können Benutzer sehen, durch welche Spalten und Aktionen es erstellt wurde.

Wie sieht die Datenherkunft heute aus?

Actian Data Intelligence-Plattform erfasst die Datenherkunft automatisch in Umgebungen von Cloud und On-Premises und verknüpft sie mit einem föderierten Wissensgraphen, sodass Datenherkunft, Glossarbegriffe, Verantwortliche und Richtlinien demselben Asset zugeordnet sind. Die intelligente Datenherkunft visualisiert den durchgängigen Datenfluss für Auswirkungsanalysen, die Rückverfolgung von Ursachen und eine aktuelle Dokumentation.

Einen umfassenden Überblick erhalten Sie im Artikel „Data Lineage: Ein umfassender Leitfaden für Unternehmensteams“.