Was ist Daten-Discovery?

Einleitung

Das Auffinden von Daten in einem modernen Unternehmen ist kein Suchproblem. Es ist ein Vertrauensproblem. Jeder Analyst mit einem abfragen kann eine Tabelle ausfindig machen. Was ihm jedoch nicht ohne Weiteres gelingt, ist festzustellen, ob diese Tabelle korrekt ist, wem sie gehört, wann sie zuletzt aktualisiert wurde, woher sie stammt oder ob er zur Nutzung berechtigt ist. Daten-Discovery die Methode, dieses Problem systematisch zu lösen – indem Datensätze mit den Metadaten, der Herkunft, den Qualitätsindikatoren und dem Governance-Kontext verknüpft werden, die sie nutzbar machen. Die Begriffe in diesem Glossar definieren die Fähigkeiten Komponenten, die Daten-Discovery im Unternehmen in großem Maßstab ermöglichen.

Kernkonzept

Was ist Daten-Discovery?

Daten-Discovery der Prozess des Auffindens, Verstehens und Bewertens von Datenbeständen über die Systeme, Plattformen und Geschäftsbereiche eines Unternehmens hinweg. Er ermöglicht es Analysten, Ingenieuren und Geschäftsanwendern, relevante Datensätze zu lokalisieren, deren Qualität und Herkunft zu bewerten und festzustellen, ob ein bestimmter Datenbestand für einen konkreten use case geeignet ist use case Analysen, Berichterstellung, Maschinelles Lernen oder Compliance.

In kleineren Datenumgebungen erfolgte die Datenermittlung informell. Ein Dateningenieur wusste, wo sich alles befand. In einer Tabellenkalkulation wurden die wichtigen Tabellen erfasst. Ein Analyst schickte eine Slack-Nachricht, wenn er Hilfe beim Suchen benötigte. Dieses Modell funktioniert nicht mehr, sobald ein Unternehmen die Schwelle von einigen hundert Datensätzen und einer Handvoll Datenquellen überschreitet. Danach führt der informelle Ansatz zu Inkonsistenzen: Verschiedene Teams verwenden unterschiedliche Versionen derselben Kennzahl, Berichte basieren auf Daten, die seit zwei Jahren nicht mehr aktualisiert wurden, und Entscheidungen werden auf der Grundlage von Zahlen getroffen, deren Herkunft niemand erklären kann.

Die moderne Datenermittlung in Unternehmen basiert auf vier miteinander verbundenen Ebenen. Metadaten den beschreibenden Kontext dazu, was ein Datensatz . Die Herkunftsverfolgung dokumentiert, woher er stammt und wie er sich verändert hat. Qualitätsindikatoren geben den Nutzern Auskunft darüber, ob die Daten in Ordnung sind. Der Governance-Kontext gibt ihnen Auskunft darüber, ob und unter welchen Bedingungen sie die Daten nutzen dürfen. Wenn diese Ebenen integriert und auf dem neuesten Stand gehalten werden, wandelt sich die Datenermittlung von einer manuellen Aufgabe einer geführten, kontextbezogenen Erfahrung.

Das Geschäftsergebnis sind Self-Service , die tatsächlich skalierbar sind. Teams finden Daten, ohne ein Ticket eröffnen zu müssen. Datenprobleme werden aufgedeckt, bevor sie in einen Bericht gelangen. Das zentrale Datenteam muss nicht mehr die Hälfte seiner Zeit damit verbringen, Fragen danach zu beantworten, wo sich bestimmte Informationen befinden.

Discovery ist keine eigenständige Funktion. Es ist die sichtbare Oberfläche einer umfassenderen Datenintelligenz-Architektur und nur so gut wie die zugrunde liegende Infrastruktur Metadaten, Datenherkunft, Qualität und Governance.

Begriffe im Glossar

Aktive Metadaten

Metadaten kontinuierlich aktualisiert, angereichert und in Echtzeit verarbeitet werden, Echtzeit die Daten durch Pipelines und Systeme fließen. Im Gegensatz zu statischen oder passiven Metadaten die zu einem bestimmten Zeitpunkt erfasst und manuell aktualisiert werden – Metadaten aktive Metadaten den aktuellen Zustand eines Datenbestands Metadaten : seine Aktualität, seinen Qualitätsstatus, die jüngsten Nutzungsmuster und seine Beziehungen zu anderen Beständen.

In der Praxis Metadaten es gerade Metadaten aktiven Metadaten , die einen Katalog zu einem nützlichen Werkzeug machen und nicht nur zu einer reinen Zierde. Ein auf passiven Metadaten basierender Katalog Metadaten Ihnen, wo sich eine Tabelle befindet. Ein auf aktiven Metadaten basierender Katalog Metadaten Ihnen, wo sie sich befindet, ob sie heute Morgen aktualisiert wurde, wer sie letzte Woche abgefragt hat und ob sich ihr Schema so geändert hat, dass ein nachgelagerter Bericht nicht mehr funktioniert.

„Aktive Metadaten der Mechanismus, der hinter intelligenten Empfehlungen, automatisierten Qualitätswarnungen und der nutzungsbasierten Rangfolge in den Suchergebnissen steht. Sie sind es, die einen lebendigen Katalog von einem indexierten Bestand unterscheiden.

Verwandte Begriffe: Metadaten, Metadaten , Datenkatalog, Beobachtbarkeit

Geschäftsglossar

Ein gemeinsames Lager vereinbarter Definitionen Lager geschäftliche Begriffe und Konzepte, Lager auf Organisationsebene verwaltet wird. Ein Geschäftsglossar , was Begriffe wie „aktiver Kunde“, „Umsatz“ oder „Abwanderungsrate“ für eine bestimmte Organisation bedeuten, und verknüpft diese Definitionen mit den technischen Datensätzen und Spalten, die sie umsetzen.

Das Glossar bildet die Übersetzungsebene zwischen der Sprache, die die Datenteams verwenden (Tabellennamen, Spaltenbezeichnungen, Schemastrukturen), und der Sprache, die die Geschäftsanwender nutzen (KPIs, Dimensionen, Geschäftseinheiten). Ohne das Glossar liefert die Suche Ergebnisse, die Analysten ohne zusätzliche Hilfe nicht interpretieren können, und ein und derselbe Geschäftsbegriff wird von den verschiedenen Teams unterschiedlich definiert.

Ein gut gepflegtes Geschäftsglossar die Kosten für die Einarbeitung neuer Analysten, begrenzt die Verbreitung widersprüchlicher Kennzahlen und macht Governance-Richtlinien für die Verantwortlichen, die diese befolgen müssen, verständlich. In Organisationen, die Data Mesh oder föderierte Governance praktizieren, Geschäftsglossar das Geschäftsglossar zum gemeinsamen Vertrag, der die Kohärenz domänenspezifischer Datenprodukte unternehmensweit gewährleistet.

Verwandte Begriffe: Metadaten , Data Governance, Daten-Stewardship, Datenkatalog

Datenkatalog

Das System, das Daten-Discovery ermöglicht. Ein Datenkatalog indexiert Datenbestände – Tabellen, Dateien, Dashboards, APIs, Modelle, Pipelines – zusammen mit ihren Metadaten, Eigentumsverhältnissen, Beziehungen und dem Governance-Status und macht sie unternehmensweit durchsuchbar und erkundbar.

Eine ausführliche Beschreibung, wie Kataloge aufgebaut sind und was sie indexieren, finden Sie unter „Was ist ein Datenkatalog?“.

Herkömmliche Kataloge waren im Wesentlichen Bestandsverzeichnisse: Listen von Objekten mit Beschreibungen, die von einem kleinen Team manuell gepflegt wurden. Die Einschränkungen lagen auf der Hand. Manuelle Pflege lässt sich nicht skalieren, Beschreibungen veralten, und ein Bestandsverzeichnis ohne Kontextinformationen sagt den Nutzern zwar, was vorhanden ist, aber nicht, was es bedeutet oder ob man sich darauf verlassen kann.

Moderne Datenkataloge basieren auf Metadaten automatisierten Metadaten , der Zuordnung von Beziehungen, aktiven Metadaten und der Integration von Governance-Maßnahmen. Sie verknüpfen Datensätze mit Geschäftsbegriffen, Verantwortlichen, Herkunftsdiagrammen, Qualitätsbewertungen und Zugriffsrichtlinien. Der Katalog ersetzt nicht die Datenermittlung – er ist vielmehr die Infrastruktur, auf der diese basiert.

Die Unterscheidung zwischen einem Katalog und der Recherche sollte beibehalten werden. Der Katalog ist das System. Die Recherche ist die Funktion, die das System ermöglicht. Eine Organisation kann zwar über einen Katalog verfügen, dennoch aber eine mangelhafte Recherche haben, wenn der Katalog unvollständig, veraltet oder nicht in die Governance und Qualitätssicherung eingebunden ist.

Verwandte Begriffe: Daten-Discovery, Metadaten, Metadaten , aktive Metadaten, Data Governance

Datenklassifizierung

Der Vorgang, bei dem Datenbestände oder Spalten entsprechend ihrer Art, ihrer Vertraulichkeitsstufe oder ihrem Verwendungszweck gekennzeichnet werden. Bei der Klassifizierung werden Daten unter anderem als personenbezogene Daten (PII), Finanzdaten, Gesundheitsdaten, vertrauliche Geschäftsinformationen oder öffentliche Daten gekennzeichnet.

Die Klassifizierung fließt direkt in die Suche ein, indem sie neben den Suchergebnissen auch Informationen zur Governance und zum Zugriffskontext anzeigt. Wenn ein Nutzer einen Datensatz Nutzer , zeigt ihm die Klassifizierung sofort an, ob dieser sensible Daten enthält, welche Zugriffskontrollen gelten und ob sein use case zulässig use case .

Die automatisierte Klassifizierung nutzt Mustererkennung, Maschinelles Lernen und Metadaten , um Daten bereits bei der Erfassung zu kennzeichnen, sodass keine manuelle Überprüfung erforderlich ist. Dies ist auf Unternehmensebene von entscheidender Bedeutung: Unternehmen mit Tausenden von Tabellen und Dutzenden von Datenquellen können ihre Datenbestände nicht einzeln klassifizieren. Ohne automatisierte Klassifizierung gelangen sensible Daten regelmäßig in Analyse-Workflows, in denen sie nichts zu suchen haben, und Governance-Teams haben keine zuverlässige Möglichkeit zu erkennen, welche Datenbestände geschützt werden müssen.

Verwandte Begriffe: Data Governance, Metadaten , Daten-Stewardship, Datenkatalog

Datenverträge

Formelle Vereinbarungen zwischen Datenproduzenten und Datennutzern, in denen Struktur, Semantik, Qualitätsstandards und Aktualisierungshäufigkeit eines Datenbestands festgelegt sind. Ein Datenvertrag definiert, was ein Datensatz , welche Form er hat, welche Qualität er garantiert und was geschieht, wenn er sich ändert.

Bei der Datensuche bieten Datenverträge eine Ebene expliziter Verpflichtungen, die Metadaten nicht leisten können. Metadaten , was ein Datensatz ist. Ein Vertrag legt fest, was er sein soll, wer für seine Pflege verantwortlich ist und wie die Nutzer benachrichtigt werden, wenn sich Änderungen ergeben. Nutzer, die einen Datensatz einem aktiven Vertrag finden, wissen, dass sie mit einer gepflegten Ressource arbeiten und nicht mit einer vergessenen Tabelle, die jemand für ein einmaliges Projekt erstellt hat.

Datenverträge haben an Bedeutung gewonnen, da Unternehmen zunehmend Data-Mesh-Muster einsetzen, bei denen Fachteams dafür verantwortlich sind, Datenprodukte für den Rest des Unternehmens bereitzustellen. Ohne solche Verträge sind diese Produkte lediglich undokumentierte Versprechen. Mit ihnen werden sie zu einer zuverlässigen Infrastruktur.

Verwandte Begriffe: Data Governance, Daten-Stewardship, Datenqualität, Data Mesh, Datenprodukte

Data Fabric

Ein Architekturmuster, das Daten über verteilte Systeme, Quellen und Umgebungen hinweg durch eine einheitliche Ebene aus Metadaten, Integration und Governance miteinander verbindet. Ein Data Fabric verschiebt nicht alle Daten an einen einzigen Ort. Es verbindet Daten dort, wo sie sich befinden, und macht sie so in Cloud, On-Premises und Hybridumgebungen zugänglich und steuerbar.

„Discovery“ im Kontext einer Data Fabric bedeutet, dass Nutzer Daten finden und nutzen können, unabhängig davon, wo diese physisch gespeichert sind. Die Fabric bildet das verbindende Element: konsistente Metadaten, gemeinsame Governance-Richtlinien, integrierte Herkunftsverfolgung und umgebungsübergreifende Suche. Ohne sie erfordert die Datensuche in einer verteilten Umgebung die individuelle Navigation durch jedes einzelne System, ohne dass ein gemeinsamer Kontext zwischen diesen Systemen besteht.

Data Fabric und Data Mesh sind zwar miteinander verwandt, unterscheiden sich jedoch voneinander. Data Fabric ist eine Technologiearchitektur. Data Mesh ist ein Organisations- und Zuständigkeitsmodell. Ein Unternehmen kann ein Data Fabric nutzen, um ein Data Mesh zu implementieren, doch die beiden Konzepte sind nicht dasselbe.

Verwandte Begriffe: Datenkatalog, Metadaten , Data Governance, Data Mesh, Data Lineage

Data Governance

Die Richtlinien, Standards, Rollen und Prozesse, die festlegen, wie Daten innerhalb einer Organisation verwaltet, geschützt und genutzt werden. Die Governance legt fest, wem Daten gehören, wer darauf zugreifen darf, wie lange sie aufbewahrt werden und welche Qualitätsstandards sie erfüllen müssen.

Governance und Datenermittlung sind in einer gut funktionierenden Datenorganisation untrennbar miteinander verbunden. Datenermittlung ohne Governance zeigt den Nutzern zwar, wo sich Daten befinden, gibt jedoch keinen Aufschluss darüber, ob sie diese nutzen dürfen oder ob sie den use case ihren use case Standards entsprechen. Governance ohne Datenermittlung bedeutet, dass Richtlinien zwar auf dem Papier existieren, aber nicht konsequent durchgesetzt werden können, da niemand einen vollständigen Überblick über die vorhandenen Datenbestände hat.

Integrierte Governance im Zusammenhang mit der Datenermittlung bedeutet, dass Zugriffsrichtlinien, Compliance-Kennzeichnungen, Aufbewahrungsregeln und Informationen zur Eigentümerschaft direkt in den Suchergebnissen und auf den Asset-Seiten angezeigt werden. Die Nutzer werden im Rahmen der Datenermittlung mit dem Governance-Kontext konfrontiert und müssen diesen nicht als separaten Prozess nachträglich einsehen. Das ist der Unterschied zwischen Governance, die Daten schützt, und Governance, die deren Nutzung ermöglicht.

Verwandte Begriffe: Daten-Stewardship, Datenklassifizierung, Datenkatalog, Geschäftsglossar, Datenverträge

Datenherkunft

Eine Aufzeichnung Herkunft, Aufzeichnung Bewegung und Aufzeichnung Veränderung eines Datenbestands im Zeitverlauf. Die Datenherkunft beantwortet die Frage: Woher stammen diese Daten, was ist mit ihnen geschehen und was hängt derzeit von ihnen ab?

Ein vollständiger Lineage-Graph zeigt die Quellsysteme, aus denen ein Datensatz gespeist wurde, die Pipelines und Transformationen, die er durchlaufen hat, die in jedem Schritt angewandte Logik sowie die nachgelagerten Berichte, Dashboards und Modelle, die ihn nutzen. Diese Aufzeichnung die Grundlage für das Vertrauen in die Daten: Ohne Lineage können Nutzer nicht beurteilen, ob ein Datensatz , was er angeblich widerspiegelt, und Datenteams können die Ursache eines Qualitätsproblems nicht diagnostizieren, ohne die Systeme manuell zurückzuverfolgen.

Die Datenherkunft lässt sich in zwei Richtungen verfolgen. Die vorgelagerte Datenherkunft gibt Aufschluss darüber, woher die Daten stammen. Dies ist wichtig, wenn Sie die Definition einer Kennzahl verstehen oder eine Anomalie zu ihrer Quelle zurückverfolgen möchten. Die nachgelagerte Datenherkunft gibt Aufschluss darüber, was von einem Datensatz abhängt. Dies ist wichtig, wenn Sie die Auswirkungen einer Schemaänderung oder eines Qualitätsproblems bewerten möchten, bevor diese einen Bericht erreichen.

Die Abstammungsanalyse auf Spaltenebene ist die präziseste Form: Anstatt Daten auf Tabellenebene nachzuverfolgen, wird hier die Transformation einzelner Felder von der Quelle bis zur Ausgabe verfolgt. Dieser Detaillierungsgrad ist besonders wertvoll in komplexen Pipelines, in denen eine einzelne Ausgabespalte durch eine Reihe von Verknüpfungen und Berechnungen aus mehreren vorgelagerten Quellen abgeleitet wird.

Verwandte Begriffe: Beobachtbarkeit, Datenqualität, Metadaten, Datenkatalog, Data Governance

Data Mesh

Ein organisatorisches und architektonisches Muster für die Verwaltung von Daten in großem Maßstab, bei dem die Verantwortung für Datenprodukte auf die Fachteams verteilt wird, die diese erstellen, anstatt sie in einem einzigen Data-Engineering- oder Plattformteam zu zentralisieren. Jedes Fachteam ist für die Veröffentlichung, Dokumentation und Pflege der Datenprodukte verantwortlich, die in seinen Zuständigkeitsbereich fallen.

Data Mesh verändert das Problem der Datenermittlung in zweierlei Hinsicht. Es erhöht die Anzahl der Datenproduzenten, was bedeutet, dass mehr Datenbestände zu finden sind. Außerdem dezentralisiert es die Zuständigkeiten, was bedeutet, dass bei der Datenermittlung neben den Daten selbst auch der Kontext hinsichtlich der Zuständigkeiten und Verantwortlichkeiten offengelegt werden muss. Nutzer müssen nicht nur wissen, dass ein Datensatz , sondern auch, welches Team dafür verantwortlich ist und wie sie dieses Team erreichen können.

Die föderierte Steuerung ist der Mechanismus, der die Kohärenz eines Data Mesh gewährleistet. Während die Fachteams über ihre Datenprodukte autonom entscheiden können, sorgen gemeinsame Steuerungsstandards, Interoperabilitätsanforderungen und eine zentrale Metadaten dafür, dass die Datenermittlung domänenübergreifend funktioniert und die Compliance-Anforderungen einheitlich erfüllt werden.

Verwandte Begriffe: Datenprodukte, Datenverträge, Data Governance, föderierte Governance, Datenkatalog

Data Observability

Kontinuierliche Überwachung von Datenpipelines, Datensätzen und Systemen zur Erkennung von Anomalien, Schemaänderungen, Aktualitätsproblemen und Qualitätseinbußen in Echtzeit. Beobachtbarkeit verschafft Datenteams Einblick in den Zustand ihrer Dateninfrastruktur, ohne dass manuelle Überprüfungen erforderlich sind.

Während es bei der Datenqualität darum geht, ob ein Datensatz definierte Standards Datensatz , Beobachtbarkeit darum, zu erkennen, wann dies nicht mehr der Fall ist. Ein Beobachtbarkeit überwacht Signale, die darauf hindeuten, dass sich etwas geändert hat: Eine Tabelle, die normalerweise stündlich aktualisiert wird, wurde seit sechs Stunden nicht mehr aktualisiert; eine Spalte, die niemals den Wert „null“ anzeigen sollte, weist zu 30 % den Wert „null“ auf; die Zeilenanzahl ist im Vergleich zum gleichen Zeitraum der Vorwoche um die Hälfte gesunken.

Im Rahmen der Erkundung speist BeobachtbarkeitQualitätssignale in Echtzeit in den Katalog ein. Wenn ein Nutzer einen Datensatz Nutzer , kann er dessen aktuellen Zustand, kürzlich aufgetretene Anomalien sowie etwaige aktive Vorfälle, die diesen betreffen, einsehen. Das ist der Unterschied zwischen einem Katalog, der Ihnen zeigt, was vorhanden ist, und einem, der Ihnen zeigt, was derzeit zuverlässig ist.

Verwandte Begriffe: Datenqualität, Datenherkunft, aktive Metadaten, Datenkatalog, Metadaten

Datenprodukte

Sorgfältig zusammengestellte und dokumentierte Datenbestände, die für die Nutzung innerhalb eines Unternehmens veröffentlicht werden und mit derselben Sorgfalt behandelt werden wie Softwareprodukte. Ein Datenprodukt verfügt über einen festgelegten Verantwortlichen, ein dokumentiertes Schema, einen festgelegten Qualitätsstandard, eine Versionsrichtlinie sowie einen Prozess zur Bearbeitung von Änderungen und deren Kommunikation an die Nutzer.

Das Konzept des Datenprodukts hat seinen Ursprung im Data Mesh, bei dem Fachteams für die Erstellung und Pflege der Daten verantwortlich sind, die in ihrem jeweiligen Fachbereich generiert werden. Das Konzept lässt sich jedoch allgemein anwenden: Jeder Datensatz zur gemeinsamen Nutzung veröffentlicht, mit ausreichendem Kontext dokumentiert wird, damit Nutzer ihn eigenständig bewerten und nutzen können, und gemäß definierten Standards gepflegt wird, ist in der Praxis ein Datenprodukt.

Datenprodukte sind die Einheiten der Informationssuche in einer ausgereiften Datenorganisation. Anstatt undifferenzierte Tabellen und Dateien zu durchsuchen, entdecken und abonnieren Nutzer Produkte – mit der Gewissheit, dass die von ihnen genutzten Inhalte verwaltet und unterstützt werden.

Die Plattform, über die Datenprodukte in großem Umfang veröffentlicht, gefunden und genutzt werden, ist einDatenmarktplatz.

Verwandte Begriffe: Data Mesh, Datenverträge, Datenkatalog, Data Governance, Daten-Stewardship

Datenprofilierung

Der Prozess der Analyse des Inhalts Datensatzzur Erstellung statistischer Zusammenfassungen und Qualitätsbewertungen: Zeilenanzahl, Nullwertquote, Werteverteilungen, Kardinalität, Minimal- und Maximalwerte, Musterabgleich für Formate wie Datumsangaben und E-Mail-Adressen sowie Abweichungen von erwarteten Bereichen.

Durch die Profilierung werden die Rohdaten generiert, auf deren Grundlage Qualitätsbewertungen erstellt werden. Ohne Profilierung ist Qualität eine Behauptung. Mit ihr wird Qualität zu einer Messgröße. Ein Datensatz als vollständig und korrekt ausgewiesen wird, kann anhand seiner tatsächlichen Nullwerte, der Häufigkeit von Ausreißern und Beständigkeit bewertet werden.

Im Discovery-Prozess werden die Ergebnisse der Profilerstellung als Qualitätsindikatoren auf den Asset-Seiten angezeigt. Ein Nutzer einen Datensatz Nutzer , Datensatz sofort erkennen, dass 12 % der E-Mail-Spalte ungültige Formate enthalten und 3 % der Spalte „Transaktions-ID“ den Wert „null“ aufweisen, und entscheiden, ob diese Anteile für seinen use case akzeptabel sind, use case er den Datensatz übernimmt.

Durch die automatisierte Profilerstellung bei der Erfassung sind die Qualitätsangaben stets auf dem neuesten Stand und nicht davon abhängig, dass jemand eine manuelle Überprüfung durchführt.

Verwandte Begriffe: Datenqualität, Beobachtbarkeit, Metadaten, Datenkatalog, aktive Metadaten

Datenqualität

Das Ausmaß, in dem ein Datensatz korrekt, vollständig, konsistent, aktuell und für den vorgesehenen Verwendungszweck geeignet Datensatz . Qualität lässt sich nicht anhand einer einzigen Kennzahl messen – sie umfasst eine Reihe von Aspekten, die im Hinblick auf einen bestimmten use case einen definierten Standard bewertet werden.

Die fünf Standard-Qualitätsdimensionen sind Genauigkeit (spiegeln die Daten das wider, was sie angeblich widerspiegeln?), Vollständigkeit (sind Pflichtfelder ausgefüllt?), Beständigkeit stimmen die Daten untereinander und mit verwandten Quellen überein?), Aktualität (sind die Daten für den use case aktuell genug?) und Gültigkeit (entsprechen die Daten den erwarteten Formaten und Bereichen?). Ein Datensatz bei einigen Dimensionen gut und bei anderen schlecht abschneiden, weshalb Qualitätsbewertungen auf Spalten- und Datensatz aussagekräftiger sind als ein einfacher „Bestanden“- oder „Nicht bestanden“-Status.

Qualität ist sowohl eine Voraussetzung für die Datenermittlung als auch ein Ergebnis derselben. Als Voraussetzung bestimmt sie, ob ein Datensatz nutzbar Datensatz . Als Ergebnis liefern die im Katalog bereitgestellten Qualitätsbewertungen und Profilzusammenfassungen den Nutzern die Informationen, die sie benötigen, um diese Entscheidung selbst zu treffen, ohne bei jeder Bewertung einen Dateningenieur hinzuziehen zu müssen.

Nach der Datenerfassung sind Qualitätsprobleme eine der häufigsten Ursachen für Analysefehler. Ein Bericht, der auf einem Datensatz versteckten Datenqualitätsproblemen basiert, liefert Zahlen, die zwar korrekt aussehen, es aber nicht sind. Die Kosten entstehen nicht durch den Bericht selbst, sondern durch die Entscheidungen, die auf seiner Grundlage getroffen werden.

Verwandte Begriffe: Datenprofilierung, Beobachtbarkeit, Datenherkunft, Metadaten , Data Governance

Daten-Stewardship

Die Zuweisung der Verantwortung für bestimmte Datenbestände an bestimmte Personen oder Teams sowie die mit dieser Rolle verbundenen Vorgehensweisen und Aufgaben. Datenverwalter die Richtigkeit der Metadaten, beheben Qualitätsprobleme, regeln Zugriffsanfragen, informieren die Nutzer über Änderungen und fungieren als Ansprechpartner bei Fragen zu den ihnen anvertrauten Datenbeständen.

Stewardship ist das, was die Governance in die Praxis umsetzt. Eine Governance-Richtlinie, die Standards für die Dateneigentümerschaft festlegt, ist ein Dokument. Stewardship ist die Praxis, mit der diese umgesetzt wird: Eine dafür benannte Person überprüft die Datenressource, aktualisiert deren Beschreibungen, verwaltet die Zugriffswarteschlange und genehmigt Schemaänderungen.

Im Bereich der Informationssuche sorgt die Verwaltung dafür, dass Suchergebnisse vertrauenswürdig sind. Ein Objekt mit einem aktiven Verwalter verfügt über einen dokumentierten Eigentümer, eine gepflegte Beschreibung, einen aktuellen Qualitätsstatus und einen Ansprechpartner für Rückfragen. Ein Objekt ohne Verwalter kann zwar korrekte Metadaten aufweisen, es kann aber auch sein, dass die Beschreibungen bereits vor drei Jahren verfasst und seitdem nie mehr überarbeitet wurden. Ohne Verwaltungsinformationen, die direkt im Katalog angezeigt werden, können Nutzer dies nicht erkennen.

Verwandte Begriffe: Data Governance, Geschäftsglossar, Metadaten , Datenprodukte, Datenkatalog

Föderierte Governance

Ein Governance-Modell, bei dem gemeinsame Standards, Richtlinien und Interoperabilitätsanforderungen organisationsweit gelten, während einzelne Bereiche die Autonomie über ihre eigenen Datenbestände und Produkte behalten. Federierte Governance ist der organisatorische Mechanismus, der die Kohärenz verteilter Datenarchitekturen gewährleistet.

In einem zentralisierten Governance-Modell definiert und setzt ein einziges Team alle Datenstandards durch. Dies funktioniert im kleinen Maßstab, versagt jedoch im großen Maßstab: Das zentrale Team kann mit dem Datenvolumen, der Anzahl der Domänen und der Geschwindigkeit, mit der sich die Dinge ändern, nicht Schritt halten. Bei der föderierten Governance wird die Verantwortung für die Durchsetzung auf die Domänenteams verteilt, während gleichzeitig eine gemeinsame Ebene gemeinsamer Standards beibehalten wird, die alle Domänen erfüllen müssen.

Im Hinblick auf die Suche bedeutet föderierte Governance, dass ein Nutzer domänenübergreifend Nutzer , darauf vertrauen kann, dass Metadaten , Qualitätsdefinitionen, Klassifizierungsschemata und Zugriffskontrollmodelle einheitlich sind, auch wenn die Teams, die die zugrunde liegenden Daten verwalten, unterschiedlich sind. Ohne diese Beständigkeit liefert die domänenübergreifende Suche Ergebnisse, die strukturell inkompatibel und in der Praxis unzuverlässig sind.

Verwandte Begriffe: Data Governance, Data Mesh, Daten-Stewardship, Datenverträge, Datenkatalog

Wissensgrafik

Eine Netzwerkstruktur, die Entitäten und die Beziehungen zwischen ihnen abbildet. Im Datenmanagement verbindet ein Wissensgraph Datensätze, Geschäftsbegriffe, Benutzer, Richtlinien, Herkunftspfade und Fachkonzepte zu einem abfragbaren Graphen, in dem die Beziehungen ebenso aussagekräftig sind wie die Knoten selbst.

Der Vorteil eines Wissensgraphen bei der Datensuche besteht darin, dass er eine kontextbezogene Navigation anstelle einer Stichwortsuche ermöglicht. Ein Nutzer in einem stichwortbasierten Katalog nach Kundendaten Nutzer , erhält eine Liste von Tabellen, deren Name das Wort „Kunde“ enthält. Ein Nutzer , der in einem durch einen Wissensgraphen unterstützten Katalog Nutzer , kann Beziehungen nachverfolgen: Dieser Datensatz dem CRM-Team, er implementiert den Geschäftsbegriff „aktiver Kunde“, er fließt in den vierteljährlichen Umsatzbericht ein und unterliegt der Richtlinie für personenbezogene Daten. Der Graph offenbart Zusammenhänge, die durch keine noch so umfangreiche Stichwortsuche ermittelt werden können.

Wissensgraphen dienen zudem als Grundlage für Empfehlungen und Wirkungsanalysen. Wenn eine Schemaänderung vorgeschlagen wird, kann der Graph alle nachgelagerten Nutzer ermitteln. Wenn ein Nutzer einen Datensatz Nutzer , kann der Graph verwandte Elemente anzeigen, die er wahrscheinlich benötigen wird. Diese Fähigkeiten ohne eine strukturierte Darstellung der Beziehungen nicht möglich.

Verwandte Begriffe: Metadaten, Metadaten , Datenkatalog, aktive Metadaten, Datenherkunft

Metadaten

Beschreibende Informationen zu einem Datenobjekt. Metadaten Anwendern und Systemen Metadaten , was ein Datensatz , woher er stammt, wem er gehört, in welchem Format er vorliegt, wann er zuletzt aktualisiert wurde, in welcher Beziehung er zu anderen Objekten steht und welchen Qualitäts- und Governance-Status er aufweist.

Es gibt mehrere Kategorien von Metadaten , die für Daten-Discovery Metadaten . Technische Metadaten die strukturellen Eigenschaften eines Assets: Schema, Datentypen, Zeilenanzahl, Dateigröße, Speicherort. Operative Metadaten das Laufzeitverhalten: Zeitstempel der letzten Aktualisierung, Verlauf der Pipeline-Läufe, Verarbeitungszeit, Auftragsstatus. Geschäftliche Metadaten Bedeutung und Eigentumsverhältnisse: Asset-Beschreibungen, Verknüpfungen zu Geschäftsbegriffen, Zuweisungen von Eigentumsrechten, Nutzungshinweise. Soziale Metadaten beobachtetes Verhalten: abfragen , Nutzer , Zugriffsprotokolle, nachgelagerte Nutzung.

Je mehr Kategorien von Metadaten ausgefüllt und auf dem neuesten Stand gehalten Metadaten , desto nützlicher wird die Datensuche. Ein Datensatz ausschließlich technischen Metadaten den Nutzern Metadaten , wo sich die Daten befinden und welche Form sie haben. Ein Datensatz vollständigen Metadaten allen vier Kategorien teilt den Nutzern hingegen mit, was die Daten bedeuten, ob sie genutzt werden können, ob sie derzeit fehlerfrei sind und ob andere Teams sie als nützlich empfunden haben. Der Unterschied zwischen diesen beiden Erfahrungen ist es, der eine funktionale Datensuche von einer rein dekorativen Katalogisierung unterscheidet.

Verwandte Begriffe: Metadaten , aktive Metadaten, Datenkatalog, Data Lineage, Datenprofilierung

Verwaltung von Metadaten

Die Praxis der Erfassung, Organisation, Pflege und Steuerung Metadaten einer unternehmensweiten Datenumgebung. Metadaten umfasst Metadaten aus Quellsystemen, deren Anreicherung mit geschäftlichem Kontext, die Aktualisierung bei Systemänderungen sowie die Steuerung zur Gewährleistung von Genauigkeit und Vollständigkeit.

Die größte Herausforderung beim Metadaten ist der Umfang. Ein Unternehmen mit Dutzenden von Quellsystemen, Tausenden von Tabellen und Hunderten von aktiven Pipelines generiert Metadaten . Eine manuelle Pflege dieser Datenmenge ist nicht nachhaltig: Beschreibungen veralten, Zuordnungen von Verantwortlichkeiten werden ungenau, und die Qualitätsinformationen hinken dem tatsächlichen Zustand der Daten hinterher. Automatisierte Metadaten , aktive Metadaten und Änderungserkennung sind die Mechanismen, die Metadaten halten, ohne dass ein spezielles Team diese manuell aktualisieren muss.

Metadaten regelt auch die Metadaten – es definiert Standards dafür, wie Objekte beschrieben werden sollen, wer für die Pflege der Beschreibungen in den einzelnen Bereichen verantwortlich ist und wie Konflikte zwischen systemgenerierten und von Menschen kuratierten Metadaten gelöst Metadaten . Ohne eine Steuerung der Metadaten entwickelt sich ein Katalog zu einer inkonsistenten Sammlung teilweise beschriebener Objekte, bei der es keine zuverlässige Möglichkeit gibt, vertrauenswürdige von veralteten Einträgen zu unterscheiden.

Verwandte Begriffe: Metadaten, aktive Metadaten, Datenkatalog, Daten-Stewardship, Data Governance

Semantische Ebene

Eine Übersetzungsebene zwischen Rohdatenstrukturen und den Geschäftskonzepten, die diese Strukturen repräsentieren. Die semantische Ebene definiert Geschäftskennzahlen, Dimensionen und Hierarchien in einer für Geschäftsanwender verständlichen Sprache und ordnet sie den zugrunde liegenden Tabellen, Spalten und Verknüpfungen zu, die diese umsetzen.

Bei der Datenermittlung entscheidet die semantische Ebene darüber, ob Geschäftsanwender Daten finden und verstehen können, ohne diese selbst übersetzen zu müssen. Ein Nutzer nach „monatlich wiederkehrenden Umsätzen“ Nutzer , sollte nicht nur die Rohdatentabelle zu den Abonnements finden, sondern auch die Definition der Kennzahl, die Logik zu ihrer Berechnung sowie den Bericht oder das Modell, in dem sie implementiert ist. Die semantische Ebene stellt diese Verbindung her.

Die semantische Ebene steht in engem Zusammenhang mit dem Geschäftsglossar, agiert jedoch auf einer anderen Ebene. Das Geschäftsglossar Begriffe. Die semantische Ebene setzt diese in einer Form um, die abfragen verarbeitet werden kann. Ein Unternehmen kann über ein Geschäftsglossar semantische Ebene verfügen – und viele tun dies auch –, doch müssen die Nutzer die Geschäftsdefinitionen dann weiterhin selbst in SQL übersetzen.

Verwandte Begriffe: Geschäftsglossar, Metadaten, Datenkatalog, Metadaten , Datenprodukte

Self-Service

Die Möglichkeit für Geschäftsanwender, Daten eigenständig zu finden, darauf zuzugreifen und zu analysieren, ohne Anfragen über ein zentrales Datenteam leiten zu müssen. Self-Service sind das organisatorische Ergebnis, das durch effektives Daten-Discovery ermöglicht Daten-Discovery .

Der Zusammenhang zwischen Discovery und Self-Service unmittelbar: Analysten können nur dann eigenständig arbeiten, wenn sie Daten finden, deren Qualität und Herkunft bewerten, deren geschäftliche Bedeutung verstehen und ihren Zugriff bestätigen können – und das alles, ohne ein Ticket zu eröffnen. Jeder dieser Schritte hängt von einer Discovery-Funktion ab. Durch Suche und Filterung wird die Datenquelle gefunden. Qualitätsbewertungen und Herkunftsinformationen ermöglichen die Bewertung. Das Geschäftsglossar die semantische Ebene liefern die Bedeutung. Die Governance-Integration macht den Zugriffsstatus sichtbar.

Wenn eine dieser Ebenen fehlt oder unzuverlässig ist, Self-Service an dieser Stelle. Analysten, die die Qualität nicht beurteilen können, werden entweder davon absehen, die Daten zu nutzen, oder sie verwenden, ohne zu wissen, ob sie zuverlässig sind. Analysten, die keinen Sinn in den Daten erkennen können, werden sich an einen Dateningenieur wenden. Analysten, die ihre Zugriffsrechte nicht klären können, werden ein Ticket eröffnen. Das Datenteam verbringt schließlich Zeit damit, Fragen zu beantworten, die eigentlich von der Discovery-Ebene selbst beantwortet werden sollten.

Echter Self-Service großem Maßstab setzt voraus, dass alle in diesem Glossar aufgeführten Komponenten zusammenwirken und stets auf dem neuesten Stand gehalten werden. Es handelt sich dabei um ein architektonisches Ergebnis und nicht um eine Produktfunktion.

Verwandte Begriffe: Datenkatalog, Data Governance, Metadaten , Datenqualität, Geschäftsglossar

Wichtige Vergleiche

Daten-Discovery . Datenkatalog