Datenkatalog

Was ist ein Datenkatalog?

Daten sind das Rückgrat von Unternehmen in allen Branchen, aber die Verwaltung und Interpretation dieser Daten kann ohne die richtigen Werkzeuge schwierig sein. Ein Datenkatalog kann Ihnen helfen, ein klares Inventar Ihrer Datenbestände zu erstellen, damit Ihr Team besser auf die benötigten Informationen zugreifen kann.

In diesem Artikel werden wir kennenlernen , wie Datenkataloge funktionieren, die verschiedenen Arten von Metadaten , die von Katalogen gespeichert und gepflegt werden, und wie sie Ihrer Organisation Nutzen können.

Wie ein Datenkatalog die Data Governance fördert

Er verbessert die Einhaltung von Vorschriften und die Governance, indem er sicherstellt, dass alle Daten einen Verantwortlichen haben, regelmäßig aktualisiert werden, von hoher Qualität sind und durch rollenbasierte Sicherheitsmechanismen geschützt werden. Spezifische Richtlinien wie Aufbewahrungsfristen, Anforderungen an die Geschäftskontinuität und der geografische Standort können ebenfalls im Katalog dokumentiert werden, um angemessene Governance-Kontrollen durchzusetzen.

Was genau ist ein Datenkatalog?

Ein Datenkatalog ist ein zentraler Knotenpunkt, der die Metadaten für die Datenbestände eines Unternehmens oder einer Organisation organisiert und speichert. Das Ziel des Katalogs ist es, das Auffinden von und den Zugriff auf Daten im gesamten Unternehmen zu erleichtern. Hier sind einige der wichtigsten Möglichkeiten, wie Datenkataloge Unternehmen helfen können.

• Einführung eines klaren Systems data governance .
• Unterstützung der Anaylisten bei der Ermittlung möglicher Probleme und Trends in den Datensätzen.
• Schaffung eines klaren Weges für die Datenverantwortlichen, um zu sehen, wo die Daten gespeichert sind und worauf sie zugreifen.
• Vereinfachung der Datensuche.

Welche Art von Metadaten verwaltet ein Datenkatalog ?

Ein Datenkatalog kann Metadaten enthalten, die sich auf technische und geschäftliche Aspekte beziehen. Technische Metadaten können Erstellungsdatum, Änderungsdatum, Datentyp, Länge, Feldnamen und Strukturinformationen enthalten. Geschäftliche Metadaten geben Aufschluss darüber, woher die Daten stammen (ihre Herkunft), wer sie verwenden soll und für welche Zwecke.

Wie ein Datenkatalog die Data Governance fördert

Ein Datenkatalog verbessert die Einhaltung von Vorschriften und die Governance, indem er sicherstellt, dass alle Daten einen Verantwortlichen haben, regelmäßig aktualisiert werden, von hoher Qualität sind und durch rollenbasierte Sicherheitsmechanismen geschützt werden. Spezifische Richtlinien wie Aufbewahrungsfristen, Anforderungen an die Geschäftskontinuität und der geografische Standort können ebenfalls im Katalog dokumentiert werden, um angemessene Governance-Kontrollen durchzusetzen.

Welchen Nutzen die Anwendungen?

Datenanalysten, Dateningenieure und Datenwissenschaftler sind auf hochwertige Datenquellen angewiesen, um sicherzustellen, dass die Ergebnisse ihrer Analysen und Maschinelles Lernen valide sind. Bei der Erstellung von Berichten zur Einhaltung gesetzlicher Vorschriften müssen vertrauenswürdige Datenquellen verwendet werden, da sonst die Gefahr besteht, dass Audits nicht bestanden werden und Geldstrafen verhängt werden. Business Intelligence (BI)-Systeme können den Datenkatalog nutzen, um Daten für die Berichterstattung und Visualisierung auszuwählen. Data Warehouses und Data Lakes benötigen technische Informationen über Datenquellen, um geeignete Datenintegrationsskripte zu erstellen und regelmäßige Datenaktualisierungen zu planen.

Vorteile eines Datenkatalog

Zu den wichtigsten Vorteilen gehören die folgenden:

• Verbesserte Datentransparenz. Ohne diese Funktion können Benutzer viel Zeit damit verschwenden, vorhandene Datenquellen zu duplizieren.
• Helfen Sie Organisationen, den größten Nutzen aus ihren Datenbeständen zu ziehen. Der Datenkatalog wirbt für gute Datenquellen und ermutigt die Nutzer, sich auf höherwertige Daten zu konzentrieren.
• Erhöhtes Vertrauen in die Daten durch Lineage Metadaten. Es hilft Benutzern, bessere data driven Entscheidungen zu treffen, wenn sie wissen, woher die Daten stammen.
• Die Daten sind für die Benutzer leichter zugänglich, da die Formate dokumentiert sind. Datenintegrations- und BI-Tools können die im Katalog enthaltenen Formatinformationen nutzen, um Felder entsprechend dem dokumentierten Datentyp zu behandeln. Nur weil ein Feld beispielsweise Zahlen enthält, bedeutet dies nicht, dass es kein Zeichenfeld ist.
• Fördern Sie die Datenqualität. Jeder Chief Data Officer (CDO) ist mit der Verbesserung der Datenqualität befasst. Sie kann Qualitätskennzahlen enthalten, mit denen sich Verbesserungen der Datenqualität im Laufe der Zeit nachweisen lassen.
• Durchsetzung der Einhaltung von Vorschriften. Auditoren sind beauftragt, nach Lücken in der Einhaltung von Vorschriften zu suchen. Der Katalog erleichtert Audits, indem er dokumentiert, welche Kontrollen für jeden Datensatz, der der Einhaltung von Vorschriften unterliegt, vorhanden sind.
• Reduzieren Sie unnötige Datenduplikationen. Unerlaubte Kopien von ungepflegten Daten, die in Form von Tabellenkalkulationen per E-Mail weitergegeben werden, ohne dass Metadaten über den Datenbestand vorliegen, sind ein Rezept für eine Katastrophe. Es entschärft einige der Risiken, die mit der data sharing ohne Verwaltung verbunden sind.
• Senken Sie die Kosten für Datenmanagement . Fokussierung der Organisation auf die Verwendung von kuratierten Daten höchster Qualität. Es hilft der Organisation, sich auf weniger Datenquellen zu konzentrieren und die Gesamtkosten für die Datenverwaltung zu senken.
• Fördern Sie Daten-Stewardship. Für jeden Datensatz sollte es eine Person oder ein Team geben, das für die Aufrechterhaltung der Qualität und der Aktualität der Daten verantwortlich ist. Die Einführung eines Datenkatalog verbessert Ihr Daten-Stewardship indem er es den einzelnen Personen erleichtert, auf die Datensätze, für die sie verantwortlich sind, zuzugreifen, sie zu aktualisieren und zu verwalten .
• Sicherstellung der data governance: Datenkataloge können Ihre data governance indem sie dem Unternehmen eine zentrale Quelle für Metadaten zur Verfügung stellen, die schlecht verwaltete Datenquellen aufzeigt.

Datenkatalog Typen

Im Allgemeinen betrachten wir den Katalog als eine Ressource für ein einzelnes Unternehmen. Es gibt eine neue Art von offenen Datenkatalog , von denen mehrere Unternehmen und Organisationen profitieren. Beispiele hierfür sind:

1. Die Financial Industry Regulatory Authority (FINRA) hat einen Datenkatalog bereitgestellt, in dem technische Metadaten für die Nutzer ihrer externen Datensätze gespeichert sind.
2. Die Weltbank hat einen Datenkatalog entwickelt, um die Nutzung ihrer Entwicklungsdaten zu erleichtern.
3. Die britische Steuerbehörde HMRC (His Majesty's Revenue and Collections) hat ihren Datenkatalog veröffentlicht, ein Verzeichnis der Datensätze, die HMRC besitzt und für den öffentlichen Gebrauch verarbeitet.

Die Actian Datenplattform

Die Actian Data Platform kann zur Unterstützung multiple data verwendet werden, die in einem Datenkatalog registriert werden können. Die Actian Data Platform kann sowohl On-Premises als auch auf verschiedenen Cloud gehostet werden, um eine vollständige Flexibilität Deployment Data Warehouses zu gewährleisten. Sie kann verwendet werden, um mit Datenbankobjekten verknüpfte Metadaten bereitzustellen, die das Auffinden und die Nutzung von Daten erleichtern.

Ein Datenkatalog hilft den Nutzern, die Datenbestände einer Organisation zu finden, indem er angereicherte Metadaten bereitstellt

Der Datenkatalog ermöglicht es einer Organisation, die Benutzer zu den hochwertigsten und vertrauenswürdigsten Daten im Unternehmen zu führen. Er verbessert die data governance, da nicht verwaltete Daten weggelassen oder als Quelle schlechter Qualität gekennzeichnet werden können. Die Datenflut ist für viele Unternehmen ein großes Problem, da die Benutzer häufig Kopien von Daten erstellen, die sie nicht pflegen oder aktualisieren. Der Datenkatalog führt die Benutzer zu gut gepflegten und vertrauenswürdigen Datenquellen. Entscheidungen, die auf veralteten Daten basieren, können zu schlechten Ergebnissen führen. Ohne Datenkatalog kann ein Unternehmen viel Zeit und Mühe mit der Suche nach benötigten Daten verschwenden, was sich auf die Produktivität und Rentabilität auswirkt.

Wichtigste Erkenntnisse