Aufbau eines Marktplatzes für Data Mesh: Domänen-Datenkataloge - Teil 3

In den letzten zehn Jahren haben sich Datenkataloge zu einer wichtigen Säule in der Landschaft der data driven Initiativen entwickelt. Viele Anbieter auf dem Markt bleiben jedoch hinter den Erwartungen zurück, mit langen Fristen, komplexen und kostspieligen Projekten, bürokratischen data governance , schlechten Nutzer und geringer Wertschöpfung. Diese Diskrepanz geht über Metadaten hinaus und spiegelt ein breiteres Versagen auf der Ebene des Datenmanagement wider.

Angesichts dieser Unzulänglichkeiten gewinnt ein neues Konzept an Popularität: der interne Marktplatz oder, wie wir es nennen, der Enterprise Data Marketplace (EDM).

In dieser Artikelserie erhalten Sie einen Auszug aus unserem Practical Guide to Data Mesh, in dem wir erklären, welchen Wert interne Datenmarktplätze für die Produktion und den Konsum von Datenprodukten haben, wie ein EDM die Nutzung von Data Mesh in größerem Umfang unterstützt und wie sie mit einer Datenkatalog Hand in Hand gehen:

1. Erleichterung der Nutzung von Datenprodukten durch Metadaten.
2. Einrichtung eines Marktplatzes auf Unternehmensebene.
3. Beschickung des Marktplatzes durch bereichsspezifische Datenkataloge.

Die Strukturierung des Datenmanagement um Domänen und Datenprodukte ist eine organisatorische Umstellung, die an der betrieblichen Realität der meisten Unternehmen nichts ändert: Daten sind in großen Mengen und aus zahlreichen Quellen verfügbar, entwickeln sich schnell und ihre Kontrolle ist komplex.

Datenkataloge dienen traditionell dazu, alle verfügbaren Daten zu inventarisieren und einen Satz von Metadaten zu verwalten , um die Kontrolle zu gewährleisten und Governance-Praktiken zu etablieren.

Die Datenvernetzung beseitigt diese Komplexität nicht: Sie ermöglicht es, bestimmte Daten, die als Datenprodukte verwaltet werden, zu unterscheiden und für die gemeinsame Nutzung über den Bereich hinaus, zu dem sie gehören, zu verwenden. Aber jeder Bereich ist auch für die Verwaltung seiner internen Daten verantwortlich, die für die Entwicklung robuster und hochwertiger Datenprodukte verwendet werden - mit anderen Worten: für seine eigenen Daten.

Metadaten im Kontext eines internen Marktplatzes, der durch bereichsspezifische Kataloge gespeist wird

Im Datengeflecht verschwindet der Bedarf an einem Datenkatalog nicht, ganz im Gegenteil: Jede Domäne sollte über einen Katalog verfügen, der es ihr ermöglicht, ihre proprietären Daten effizient verwalten , die Domänen-Governance zu unterstützen und die Entwicklung robuster und hochwertiger Datenprodukte zu beschleunigen. Die Verwaltung von Metadaten erfolgt also auf zwei Ebenen:

• Auf der Ebene der Domäne - in Form eines Katalogs, der die Dokumentation und Organisation des Datenuniversums der Domäne ermöglicht. Da es sich beim Datenkatalog um eine proprietäre Komponente handelt, ist es nicht notwendig, dass alle Domänen dieselbe Lösung verwenden.
• Auf der Mesh-Ebene - in Form eines Marktplatzes, auf dem die von allen Domains gemeinsam genutzten Datenprodukte registriert werden; der Marktplatz ist natürlich für alle Domains gemeinsam.

Mit einer speziellen Marktplatzkomponente sieht die allgemeine Architektur für die Verwaltung von Metadaten wie folgt aus:

In dieser Architektur hat jeder Bereich seinen eigenen Katalog - der sich auf eine einzige Lösung stützen kann oder auch nicht -, der aber für jeden Bereich instanziiert werden sollte, damit er seine Daten am effektivsten organisieren kann und die Fallstricke einer universellen Metadaten vermieden werden.

Der Marktplatz ist eine spezielle Komponente, die eine vereinfachte Ergonomie bietet und in der jeder Bereich Metadaten (oder sogar Daten) für seine Datenprodukte bereitstellt. Dieser Ansatz erfordert eine enge Integration der verschiedenen Module:

• Bereichskataloge müssen mit dem Marktplatz integriert werden, um Doppelarbeit bei der Erstellung bestimmter Metadaten zu vermeiden - insbesondere Lineage, aber auch Datenwörterbücher (Schema) oder sogar Geschäftsdefinitionen, die in beiden Systemen vorhanden sein werden.
• Die Domänenkataloge müssen möglicherweise miteinander integriert werden - zur gemeinsamen Nutzung/Synchronisierung bestimmter Informationen, vor allem des Geschäftsglossars, aber auch einiger Repositories.

Datenkatalog vs. Funktionen

Wenn wir uns die jeweiligen Funktionen eines Enterprise Data Marketplace und eines Datenkatalog ansehen, stellen wir fest, dass diese Funktionen sehr ähnlich sind:

Letztlich sind ihre Funktionen auf einer rein funktionalen Ebene sehr ähnlich. Was einen modernen Datenkatalog von einem EDM unterscheidet, sind:

• Ihr Umfang - Der Datenkatalog soll alle Daten abdecken, während der Marktplatz auf die von den Domänen gemeinsam genutzten Objekte (Datenprodukte und andere Domänenanalyseprodukte) beschränkt ist.
• Ihre Nutzer - Der Datenkatalog ist oft ein ziemlich komplexes Tool, das zur Unterstützung von Governance-Prozessen auf globaler Ebene entwickelt wurde - es konzentriert sich auf Daten-Stewardship . Der Marktplatz hingegen bietet typischerweise eine sehr einfache Ergonomie, die sich stark an der einer E-Commerce-Plattform orientiert, und bietet eine Erfahrung, die sich auf den Konsum konzentriert - Daten-Shopping.

Über Actian Corporation

Actian macht Daten einfach. Unsere Datenplattform vereinfacht die Verbindung, verwalten und Analyse von Daten in Cloud, Hybrid- und On-Premises . Mit jahrzehntelanger Erfahrung in den Bereichen Datenmanagement und Analytik liefert Actian High-Performance Lösungen, die Unternehmen in die Lage versetzen, data driven Entscheidungen zu treffen. Actian wird von führenden Analysten anerkannt und hat Branchenauszeichnungen für Leistung und Innovation erhalten. Unsere Teams präsentieren bewährte Anwendungsfälle auf Konferenzen (z. B. Strata Data) und tragen zu Open-Source-Projekten bei. Im Actian-Blog behandeln wir Themen, die von Dateneingang bis hin zu KI-gesteuerter Analytik reichen.