Aufbau eines Marktplatzes für Data Mesh: Erleichterung von Datenprodukten - Teil 1
Actian Germany GmbH
28. Mai 2024
In den letzten zehn Jahren haben sich Datenkataloge zu einer wichtigen Säule in der Landschaft der data driven Initiativen entwickelt. Viele Anbieter auf dem Markt bleiben jedoch hinter den Erwartungen zurück, mit langen Fristen, komplexen und kostspieligen Projekten, bürokratischen data governance , schlechten Nutzer und geringer Wertschöpfung. Diese Diskrepanz geht über Metadaten hinaus und spiegelt ein breiteres Versagen auf der Ebene des Datenmanagement wider.
Angesichts dieser Unzulänglichkeiten gewinnt ein neues Konzept an Popularität: der interne Marktplatz oder, wie wir bei Zeenea sagen, der Enterprise Data Marketplace (EDM).
In dieser Artikelserie erhalten Sie einen Auszug aus unserem Practical Guide to Data Mesh, in dem wir erklären, welchen Wert interne Datenmarktplätze für die Produktion und den Konsum von Datenprodukten haben, wie ein EDM die Nutzung von Data Mesh in größerem Umfang unterstützt und wie sie mit einer Datenkatalog Hand in Hand gehen:
- Erleichterung der Nutzung von Datenprodukten durch Metadaten
- Einrichtung eines Marktplatzes auf Unternehmensebene
- Beschickung des Marktplatzes über bereichsspezifische Datenkataloge
Bevor wir uns mit dem internen Marktplatz befassen, lassen Sie uns noch einmal kurz auf den Begriff des Datenprodukts zurückkommen, der unserer Meinung nach der Eckpfeiler des Datennetzes und der erste Schritt zur Umgestaltung des Datenmanagement ist.
Gemeinsame Nutzung und Verwertung von Datenprodukten durch Metadaten
Wie in unserer vorangegangenen Serie über Datennetze erwähnt, ist ein Datenprodukt ein geregelter, wiederverwendbarer, skalierbar Datensatz , der Datenqualität und die Einhaltung verschiedener Vorschriften und interner Regeln garantiert. Beachten Sie, dass diese Definition recht restriktiv ist - sie schließt andere Arten von Produkten wie Algorithmen, Modelle oder Dashboards des Maschinelles Lernen aus.
Diese Artefakte sollten zwar als Produkte verwaltet werden, aber sie sind keine Datenprodukte. Es handelt sich um andere Arten von Produkten, die man ganz allgemein als "Analyseprodukte" bezeichnen könnte, von denen Datenprodukte eine Teilmenge sind.
In der Praxis besteht ein Betriebsdatenprodukt aus zwei Dingen:
- Daten - Materialisiert auf einer zentralen oder dezentralen Datenplattform, die Datenadressierung, Interoperabilität und Zugriffssicherheit garantiert.
- Metadaten - Bereitstellung aller notwendigen Informationen für die gemeinsame Nutzung der Daten.
Metadaten stellt sicher, dass die Verbraucher alle Informationen erhalten, die sie für die Nutzung des Produkts benötigen.
Sie umfasst in der Regel die folgenden Aspekte:
- Schema - Bereitstellung der technischen Struktur des Datenprodukts, der Datenklassifizierung, der Muster und ihrer Herkunft (Abstammung).
- Governance - Identifizierung des/der Product Owner(s), der aufeinanderfolgenden Versionen, der möglichen Abschaffung des Produkts usw.
- Semantik - Bereitstellung einer klaren Definition der offengelegten Informationen, idealerweise in Verbindung mit dem Geschäftsglossar des Unternehmens und einer umfassenden Dokumentation des Datenprodukts.
- Vertrag - Festlegung von Qualitätsgarantien, Verbrauchsmodalitäten (Protokolle und Sicherheit), möglichen Nutzungsbeschränkungen, Weiterverteilungsregeln usw.
In der Data-Mesh-Logik werden diese Metadaten vom Produktteam verwaltet und nach demselben Lebenszyklus wie Daten und Pipelines bereitgestellt. Es bleibt eine grundlegende Frage: Wo können Metadaten eingesetzt werden?
Verwendung eines Datenmarktplatzes zur Bereitstellung von Metadaten
Die meisten Unternehmen verfügen bereits über ein Metadaten , meist in Form eines Datenkatalog.
Datenkataloge in ihrer derzeitigen Form haben jedoch erhebliche Nachteile:
- Sie unterstützen nicht immer den Begriff des Datenprodukts - es muss mehr oder weniger mit anderen Konzepten nachgeahmt werden.
- Sie sind komplex in der Anwendung - sie wurden entwickelt, um eine große Anzahl von Assets mit einer manchmal sehr feinen Granularität zu katalogisieren, und leiden oft unter einem Mangel an Akzeptanz außerhalb zentralisierter Datenmanagement .
- Sie erzwingen meist eine starre und eindeutige Organisation der Daten, die zentral entschieden und entworfen wurde - was der Vielfalt der verschiedenen Bereiche oder der Entwicklung des Unternehmens bei der Ausweitung des Datengeflechts nicht gerecht wird.
- Ihre Funktionen sind oft begrenzt, vor allem bei explorativen Aspekten - oft muss man wissen, wonach man sucht, um es zu finden.
- Die von ihnen gebotene Erfahrung lässt manchmal die von den Nutzern gewünschte Einfachheit vermissen - Suche mit ein paar Schlüsselwörtern, Identifizierung des entsprechenden Datenprodukts und dann Auslösung des operativen Prozesses einer Zugangsanfrage oder Datenlieferung.
Der interne Marktplatz oder Enterprise Data Marketplace (EDM) ist daher ein neues Konzept, das in der Datenverflechtungsbranche an Popularität gewinnt. Wie ein allgemeiner Marktplatz zielt der EDM darauf ab, ein Einkaufserlebnis für Datenkonsumenten zu bieten. Er ist somit eine wesentliche Komponente, um die Nutzung des Datennetzes in größerem Umfang zu gewährleisten - er ermöglicht den Datenkonsumenten ein einfaches und effektives System für die Suche nach und den Zugang zu Datenprodukten aus verschiedenen Bereichen.
In unserem nächsten Artikel erfahren Sie mehr über die verschiedenen Möglichkeiten, einen internen Datenmarktplatz einzurichten, und wie dieser für die Nutzung von Datennetzen unerlässlich ist.
Abonnieren Sie den Actian Blog
Abonnieren Sie den Blog von Actian, um direkt Dateneinblicke zu erhalten.
- Bleiben Sie auf dem Laufenden - Holen Sie sich die neuesten Informationen zu Data Analytics direkt in Ihren Posteingang.
- Verpassen Sie keinen Beitrag: Sie erhalten automatische E-Mail-Updates, die Sie informieren, wenn neue Beiträge veröffentlicht werden.
- Ganz wie sie wollen: Ändern Sie Ihre Lieferpräferenzen nach Ihren Bedürfnissen.