Was ist ein Data Mesh?

Ein Datennetz ist eine dezentralisierte IT-Architektur, die das Eigentum an den Datenbeständen eines Unternehmens an die Abteilungen und Teams delegiert, die die Fachexperten für ihre Daten sind. Die Technologie stellt die Werkzeuge bereit, die erforderlich sind, damit die Fachbereiche ihre eigenen Daten veröffentlichen können, sowie die Konnektivitätswerkzeuge, die für den Zugriff auf die von anderen veröffentlichten Datenprodukte erforderlich sind. Das Datennetz verwendet ein föderiertes Datenmodell mit spezialisierten Geschäftsbereichen als Datenverleger für andere im Unternehmen.

Warum diese Architektur?

Das Problem mit herkömmlichen zentralisierten, von der IT verwalteten Data Warehouses oder Data Lakes ist, dass sie sich auf ein zentrales Team verlassen, das nicht in allen Bereichen Experten ist. Der Nutzen eines Datennetzes besteht darin, dass es die Verantwortung für die Veröffentlichung von Daten an Fachleute delegiert. Die Vertriebs- und Finanzfunktionen verstehen ihre jeweiligen Datensätze am besten. Sie benötigen die Tools der IT-Abteilung, damit sie ihre Daten kuratieren und als Service veröffentlichen können, so dass das gesamte Unternehmen von hochwertigen, genauen Daten aus einer zuverlässigen Quelle Nutzen kann.

Herkömmliche Data Warehouses und Data Marts können Datensilos bilden, die von den jeweiligen Abteilungen oder Geschäftsbereichen isolation genutzt werden. Das Problem bei diesem Ansatz ist, dass er die Verbreitung von unverbundenen Datenpools fördert, die der Rest des Unternehmens nicht nutzen kann. Das Datengeflecht verhindert die Duplizierung von Daten und konzentriert die Ressourcen auf weniger Datenquellen mit höherer Qualität, da die Pflege der Daten in den Händen von Experten liegt.

Sie betreibt einen universellen Interoperabilitätsbus, an den die verschiedenen Geschäftsbereiche angeschlossen sind. Das Data Warehouse der Abteilung veröffentlicht seine Daten als Produkt über den gemeinsamen Interoperabilitätsbus.

Der Hauptunterschied zwischen einer Data Fabric und einem Data Mesh besteht darin, dass bei der Data Fabric das Dateneigentum nicht verteilt wird, was den Nachteil hat, dass man auf ein zentrales Team angewiesen ist, das in Rückstand geraten kann.

Die Auffindbarkeit ist ein wesentlicher Nutzen eines Datennetzes. Datenkonsumenten können dank der reichlichen Verwendung von Metadaten in einem Datengeflecht schnell die Daten finden, die sie benötigen.

Die Bausteine eines Datennetzes

Zu den kritischen Komponenten gehören:

• Datenquellen, bei denen es sich um traditionelle Data Warehouses handeln könnte.
• Bereichsspezifische Daten-as-a-Service-Datenprodukte.
• Dateninfrastruktur, z. B. Datenspeicher und Skripte, zum Aufbau und zur Instanziierung eines Datenproduktdienstes.
• Data governance Normen und Regeln.
• Sicherheitskontrollen und -richtlinien.
• Streaming wie Kafka oder Confluent Cloud können Teil der Data-Mesh-Infrastruktur sein, um Datenänderungen in Echtzeit zu erfassen und zu verteilen.
• Datenqualität und Metadaten .
• Code - einschließlich Datenpipelines, Governance-Kontrollen, Richtlinien und Anwendungsschnittstellen.

Vorteile der Data Mesh-Architektur

Zu den Vorteilen eines Datennetzes gehören folgende:

• Fachleute teilen aussagekräftigere Daten als Datenproduktdienst.
• Durch die gemeinsame Nutzung vorhandener Datenquellen kann das Unternehmen einen größeren Nutzen aus ihnen ziehen.
• Die Dezentralisierung des Datenmanagement senkt die zentralisierten Arbeitskosten.
• Sicherheit kann Richtlinien wie die Verschlüsselung von Daten im Ruhezustand und bei der Übertragung durchsetzen.
• Daten sind dank Metadaten leichter zu finden.
• Bessere Self-Service Datenprodukte.
• Weniger Datendopplungen.
• Weniger Datensilos.
• Datenprojekte lassen sich schneller einrichten, da weniger Daten bewegt und umgewandelt werden müssen.
• Gemeinsame Tools, Standards und Prozesse erhöhen die Datenkompetenz im gesamten Unternehmen.
• Weniger zentrale IT-Rückstände bei Data-Warehouse-Projekten dank der Demokratisierung von Daten.
• Modulare Datenproduktdienste können von Anwendungen leichter genutzt werden.
• Verbesserte Standardisierung von Datenqualität und data governance
• Unternehmen erhalten mehr Wert aus ihren Datenbeständen, die die data driven Entscheidungsfindung verbessern.

Actian unterstützt den Einsatz von Data Mesh

Die Actian Data Platform kann multiple data unterstützen, die ein Datengeflecht gemeinsam nutzen können. Die Plattforminstanzen können vor Ort oder auf verschiedenen Cloud gehostet werden. Die Actian Data Platform verfügt über Hunderte von vorgefertigten Konnektoren zu Quellen, darunter NetSuite, Salesforce und ServiceNow. Sie ist dank ihrer vektorisierten kolumnaren Datenbank, die die Leistung von Alternativen übertrifft, für schnelle Anfrage optimiert. Die Actian Data Platform ist ideal für das Staging von Daten, bevor sie als Datenprodukt innerhalb einer Domain veröffentlicht werden.