Data Mesh

Ein Data Mesh („Datennetz“) ist eine Architektur zur Umsetzung der Demokratisierung von Daten in einem Unternehmen. Im Gegensatz zu zentralisierten Daten-Warehouses föderiert Data Mesh Daten und delegiert das Dateneigentum an Fachbereiche, die ihre Daten als Dienst veröffentlichen, damit alle Geschäftsfunktionen sie nutzen können. So ensteht eine flexiblere Datenarchitektur, die den einzelnen Geschäftsbereichen eine gewisse Autonomie bei der Verwaltung ihrer wichtigsten Datenbestände ermöglicht.

Warum eine Data-Mesh-Architektur?

Der Grundgedanke von Mesh-Architekturen besteht darin, eine flexiblere und skalierbare Datenarchitektur zu ermöglichen. Monolithische, zentralisierte Unternehmens-Data-Warehouses können schwerfällig in der Implementierung, unflexibel und teuer in der Änderung sein. Durch die Verlagerung der Pflege und Verwaltung bereichsspezifischer Datensätze auf die Geschäftsfunktionen, die sie am besten kennen, kann sich das Unternehmen besser an veränderte Geschäftsbedingungen anpassen.

Einer der Hauptgründe für die Skalierbarkeit des Data-Mesh-Modells ist, dass es einer Überlastung zentralisierter Datenteams vorbeugt. Dies wird durch die Verbreitung von standardisierten Best-Practices in allen Geschäftsbereichen erreicht. Fachkräftemangel ist eine häufige Ursache dafür, dass Big-Data- und Data-Lake-Projekte zu Datensümpfen stagnieren. Die von Mitarbeitern eines Geschäftsbereichs erworbenen Fähigkeiten lassen sich leicht auf andere Bereiche übertragen, wodurch Schulungszeiten verkürzt und Projekte schneller umgesetzt werden können.

Aufrechterhaltung der Interoperabilität zwischen Datenpools

Eine Kernkomponente eines Data Mesh ist der integrierte universelle Interoperabilitätsbus, an den alle bereichsspezifischen Daten-Warehouses oder Datamarts angeschlossen werden. Dadurch werden die Probleme herkömmlicher siloartiger Datamarts vermieden, die häufig doppelte, nicht synchronisierte Daten und Ad-hoc-Tools verwenden. Kuratierte Daten, die sich in einer Abteilung befinden, sind für verwandte Geschäftsbereiche verfügbar. Jedes Daten-Warehouse einer Abteilung veröffentlicht seine Daten als Produkt auf dem Interoperabilitätsbus.

Wie unterscheiden sich Data Mesh und Data Fabric?

Ein Data Mesh besteht aus einer Reihe miteinander verbundener bereichsspezifischer Datenproduktdienste, deren Eigentumsrechte an die verschiedenen Bereiche eines Unternehmens delegiert werden. Durch die Data-Mesh-Struktur entsteht ein einziges virtuelles zentralisiertes System ohne verteilten Datenbesitz.

Zentrale Bausteine eines Data Mesh

Die Hauptbestandteile eines Data Mesh sind:

• Datenquellen.
• Dateninfrastruktur.
• Domänenspezifische Daten-as-a-Service.
• Gemeinsame, standardisierte Konventionen für Governance, Datenqualität und Metadaten.

Dateneigentum und Zuständigkeiten

Jeder Dateneigner einer Domäne ist mit den Service-Levels für Datenqualität und -verfügbarkeit seiner Kollegen einverstanden. Jede Domäne verwendet zentralisierte Standards für Datenpipelines. Data Mesh bietet eine standardisierte Speicher- und Streaming-Infrastruktur. ETL-Pipelines können bereichsspezifisch sein, müssen aber Standard-Metadaten-Labels, Datenformate, Katalogisierung, Lineage und Data-Governance-Konventionen verwenden, um die Interoperabilität zu erleichtern und die Einhaltung von Vorschriften zu fördern.

Vorteile

Einige der zahlreichen Vorteile von Data-Mesh-Architekturen:

• Schnellere Wertschöpfung bei datenorientierten Projekten.
• Die Geschäftsbereiche können schnell auf Wettbewerbs-, Regulierungs- und Marktdruck reagieren oder neue Märkte erschließen.
• Gemeinsame Tools, Standards und Prozesse kommen dem gesamten Unternehmen zugute, da sie die Effizienz steigern, indem sie doppelte Arbeit verringern.
• Vermeidung zentraler Ressourcenengpässe durch Delegation der Datenverantwortung an spezialisierte Geschäftsbereiche, die ihre Datenanforderungen am besten verstehen.
• Stärker modulare Datendienste sind einfacher zu verstehen und zu nutzen. Wie bei Microservices erleichtert die Refaktorierung monolithischer Anwendungen in kleinere, leichter verarbeitbare Komponenten die gemeinsame Nutzung und Verwendung.
• Die konsequente Anwendung von Datenqualitäts- und Data-Governance-Anforderungen in einem Unternehmen verbessert die Zusammenarbeit und erleichtert zuküftige Datenintegrationsvorhaben.
• Die Daten- und Prozesstransparenz im Netz beseitigt abteilungsspezifische Pools mit unverbundenen Daten im Silo .
• Unternehmen können einen größeren Nutzen aus ihren Daten ziehen, da die Zusammenführung der Daten im gesamten Unternehmen eine bessere datengestützte Entscheidungsfindung ermöglicht.

Was sind die Merkmale eines erfolgreichen Datenprodukts?

Der wichtigste Erfolgsfaktor für ein Datenprodukt ist Akzeptanz. Zu den akzeptanzfördernden Merkmalen gehören Auffindbarkeit, Zuverlässigkeit, Vertrauenswürdigkeit, Sicherheit und Datenqualität.

Da es sich bei einem Datennetz im Wesentlichen um ein Self-Service handelt, müssen die veröffentlichten Daten leicht zu finden, gut dokumentiert und einfach zu nutzen sein. Die Nutzer können den Eigentümern der Domäne Feedback zur Qualität und zum Nutzen eines Datenprodukts geben, um sicherzustellen, dass Mängel behoben werden, und um eine kontinuierliche Verbesserung zu ermöglichen.

Data-Mesh-Verwaltung

Datenprodukte und Pipelines müssen auf Domänen- und Infrastrukturebene überwacht werden, um eine hohe Verfügbarkeit zu gewährleisten und Ausfälle zu beheben. Überwachung undFähigkeiten sind daher so konzipiert, dass sie das Leben von Entwicklern und Infrastrukturteams erleichtern.

Datenprodukte sollten durch Verschlüsselung der Daten im Ruhezustand und bei der Übertragung geschützt werden. Die Versionierung von Datendiensten ermöglicht die Rückgängigmachung von Fehlentwicklungen.

Actian und die Data Intelligence Plattform

Die Actian Data Intelligence Platform wurde speziell dafür entwickelt, Unternehmen bei der Vereinheitlichung, verwalten und dem Verständnis ihrer Daten in hybriden Umgebungen zu unterstützen. Sie vereint Metadaten , Governance, Lineage, Qualitätsüberwachung und Automatisierung in einer einzigen Plattform. So können Teams sehen, woher die Daten kommen, wie sie verwendet werden und ob sie internen und externen Anforderungen entsprechen.

Durch seine zentrale Schnittstelle unterstützt Actian Erkenntnis über Datenstrukturen und -flüsse und erleichtert so die Anwendung von Richtlinien, die Lösung von Problemen und die abteilungsübergreifende Zusammenarbeit. Die Plattform hilft auch dabei, Daten mit dem geschäftlichen Kontext zu verbinden, damit Teams Daten effektiver und verantwortungsvoller nutzen können. Die Plattform von Actian ist so konzipiert, dass sie mit sich entwickelnden Datenökosystemen skaliert und eine konsistente, intelligente und sichere Datennutzung im gesamten Unternehmen unterstützt. Fordern Sie Ihr persönliches Demo an.