Data Intelligence

Die Migration zu Data Mesh - Teil 2 - Aufbau eines Teams und einer Datenplattform

Actian Germany GmbH

April 15, 2024

Die Literatur zum Thema Datenvernetzung ist zwar umfangreich, beschreibt aber oft einen Endzustand und selten, wie dieser in der Praxis erreicht werden kann. Es stellt sich also die Frage:

Welcher Ansatz sollte gewählt werden, um das Datenmanagement zu transformieren und ein Datennetz zu implementieren?

In dieser Artikelserie erhalten Sie einen Auszug aus unserem Practical Guide to Data Mesh, in dem wir einen Ansatz vorschlagen, um eine Data Migration in Ihrem Unternehmen einzuleiten. Dieser Ansatz basiert auf den vier Prinzipien von Data Mesh (bereichsorientiertes dezentrales Dateneigentum und -architektur, Daten als Produkt, Self-Service-Dateninfrastruktur als Plattform und föderierte Computer-Governance) und nutzt die vorhandenen personellen und technischen Ressourcen.

Zur Veranschaulichung dieses Ansatzes für den Aufbau eines erfolgreichen Datennetzes werden wir uns in dieser Artikelserie auf ein Beispiel stützen: das des fiktiven Unternehmens Premium Offices - einer gewerblichen Immobiliengesellschaft, deren Tätigkeit darin besteht, Immobilien zu erwerben und an Unternehmen zu vermieten.

Im vorangegangenen Artikel haben wir die wesentlichen Voraussetzungen für die Definition des Umfangs Ihres Pilotprojekts zur Dezentralisierung des Datenmanagement erörtert, indem wir die Bereiche identifiziert und einen use case ausgewählt haben. In diesem Artikel erläutern wir, wie Sie das Entwicklungsteam und die Datenplattform einrichten.

Aufbau des Pilotentwicklungsteams

Wie bereits erwähnt, besteht der erste Schritt unseres Ansatzes darin, einen ersten use case zu ermitteln und, was noch wichtiger ist, diesen durch die Umsetzung der vier Grundsätze der Datenvernetzung mit vorhandenen Ressourcen zu entwickeln. Die Bildung des Teams, das für die Entwicklung des Pilotprojekts verantwortlich ist, wird zur Umsetzung des ersten Grundsatzes der Datenvernetzung, dem bereichsorientierten dezentralen Dateneigentum, beitragen.

BEISPIEL FÜR PREMIUM-BÜROS

Die für das Pilotprojekt erforderlichen Daten gehören zum Bereich Brokerage, in dem das für die Entwicklung des Pilotprojekts zuständige Team gebildet wird. Diesem multidisziplinären Team gehören an:

  • Ein Product Owner Daten
    • Sie sollten sowohl über ein gutes Verständnis des Geschäfts als auch über eine ausgeprägte Datenkultur verfügen, um folgende Aufgaben wahrnehmen zu können: Entwicklung von Datenprodukten und Verwaltung ihres Lebenszyklus, Festlegung und Durchsetzung von Nutzungsrichtlinien, Sicherstellung der Einhaltung interner Standards und Vorschriften sowie Messung und Überwachung der wirtschaftlichen Leistung und Einhaltung des Produktportfolios.
  • Zwei Ingenieure
    • Ein Mitglied des Brokerage-Teams, das Kenntnisse über operative Systeme und Software-Engineering-Praktiken mitbringt, und ein Mitglied des Datenteams, das mit DBT, GCP und BigQuery vertraut ist.
  • Ein Visualisierungsentwickler
    • Wer kann das dashboard entwerfen und bauen?

Domänen-Tooling: Die Datenplattform des Datennetzes

Eines der Haupthindernisse für die Dezentralisierung ist das Risiko, dass sich der Aufwand und die Fähigkeiten, die für den Betrieb von Pipelines und Infrastrukturen in jedem Bereich erforderlich sind, vervielfachen. Aber in dieser Hinsicht gibt es auch einen soliden Stand der Technik, der von verteilten Architekturen übernommen wurde.

Die Lösung besteht darin, ein Team zu bilden, das dafür verantwortlich ist, Domänen mit den technologischen Primitiven und Werkzeugen auszustatten, die für die Extraktion, Verarbeitung, Speicherung und Bereitstellung von Daten aus ihrer Domäne erforderlich sind.

Dieses Modell existiert bereits seit einigen Jahren für Anwendungsinfrastrukturen und wurde durch Virtualisierung, Containerisierung, DevOps-Tools und Cloud schrittweise verallgemeinert und automatisiert. Obwohl die Werkzeuge für die Dateninfrastruktur nicht so ausgereift sind wie die für die Softwareinfrastruktur, insbesondere in Bezug auf die Automatisierung, sind die meisten Lösungen übertragbar, und die Funktionen sind in den Unternehmen als Ergebnis früherer Investitionen bereits vorhanden. Daher steht der Einrichtung eines Dateninfrastrukturteams, der Festlegung seiner Roadmap und der schrittweisen Verbesserung seines Serviceangebots nichts im Wege: Vereinfachung und Automatisierung sind die Hauptachsen dieser Entwicklung.

Die drei Ebenen der Data Mesh-Plattform

Die Datenplattform für Datennetze umfasst eine breite Palette von Funktionen, die über die Infrastrukturdienste hinausgehen. Diese Plattform ist in drei Ebenen unterteilt:

  1. Die Ebene der Dateninfrastrukturbereitstellung - Bietet Low-Level-Dienste für die Zuweisung der physischen Ressourcen, die für die Extraktion, Verarbeitung, Speicherung, Echtzeit- oder nicht verteilte Verteilung, Verschlüsselung, Zwischenspeicherung, Zugangskontrolle, Netzwerk, Kolokation usw. von big data benötigt werden.
  2. Die Erfahrungsebene für Datenproduktentwickler - Stellt die für die Entwicklung von Datenprodukten erforderlichen Werkzeuge bereit: Deklaration von Datenprodukten, kontinuierliche Erstellung und Deployment, Tests, Qualitätskontrollen, Überwachung, Sicherung usw. Die Idee ist, Abstraktionen oberhalb der Infrastruktur bereitzustellen, um deren Komplexität zu verbergen und die auf der Mesh-Skala angenommenen Konventionen zu automatisieren.
  3. Die Überwachungsebene des Datennetzes - Bietet eine Reihe globaler Funktionen für die Erkennung von Datenprodukten, Abstammung, Governance, Compliance, globale Berichterstattung, Richtlinienkontrolle usw.

Auf der Infrastrukturseite erfordert das Datennetz keine neuen Funktionen - die große Mehrheit der Organisationen verfügt bereits über eine Datenplattform. Die Implementierung des Datennetzes erfordert auch keine zentralisierte Plattform. Einige Unternehmen haben bereits in eine gemeinsame Plattform investiert, und es erscheint logisch, die Funktionen dieser Plattform zu nutzen, um das Netz zu entwickeln, aber andere haben mehrere Plattformen, einige Einheiten oder bestimmte Bereiche mit ihrer Infrastruktur. Es ist durchaus möglich, das Datennetz auf diesen hybriden Infrastrukturen einzusetzen: Solange die Datenprodukte gemeinsame Standards für Adressierbarkeit, Interoperabilität und Zugangskontrolle einhalten, sind die technischen Modalitäten ihrer Ausführung von geringer Bedeutung.

BEISPIEL FÜR PREMIUM-BÜROS

Premium Offices hat in eine gemeinsame Cloud investiert - genauer gesagt in GCP (Google Cloud Platform). Die Plattform umfasst Experten in einem zentralen Team, die ihre Feinheiten verstehen. Für sein Pilotprojekt hat Premium Offices einfach einen dieser Experten in das Projektteam integriert. Diese Person wird dafür verantwortlich sein, Lösungen zu finden, um die Deployment von Datenprodukten so weit wie möglich zu automatisieren und manuelle Schritte zu identifizieren, die später automatisiert werden können, sowie alle fehlenden Tools

Abschließend lässt sich sagen, dass der Aufbau eines engagierten Entwicklungsteams für den Erfolg Ihres Pilotprojekts zur Dezentralisierung des Datenmanagement unerlässlich ist. Durch die Zusammenführung von Personen mit unterschiedlichen Fähigkeiten und Fachkenntnissen können Unternehmen die Grundsätze der Datenvernetzung effektiv umsetzen und aussagekräftige Erkenntnisse aus ihren Daten gewinnen. Die Nutzung vorhandener Plattformen und Investitionen in die Automatisierung erleichtern zudem den Entwicklungsprozess und ebnen den Weg für scalability und langfristigen Erfolg.

In unserem nächsten Artikel erfahren Sie, wie Sie Ihr Datenvernetzungs-Pilotprojekt durch den Entwurf und die Entwicklung Ihrer ersten Datenprodukte durchführen.

Der praktische Leitfaden für Data Mesh: Einrichten und Überwachen eines unternehmensweiten Datennetzes

Unser von Guillaume Bodet verfasster Leitfaden soll Ihnen praktische Strategien für die Implementierung von Datennetzen in Ihrem Unternehmen an die Hand geben und Sie dabei unterstützen:

  • Beginnen Sie Ihre Data Mesh Migration mit einem gezielten Pilotprojekt.
  • Entdecken Sie effiziente Methoden zur Skalierung Ihres Datennetzes.
  • Erkennen Sie die zentrale Rolle an, die ein interner Marktplatz bei der Erleichterung der effektiven Nutzung von Datenprodukten spielt.
  • Erfahren Sie, wie die Actian Data Intelligence Platform zu einem robusten Überwachungssystem wird, das ein unternehmensweites Datennetz orchestriert.
eBook herunterladen.
actian avatar logo

Über Actian Corporation

Actian macht Daten einfach. Unsere Datenplattform vereinfacht die Verbindung, Verwaltung und Analyse von Daten in Cloud-, Hybrid- und lokalen Umgebungen. Mit jahrzehntelanger Erfahrung in den Bereichen Datenmanagement und -analyse liefert Actian leistungsstarke Lösungen, die es Unternehmen ermöglichen, datengesteuerte Entscheidungen zu treffen. Actian wird von führenden Analysten anerkannt und wurde für seine Leistung und Innovation mit Branchenpreisen ausgezeichnet. Unsere Teams präsentieren bewährte Anwendungsfälle auf Konferenzen (z. B. Strata Data) und tragen zu Open-Source-Projekten bei. Im ActianBlog behandeln wir Themen wie Echtzeit-Dateneingabe, Datenanalyse, Data Governance, Datenmanagement, Datenqualität, Datenintelligenz und KI-gesteuerte Analysen.