Daten-Intelligenz

Die Migration zum Datennetz - Teil 4 - Föderierte Computerverwaltung

Actian Germany GmbH

6. Mai 2024

Die Literatur zum Thema Datenvernetzung ist zwar umfangreich, beschreibt aber oft einen Endzustand und selten, wie dieser in der Praxis erreicht werden kann. Es stellt sich also die Frage:

Welcher Ansatz sollte gewählt werden, um das Datenmanagement zu transformieren und ein Datennetz zu implementieren?

In dieser Artikelserie erhalten Sie einen Auszug aus unserem Practical Guide to Data Mesh, in dem wir einen Ansatz vorschlagen, um eine Data Migration in Ihrem Unternehmen einzuleiten. Dieser Ansatz basiert auf den vier Prinzipien von Data Mesh (bereichsorientiertes dezentrales Dateneigentum und -architektur, Daten als Produkt, Self-Service-Dateninfrastruktur als Plattform und föderierte Computer-Governance) und nutzt die vorhandenen personellen und technischen Ressourcen.

Zur Veranschaulichung dieses Ansatzes für den Aufbau eines erfolgreichen Datennetzes werden wir uns in dieser Artikelserie auf ein Beispiel stützen: das des fiktiven Unternehmens Premium Offices - einer gewerblichen Immobiliengesellschaft, deren Tätigkeit darin besteht, Immobilien zu erwerben und an Unternehmen zu vermieten.

In den vorangegangenen Artikeln dieser Reihe haben wir die Bereiche identifiziert, einen ersten use case definiert, das für die Entwicklung zuständige Team zusammengestellt und unsere ersten Datenprodukte erstellt. Nun ist es an der Zeit, zum letzten Prinzip des Datennetzes überzugehen: der föderalen Verwaltung von Daten.

Was ist föderale Computer-Governance?

Föderierte computergestützte Governance bezieht sich auf ein Governance-System, bei dem Entscheidungsfindung über mehrere Einrichtungen oder Organisationen verteilt sind, die computergestützte Algorithmen und verteilte Technologien verwenden. In diesem System ist die Entscheidungsfindung dezentralisiert, wobei jede teilnehmende Einheit ein gewisses Maß an Autonomie behält, während sie in einem breiteren Framework zusammenarbeitet. Die wichtigsten Merkmale der föderalen computergestützten Governance sind:

  • Dezentralisierung: Die Entscheidungsfindung ist auf mehrere Stellen verteilt und nicht auf eine einzige zentrale Behörde konzentriert.
  • Computergestützte Algorithmen: Algorithmen spielen eine wichtige Rolle bei der Steuerung von Prozessen, indem sie helfen, die Entscheidungsfindung zu automatisieren, Regeln durchzusetzen und Transparenz und Fairness zu gewährleisten.
  • Kollaborativer Framework: Die Einrichtungen arbeiten innerhalb eines breiteren Framework zusammen und teilen Ressourcen, Daten und Verantwortlichkeiten, um gemeinsame Ziele zu erreichen.
  • Transparenz und Rechenschaftspflicht: Die Verwendung von Rechenalgorithmen und verteilten Ledgern kann die Transparenz erhöhen, indem sie eine klare Aufzeichnung der Prozesse ermöglicht und die Rechenschaftspflicht zwischen den beteiligten Stellen sicherstellt.
  • Anpassungsfähigkeit und Widerstandsfähigkeit: Föderierte computergestützte Verwaltungssysteme sind so konzipiert, dass sie anpassungsfähig und widerstandsfähig sind und sich weiterentwickeln und auf Veränderungen in der Umgebung oder bei den Bedürfnissen der Teilnehmer reagieren können.

Die Herausforderungen einer föderalen Governance in einem Datennetz

Das vierte Prinzip des Datennetzes, die föderierte Rechenverwaltung, sieht vor, dass eine zentrale Stelle die Regeln und Standards festlegt, an die sich die Domänen halten müssen. Die lokalen Verantwortlichen sind für die Umsetzung dieser Regeln in ihrem Bereich verantwortlich und liefern der zentralen Stelle den Nachweis für die Einhaltung dieser Regeln - normalerweise in Form von Berichten.

Obwohl das Modell theoretisch einfach ist, steht seine Umsetzung oft vor internen kulturellen Herausforderungen. Dies ist insbesondere in stark regulierten Sektoren der Fall, in denen zentralisierte Governance-Teams nur ungern alle oder einen Teil der Kontrollen delegieren, für die sie in der Vergangenheit verantwortlich waren.

Federated Governance ist auch mit einer selten günstigen Realität konfrontiert: data governance ist eng mit Risikomanagement und Compliance verbunden, zwei Bereichen, die operative Teams selten begeistern.

Infolgedessen wird es schwierig, lokale Verantwortliche zu bestimmen oder bestimmte Aspekte der Governance an Datenprodukteigentümer zu übertragen - die zumeist bereits einen neuen Beruf erlernen müssen. Daher wird in den meisten großen Organisationen die föderierte Struktur wahrscheinlich von der zentralen Stelle nachgeahmt und dann schrittweise in den Bereichen eingeführt, wenn deren Reifegrad fortschreitet.

Um eine Explosion der Governance-Kosten oder eine Fragmentierung zu vermeiden, stellt sich Dehghani vor, dass die Datenplattform schließlich automatisch ganze Aspekte der Governance unterstützen könnte.

Die automatisierbaren Aspekte der Governance

Wir bei Zeenea glauben fest daran, dass die Automatisierung diese Herausforderung an mehreren Fronten lösen kann:

  • Qualitätskontrollen - Es gibt bereits viele Lösungen.
  • Rückverfolgbarkeit - Entwicklungsteams können bereits automatisch vollständige Informationen über die Herkunft ihrer Datenprodukte extrahieren und Transformationen dokumentieren.
  • Feinkörnige Verwaltung der Zugriffsrichtlinien - Es gibt bereits Lösungen, die alle zumindest auf Tagging-Informationen beruhen.

Mit ein wenig Fantasie könnte man sich sogar vorstellen, dass generative AI SQL-Abfragen zur Transformation analysiert und in natürliche Sprache übersetzt (Lösungen gibt es bereits) Der Weg ist natürlich lang, aber die Dezentralisierung ermöglicht einen iterativen Fortschritt, Bereich für Bereich, Produkt für Produkt. Und vergessen wir nicht, dass jeder Fortschritt bei der Automatisierung von Governance, in welchem Aspekt auch immer, auf der Produktion und Verarbeitung von Metadaten beruht.

Beispiel Premium Offices:

Bei Premium Offices hat das Data Office eine sehr defensive Governance-Kultur - da das Unternehmen auf dem Kapitalmarkt tätig ist, unterliegt es strengen regulatorischen Auflagen.

Im Rahmen des Pilotprojekts wurde beschlossen, den Framework nicht zu verändern. Qualität und Rückverfolgbarkeit liegen weiterhin in der Verantwortung des Datenbüros und werden rückwirkend mit dessen Instrumenten und Methoden angegangen. Auch die Zugangskontrolle fällt in den Zuständigkeitsbereich des Datenbüros - ein Verfahren in Form eines ServiceNow-Workflows ist bereits vorhanden (die Festlegung von Berechtigungen in BigQuery erfordert mehrere manuelle Vorgänge und Überprüfungen). Das einzige Zugeständnis besteht darin, dass der Workflow dahingehend geändert wird, dass die Zugriffsanfragen vom Product Owner überprüft werden, bevor sie vom Datenbüro genehmigt und verarbeitet werden. Mit anderen Worten: ein kleiner Schritt in Richtung einer föderalen Verwaltung.

Was die Metadaten betrifft, so müssen die neuen Tabellen und Ansichten in BigQuery sowohl auf der konzeptionellen als auch auf der physischen Ebene im zentralen Datenkatalog dokumentiert werden (der das Konzept des Datenprodukts nicht kennt). Dies ist ein deklarativer Prozess, den das Pilotteam bereits kennt. Das Tagging der Spalten wird vom Data Office nach der Auswertung vorgenommen.

Im Übrigen wird die Nutzer für die Datenprodukte in einem eigenen Bereich des internen Wikis verbreitet, der nach Bereichen gegliedert ist, eine sehr umfangreiche und strukturierte Dokumentation ermöglicht und über eine gute Suchmaschine verfügt.

Der praktische Leitfaden für Data Mesh: Einrichten und Überwachen eines unternehmensweiten Datennetzes

Unser Leitfaden wurde von Guillaume Bodet, Mitbegründer und CPTO bei Zeenea, verfasst und soll Ihnen praktische Strategien für die Implementierung von Data Mesh in Ihrem Unternehmen an die Hand geben:

  • Beginnen Sie Ihre Data Mesh Migration mit einem gezielten Pilotprojekt.
  • Entdecken Sie effiziente Methoden zur Skalierung Ihres Datennetzes.
  • Erkennen Sie die zentrale Rolle an, die ein interner Marktplatz bei der Erleichterung der effektiven Nutzung von Datenprodukten spielt.
  • Erfahren Sie, wie Zeenea zu einem robusten Überwachungssystem wird, das ein unternehmensweites Datennetz orchestriert.

Holen Sie sich das eBook.

actian avatar logo

Über Actian Corporation

Actian macht Daten einfach. Unsere Datenplattform vereinfacht die Verbindung, Verwaltung und Analyse von Daten in Cloud-, Hybrid- und lokalen Umgebungen. Mit jahrzehntelanger Erfahrung in den Bereichen Datenmanagement und -analyse liefert Actian leistungsstarke Lösungen, die es Unternehmen ermöglichen, datengesteuerte Entscheidungen zu treffen. Actian wird von führenden Analysten anerkannt und wurde für seine Leistung und Innovation mit Branchenpreisen ausgezeichnet. Unsere Teams präsentieren bewährte Anwendungsfälle auf Konferenzen (z. B. Strata Data) und tragen zu Open-Source-Projekten bei. Im ActianBlog behandeln wir Themen wie Echtzeit-Dateneingabe, Datenanalyse, Data Governance, Datenmanagement, Datenqualität, Datenintelligenz und KI-gesteuerte Analysen.