Blog | Intelligence des données | 6 mai 2024 | 6 min de lecture

Journey to Data Mesh – Part 4 – Federated Computational Governance

Par Actian Corporation

#Données Data Mesh #Plateforme de données

Par Actian Corporation

#Données Data Mesh #Plateforme de données

Résumé

  • Federated computational governance is the Data Mesh principle that combines decentralized ownership with shared rules and standards across the organization.
  • Its goal is to let domains stay autonomous while still complying with common governance, quality, security, and accountability requirements.
  • The biggest challenge is cultural: central governance teams are often reluctant to delegate, and local teams may not yet be ready to own governance responsibilities.
  • Automation is key to making federated governance practical, especially for quality checks, lineage, metadata handling, and access policy enforcement.
  • In practice, many organizations start with a mostly centralized model and then move gradually toward more federated governance as domain maturity increases.
Dans cet article :

Bien que la littérature sur le data mesh soit abondante, elle décrit souvent un état final, mais rarement la manière d'y parvenir dans la pratique. La question se pose alors :

Quelle approche adopter pour transformer la gestion des données et mettre en place un data mesh?

Dans cette série d'articles, vous trouverez un extrait de notre Guide pratique du Data Mesh, dans lequel nous proposons une approche pour lancer un parcours de data mesh data mesh dans votre organisation, structurée autour des quatre principes du data mesh (propriété et architecture de données décentralisées orientées vers le domaine, données en tant que produit, infrastructure de données en libre-service en tant que plateforme, et gouvernance informatique fédérée) et tirant parti des ressources humaines et technologiques existantes.

Tout au long de cette série d'articles, et afin d'illustrer cette approche pour construire les bases d'un data mesh réussi, nous nous appuierons sur un exemple : celui de l'entreprise fictive Premium Offices - une société d'immobilier d'entreprise dont l'activité consiste à acquérir des biens immobiliers pour les louer à des entreprises.

Dans les articles précédents de la série, nous avons identifié les domaines, défini un premier cas d'usage, constitué l'équipe responsable de son développement et créé nos premiers data products. Il est maintenant temps de passer au dernier principe de data mesh , la gouvernance informatique fédérée.

Qu'est-ce que la gouvernance informatique fédérée ?

La gouvernance informatique fédérée désigne un système de gouvernance dans lequel les processus de prise de décision sont répartis entre plusieurs entités ou organisations, à l'aide d'algorithmes informatiques et de technologies distribuées. Dans ce système, l'autorité de prise de prise de décision est décentralisée, chaque entité participante conservant un certain degré d'autonomie tout en collaborant dans un cadre plus large. Les principales caractéristiques de la gouvernanceinformatique fédérée sont les suivantes :

  • Decentralization: Decision-making authority is distributed among multiple entities rather than concentrated in a single central authority.
  • Computational Algorithms: Algorithms play a significant role in governing processes, helping to automate decision-making, enforce rules, and ensure transparency and fairness.
  • Collaborative Framework: Entities collaborate within a broader framework, sharing resources, data, and responsibilities to achieve common goals.
  • Transparency and Accountability: Using computational algorithms and distributed ledgers can enhance transparency by providing a clear record of processes and ensuring accountability among participating entities.
  • Adaptability and Resilience: Federated computational governance systems are designed to be adaptable and resilient, capable of evolving and responding to changes in the environment or the needs of participants.

Les défis d'une gouvernance fédérée dans un Data Mesh

Le quatrième principe du data mesh , la gouvernance informatique fédérée, implique qu'un organe central définit les règles et les normes auxquelles les domaines doivent adhérer. Les dirigeants locaux sont chargés de mettre en œuvre ces règles dans leur domaine et de fournir à l'organe central des preuves de leur conformité, généralement sous la forme de rapports.

Bien que le modèle soit théoriquement simple, sa mise en œuvre se heurte souvent à des problèmes culturels internes. C'est particulièrement le cas dans les secteurs fortement réglementés, où les équipes de gouvernance centralisées sont réticentes à déléguer tout ou partie des contrôles dont elles sont historiquement responsables.

La gouvernance fédérée est également confrontée à une réalité de terrain rarement favorable : la gouvernance données est étroitement liée à la gestion des risques et à la conformité, deux domaines qui passionnent rarement les équipes opérationnelles.

Par conséquent, il devient difficile d'identifier les responsables locaux ou de transférer certains aspects de la gouvernance aux propriétaires de produits de données - qui, pour la plupart, doivent déjà apprendre une nouvelle profession. Par conséquent, dans la plupart des grandes organisations, la structure fédérée sera probablement émulée par l'organe central, puis progressivement mise en œuvre dans les domaines au fur et à mesure de leur maturité.

Pour éviter une explosion des coûts de gouvernance ou une fragmentation, M. Dehghani envisage que la plateforme de données puisse à terme support automatiquement support aspects entiers de la gouvernance.

Les aspects de la gouvernance qui peuvent être automatisés

Nous croyons fermement que l'automatisation doit permettre de relever ce défi sur plusieurs fronts :

  • Contrôles de qualité - De nombreuses solutions existent déjà.
  • Traçabilité - Les équipes de développement peuvent déjà extraire automatiquement des informations complètes sur la traçabilité de leurs data products et de leurs transformations de documents.
  • Gestion fine de la politique d'accès - Il existe déjà des solutions, qui reposent toutes au moins sur des informations de marquage.

Avec un peu d'imagination, on pourrait même imaginer une IA générative analysant les requêtes SQL de transformation et les traduisant en langage naturel (des solutions existent). La route est longue, bien sûr, mais la décentralisation permet des progrès itératifs, domaine par domaine, produit par produit. Et rappelons aussi que tout progrès dans l'automatisation de la gouvernance, sous quelque aspect que ce soit, repose sur la production et le traitement de métadonnées.

Exemple de bureaux de primes :

Chez Premium Offices, le Data Office a une culture de gouvernance très défensive - comme la société opère sur le marché des capitaux, elle est soumise à des contraintes réglementaires strictes.

Dans le cadre du projet pilote, il a été décidé de ne pas avoir d'impact sur le cadre de gouvernance . La qualité et la traçabilité restent de la responsabilité du Data Office et seront traitées rétroactivement avec leurs outils et méthodes. Le contrôle d'accès relèvera également de sa responsabilité - un processus est déjà en place, sous la forme d'un workflow ServiceNow (la définition des autorisations sur BigQuery nécessite plusieurs opérations manuelles et des examens). La seule concession est que le workflow sera modifié afin que les demandes d'accès soient vérifiées par le product owner données avant d'être approuvées et traitées par le Data Office. En d'autres termes, un petit pas vers la gouvernance fédérée.

En ce qui concerne les métadonnées, les nouvelles tables et vues de BigQuery doivent être documentées, tant au niveau conceptuel que physique, dans le catalogue de données central catalogue de données (qui ignore le concept de produit de données). Il s'agit d'un processus déclaratif que l'équipe pilote connaît déjà. L'étiquetage des colonnes sera effectué par le Data Office après l'évaluation.

Pour le reste, la documentation utilisateur pour les data products sera diffusée dans un espace dédié sur le wiki interne, organisé par domaine, qui permet une documentation très riche et structurée et dispose d'un moteur de recherche décent.

Le guide pratique du Data Mesh: Mise en place et supervision d'un Data Mesh à l'échelle de l'entreprise

Rédigé par Guillaume Bodet, notre guide a été conçu pour vous fournir des stratégies pratiques pour mettre en œuvre le data mesh dans votre organisation, en vous aidant :

  • Commencez votre parcours de data mesh par un projet pilote ciblé.
  • Découvrez des méthodes efficaces pour augmenter la taille de votre data mesh.
  • Reconnaître le rôle essentiel que joue une marketplace interne pour faciliter la consommation effective des data products.
  • Découvrez comment la plateforme Actian Data Intelligence se présente comme un système de supervision robuste, orchestrant un data mesh à l'échelle de l'entreprise.
Télécharger l'eBook