Le voyage vers le Data Mesh - Partie 4 - gouvernance informatique fédérée
Actian Corporation
6 mai 2024

Bien que la littérature sur le maillage des données soit abondante, elle décrit souvent un état final, mais rarement la manière d'y parvenir dans la pratique. La question se pose alors :
Quelle approche adopter pour transformer la gestion des données et mettre en place un maillage de données ?
Dans cette série d'articles, vous trouverez un extrait de notre Guide pratique du maillage de données, dans lequel nous proposons une approche pour lancer un parcours de maillage de données dans votre organisation, structurée autour des quatre principes du maillage de données (propriété et architecture de données décentralisées orientées vers le domaine, données en tant que produit, infrastructure de données en libre-service en tant que plateforme, et gouvernance informatique fédérée) et en tirant parti des ressources humaines et technologiques existantes.
- Partie 1 : Déterminer la portée de votre projet pilote
- Partie 2 : Mise en place d'une équipe de développement et d'une plate-forme de données pour le projet pilote
- Partie 3 : Création de vos premiers produits de données
- Partie 4 : Mise en œuvre de la gouvernance informatique fédérée
Tout au long de cette série d'articles, et afin d'illustrer cette approche pour construire les bases d'un maillage de données réussi, nous nous appuierons sur un exemple : celui de l'entreprise fictive Premium Offices - une société d'immobilier d'entreprise dont l'activité consiste à acquérir des biens immobiliers pour les louer à des entreprises.
Dans les articles précédents de la série, nous avons identifié les domaines, défini un premier cas d'usage, constitué l'équipe responsable de son développement et créé nos premiers produits de données. Il est maintenant temps de passer au dernier principe de maillage des données, la gouvernance informatique fédérée.
Qu'est-ce que la gouvernance informatique fédérée ?
La gouvernance informatique fédérée désigne un système de gouvernance dans lequel les processus de prise de décision sont répartis entre plusieurs entités ou organisations, à l'aide d'algorithmes informatiques et de technologies distribuées. Dans ce système, l'autorité de prise de prise de décision est décentralisée, chaque entité participante conservant un certain degré d'autonomie tout en collaborant dans un cadre plus large. Les principales caractéristiques de la gouvernanceinformatique fédérée sont les suivantes :
- Décentralisation: l' autorité de prise de décision est répartie entre plusieurs entités plutôt que concentrée dans une seule autorité centrale.
- Algorithmes informatiques: Les algorithmes jouent un rôle important dans les processus de gouvernance, en aidant à automatiser la prise de décision, à appliquer les règles et à garantir la transparence et l'équité.
- Cadre de collaboration: Les entités collaborent dans un cadre plus large, en partageant les ressources, les données et les responsabilités pour atteindre des objectifs communs.
- Transparence et responsabilité: L'utilisation d'algorithmes informatiques et de grands livres distribués peut améliorer la transparence en fournissant un enregistrement clair des processus et en garantissant la responsabilité des entités participantes.
- Adaptabilité et résilience: Les systèmes de gouvernance informatique fédérés sont conçus pour être adaptables et résilients, capables d'évoluer et de répondre aux changements de l'environnement ou aux besoins des participants.
Les défis d'une gouvernance fédérée dans un maillage de données
Le quatrième principe du maillage de données, la gouvernance informatique fédérée, implique qu'un organe central définit les règles et les normes auxquelles les domaines doivent adhérer. Les dirigeants locaux sont chargés de mettre en œuvre ces règles dans leur domaine et de fournir à l'organe central des preuves de leur conformité, généralement sous la forme de rapports.
Bien que le modèle soit théoriquement simple, sa mise en œuvre se heurte souvent à des problèmes culturels internes. C'est particulièrement le cas dans les secteurs fortement réglementés, où les équipes de gouvernance centralisées sont réticentes à déléguer tout ou partie des contrôles dont elles sont historiquement responsables.
La gouvernance fédérée est également confrontée à une réalité de terrain rarement favorable : la gouvernance données est étroitement liée à la gestion des risques et à la conformité, deux domaines qui passionnent rarement les équipes opérationnelles.
Par conséquent, il devient difficile d'identifier les responsables locaux ou de transférer certains aspects de la gouvernance aux propriétaires de produits de données - qui, pour la plupart, doivent déjà apprendre une nouvelle profession. Par conséquent, dans la plupart des grandes organisations, la structure fédérée sera probablement émulée par l'organe central, puis progressivement mise en œuvre dans les domaines au fur et à mesure de leur maturité.
Pour éviter une explosion des coûts de gouvernance ou une fragmentation, M. Dehghani envisage que la plateforme de données puisse à terme support automatiquement support aspects entiers de la gouvernance.
Les aspects de la gouvernance qui peuvent être automatisés
Chez Zeenea, nous croyons fermement que l'automatisation doit permettre de relever ce défi sur plusieurs fronts :
- Contrôles de qualité - De nombreuses solutions existent déjà.
- Traçabilité - Les équipes de développement peuvent déjà extraire automatiquement des informations complètes sur la traçabilité de leurs produits de données et de leurs transformations de documents.
- Gestion fine de la politique d'accès - Il existe déjà des solutions, qui reposent toutes au moins sur des informations de marquage.
Avec un peu d'imagination, on pourrait même imaginer une IA générative analysant les requêtes SQL de transformation et les traduisant en langage naturel (des solutions existent). La route est longue, bien sûr, mais la décentralisation permet des progrès itératifs, domaine par domaine, produit par produit. Et rappelons aussi que tout progrès dans l'automatisation de la gouvernance, sous quelque aspect que ce soit, repose sur la production et le traitement de métadonnées.
Exemple de bureaux de primes :
Chez Premium Offices, le Data Office a une culture de gouvernance très défensive - comme la société opère sur le marché des capitaux, elle est soumise à des contraintes réglementaires strictes.
Dans le cadre du projet pilote, il a été décidé de ne pas avoir d'impact sur le cadre de gouvernance . La qualité et la traçabilité restent de la responsabilité du Data Office et seront traitées rétroactivement avec leurs outils et méthodes. Le contrôle d'accès relèvera également de sa responsabilité - un processus est déjà en place, sous la forme d'un flux de travail ServiceNow (la définition des autorisations sur BigQuery nécessite plusieurs opérations manuelles et des examens). La seule concession est que le flux de travail sera modifié afin que les demandes d'accès soient vérifiées par le product owner données avant d'être approuvées et traitées par le Data Office. En d'autres termes, un petit pas vers la gouvernance fédérée.
En ce qui concerne les métadonnées, les nouvelles tables et vues de BigQuery doivent être documentées, tant au niveau conceptuel que physique, dans le catalogue de données central catalogue de données (qui ignore le concept de produit de données). Il s'agit d'un processus déclaratif que l'équipe pilote connaît déjà. L'étiquetage des colonnes sera effectué par le Data Office après l'évaluation.
Pour le reste, la documentation utilisateur pour les produits de données sera diffusée dans un espace dédié sur le wiki interne, organisé par domaine, qui permet une documentation très riche et structurée et dispose d'un moteur de recherche décent.
Le guide pratique du Data Mesh : Mise en place et supervision d'un Data Mesh à l'échelle de l'entreprise
Rédigé par Guillaume Bodet, cofondateur et CPTO de Zeenea, notre guide a été conçu pour vous fournir des stratégies pratiques pour mettre en œuvre le maillage des données dans votre organisation, en vous aidant :
- Commencez votre parcours de maillage de données par un projet pilote ciblé.
- Découvrez des méthodes efficaces pour augmenter la taille de votre maillage de données.
- Reconnaître le rôle essentiel que joue une place de marché interne pour faciliter la consommation effective des produits de données.
- Découvrez comment Zeenea devient un système de supervision robuste, orchestrant un maillage de données à l'échelle de l'entreprise.
S'abonner au blog d'Actian
Abonnez-vous au blogue d'Actian pour recevoir des renseignements sur les données directement à vous.
- Restez informé - Recevez les dernières informations sur l'analyse des données directement dans votre boîte de réception.
- Ne manquez jamais un article - Vous recevrez des mises à jour automatiques par courrier électronique pour vous avertir de la publication de nouveaux articles.
- Tout dépend de vous - Modifiez vos préférences de livraison en fonction de vos besoins.