Intelligence des données

Le voyage vers le Data Mesh - Partie 4 - gouvernance informatique fédérée

Actian Corporation

6 mai 2024

Bien que la littérature sur le maillage des données soit abondante, elle décrit souvent un état final, mais rarement la manière d'y parvenir dans la pratique. La question se pose alors :

Quelle approche adopter pour transformer la gestion des données et mettre en place un maillage de données ?

Dans cette série d'articles, vous trouverez un extrait de notre Guide pratique du maillage de données, dans lequel nous proposons une approche pour lancer un parcours de maillage de données dans votre organisation, structurée autour des quatre principes du maillage de données (propriété et architecture de données décentralisées orientées vers le domaine, données en tant que produit, infrastructure de données en libre-service en tant que plateforme, et gouvernance informatique fédérée) et en tirant parti des ressources humaines et technologiques existantes.

Tout au long de cette série d'articles, et afin d'illustrer cette approche pour construire les bases d'un maillage de données réussi, nous nous appuierons sur un exemple : celui de l'entreprise fictive Premium Offices - une société d'immobilier d'entreprise dont l'activité consiste à acquérir des biens immobiliers pour les louer à des entreprises.

Dans les articles précédents de la série, nous avons identifié les domaines, défini un premier cas d'usage, constitué l'équipe responsable de son développement et créé nos premiers produits de données. Il est maintenant temps de passer au dernier principe de maillage des données, la gouvernance informatique fédérée.

Qu'est-ce que la gouvernance informatique fédérée ?

La gouvernance informatique fédérée désigne un système de gouvernance dans lequel les processus de prise de décision sont répartis entre plusieurs entités ou organisations, à l'aide d'algorithmes informatiques et de technologies distribuées. Dans ce système, l'autorité de prise de prise de décision est décentralisée, chaque entité participante conservant un certain degré d'autonomie tout en collaborant dans un cadre plus large. Les principales caractéristiques de la gouvernanceinformatique fédérée sont les suivantes :

  • Décentralisation: l' autorité de prise de décision est répartie entre plusieurs entités plutôt que concentrée dans une seule autorité centrale.
  • Algorithmes informatiques: Les algorithmes jouent un rôle important dans les processus de gouvernance, en aidant à automatiser la prise de décision, à appliquer les règles et à garantir la transparence et l'équité.
  • Cadre de collaboration: Les entités collaborent dans un cadre plus large, en partageant les ressources, les données et les responsabilités pour atteindre des objectifs communs.
  • Transparence et responsabilité: L'utilisation d'algorithmes informatiques et de grands livres distribués peut améliorer la transparence en fournissant un enregistrement clair des processus et en garantissant la responsabilité des entités participantes.
  • Adaptabilité et résilience: Les systèmes de gouvernance informatique fédérés sont conçus pour être adaptables et résilients, capables d'évoluer et de répondre aux changements de l'environnement ou aux besoins des participants.

Les défis d'une gouvernance fédérée dans un maillage de données

Le quatrième principe du maillage de données, la gouvernance informatique fédérée, implique qu'un organe central définit les règles et les normes auxquelles les domaines doivent adhérer. Les dirigeants locaux sont chargés de mettre en œuvre ces règles dans leur domaine et de fournir à l'organe central des preuves de leur conformité, généralement sous la forme de rapports.

Bien que le modèle soit théoriquement simple, sa mise en œuvre se heurte souvent à des problèmes culturels internes. C'est particulièrement le cas dans les secteurs fortement réglementés, où les équipes de gouvernance centralisées sont réticentes à déléguer tout ou partie des contrôles dont elles sont historiquement responsables.

La gouvernance fédérée est également confrontée à une réalité de terrain rarement favorable : la gouvernance données est étroitement liée à la gestion des risques et à la conformité, deux domaines qui passionnent rarement les équipes opérationnelles.

Par conséquent, il devient difficile d'identifier les responsables locaux ou de transférer certains aspects de la gouvernance aux propriétaires de produits de données - qui, pour la plupart, doivent déjà apprendre une nouvelle profession. Par conséquent, dans la plupart des grandes organisations, la structure fédérée sera probablement émulée par l'organe central, puis progressivement mise en œuvre dans les domaines au fur et à mesure de leur maturité.

Pour éviter une explosion des coûts de gouvernance ou une fragmentation, M. Dehghani envisage que la plateforme de données puisse à terme support automatiquement support aspects entiers de la gouvernance.

Les aspects de la gouvernance qui peuvent être automatisés

Nous croyons fermement que l'automatisation doit permettre de relever ce défi sur plusieurs fronts :

  • Contrôles de qualité - De nombreuses solutions existent déjà.
  • Traçabilité - Les équipes de développement peuvent déjà extraire automatiquement des informations complètes sur la traçabilité de leurs produits de données et de leurs transformations de documents.
  • Gestion fine de la politique d'accès - Il existe déjà des solutions, qui reposent toutes au moins sur des informations de marquage.

Avec un peu d'imagination, on pourrait même imaginer une IA générative analysant les requêtes SQL de transformation et les traduisant en langage naturel (des solutions existent). La route est longue, bien sûr, mais la décentralisation permet des progrès itératifs, domaine par domaine, produit par produit. Et rappelons aussi que tout progrès dans l'automatisation de la gouvernance, sous quelque aspect que ce soit, repose sur la production et le traitement de métadonnées.

Exemple de bureaux de primes :

Chez Premium Offices, le Data Office a une culture de gouvernance très défensive - comme la société opère sur le marché des capitaux, elle est soumise à des contraintes réglementaires strictes.

Dans le cadre du projet pilote, il a été décidé de ne pas avoir d'impact sur le cadre de gouvernance . La qualité et la traçabilité restent de la responsabilité du Data Office et seront traitées rétroactivement avec leurs outils et méthodes. Le contrôle d'accès relèvera également de sa responsabilité - un processus est déjà en place, sous la forme d'un flux de travail ServiceNow (la définition des autorisations sur BigQuery nécessite plusieurs opérations manuelles et des examens). La seule concession est que le flux de travail sera modifié afin que les demandes d'accès soient vérifiées par le product owner données avant d'être approuvées et traitées par le Data Office. En d'autres termes, un petit pas vers la gouvernance fédérée.

En ce qui concerne les métadonnées, les nouvelles tables et vues de BigQuery doivent être documentées, tant au niveau conceptuel que physique, dans le catalogue de données central catalogue de données (qui ignore le concept de produit de données). Il s'agit d'un processus déclaratif que l'équipe pilote connaît déjà. L'étiquetage des colonnes sera effectué par le Data Office après l'évaluation.

Pour le reste, la documentation utilisateur pour les produits de données sera diffusée dans un espace dédié sur le wiki interne, organisé par domaine, qui permet une documentation très riche et structurée et dispose d'un moteur de recherche décent.

Le guide pratique du Data Mesh : Mise en place et supervision d'un Data Mesh à l'échelle de l'entreprise

Rédigé par Guillaume Bodet, notre guide a été conçu pour vous fournir des stratégies pratiques pour mettre en œuvre le maillage des données dans votre organisation, en vous aidant :

  • Commencez votre parcours de maillage de données par un projet pilote ciblé.
  • Découvrez des méthodes efficaces pour augmenter la taille de votre maillage de données.
  • Reconnaître le rôle essentiel que joue une place de marché interne pour faciliter la consommation effective des produits de données.
  • Découvrez comment la plateforme Actian Data Intelligence se présente comme un système de supervision robuste, orchestrant un maillage de données à l'échelle de l'entreprise.

Obtenez le livre électronique.

logo avatar actian

À propos d'Actian Corporation

Actian facilite l'accès aux données. Notre plateforme de données simplifie la façon dont les gens connectent, gèrent et analysent les données dans les environnements cloud, hybrides et sur site . Avec des décennies d'expérience dans la gestion des données et l'analyse, Actian fournit des solutions de de haute performance qui permettent aux entreprises de prendre des décisions basées sur les données. Actian est reconnu par les principaux analystes et a reçu des prix de l'industrie pour sa performance et son innovation. Nos équipes partagent des cas d'utilisation éprouvés lors de conférences (par exemple, Strata Data) et contribuent à des projets à code source ouvert. Sur le blog d'Actian, nous abordons des sujets tels que l'ingestion de données en temps réel, l'analyse de données, la gouvernance données, la gestion des données, la qualité des données, l'intelligence des données et l'analyse pilotée par l'IA.