Construire une place de marché pour le Data Mesh : Catalogues de données de domaine - Partie 3

Au cours de la dernière décennie, les catalogues de données ont émergé comme des piliers importants dans le paysage des initiatives basées sur les données. Cependant, de nombreux fournisseurs sur le marché ne répondent pas aux attentes avec des délais trop longs, des projets complexes et coûteux, des modèles bureaucratiques de gouvernance données, des taux d'adoption médiocres par les utilisateur et une création de faible valeur. Ce décalage s'étend au-delà des projets de gestion des métadonnées , reflétant un échec plus large au niveau de la gestion des données .

Compte tenu de ces lacunes, un nouveau concept gagne en popularité : la place de marché interne, ou ce que nous appelons la place de marché des données d'entreprise (EDM) chez Zeenea.

Dans cette série d'articles, vous trouverez un extrait de notre Guide pratique du maillage de données dans lequel nous expliquons l'intérêt des places de marché de données internes pour la production et la consommation de produits de données, comment une GED permet d'exploiter le maillage de données à plus grande échelle, et comment elles vont de pair avec une solution de catalogue de données :

1. Faciliter la consommation de produits de données par le biais de métadonnées.
2. Mise en place d'une place de marché au niveau de l'entreprise.
3. Alimenter le marché par des catalogues de données spécifiques à un domaine.

Structurer la gestion des données autour de domaines et de produits de données est une transformation organisationnelle qui ne change pas la réalité opérationnelle de la plupart des organisations : les données sont disponibles en grandes quantités, proviennent de nombreuses sources, évoluent rapidement et leur contrôle est complexe.

Les catalogues de données servent traditionnellement à inventorier toutes les données disponibles et à gérer un ensemble de métadonnées pour assurer le contrôle et établir des pratiques de gouvernance .

Le maillage des données n'élimine pas cette complexité : il permet de distinguer certaines données, gérées comme des produits de données, et destinées à être partagées et utilisées au-delà du domaine auquel elles appartiennent. Mais chaque domaine est également responsable de la gestion de ses données internes, celles qui seront utilisées pour développer des produits de données robustes et de grande valeur - ses données propriétaires, en d'autres termes.

Gestion des métadonnées dans le contexte d'une place de marché interne alimentée par des catalogues spécifiques à un domaine

Dans le maillage des données, le besoin d'un catalogue de données ne disparaît pas, bien au contraire : chaque domaine doit disposer d'un catalogue lui permettant de gérer efficacement ses données propriétaires, de support gouvernance domaine et d'accélérer le développement de produits de données robustes et de grande valeur. la gestion des métadonnées se fait donc à deux niveaux :

• Au niveau du domaine - sous la forme d'un catalogue permettant la documentation et l'organisation de l'univers de données du domaine. Le catalogue de données étant un composant propriétaire, il n'est pas nécessaire que tous les domaines utilisent la même solution.
• Au niveau de la maille - sous la forme d'une place de marché où sont enregistrés les produits de données partagés par tous les domaines ; la place de marché est naturellement commune à tous les domaines.

Avec une composante dédiée au marché, l'architecture générale de la gestion des métadonnées est la suivante :

Dans cette architecture, chaque domaine dispose de son propre catalogue - qui peut s'appuyer sur une solution unique ou non - mais qui doit être instancié pour chaque domaine afin de lui permettre d'organiser ses données le plus efficacement possible et d'éviter les écueils d'une organisation universelle métadonnées .

La place de marché est un composant dédié, offrant une ergonomie simplifiée, et dans lequel chaque domaine déploie des métadonnées (ou même des données) pour ses produits de données. Cette approche nécessite une intégration étroite des différents modules :

• Les catalogues de domaines doivent être intégrés à la place de marché pour éviter de dupliquer les efforts de production de certaines métadonnées - notamment le lignage, mais aussi les dictionnaires de données (schéma), voire les définitions commerciales qui seront présentes dans les deux systèmes.
• Les catalogues de domaines doivent potentiellement être intégrés les uns aux autres - pour partager/synchroniser certaines informations, principalement le glossaire métier mais aussi certains référentiels.

catalogue de données vs. capacités de GED

Lorsque nous examinons les capacités respectives d'une place de marché de données d'entreprise et d'un catalogue de données, nous nous rendons compte qu'elles sont très similaires :

En fin de compte, d'un point de vue strictement fonctionnel, leurs capacités sont très similaires. Ce qui distingue un catalogue de données moderne d'une GED, ce sont les éléments suivants :

• Leur champ d'application - Le catalogue de données est destiné à couvrir toutes les données, tandis que la place de marché est limitée aux objets partagés par les domaines (produits de données et autres produits d'analyse de domaine).
• L'expérience des utilisateur - Le catalogue de données est souvent un outil assez complexe, conçu pour support processus degouvernance au niveau mondial - il se concentre sur les flux de travail de la gestion des données . La place de marché, quant à elle, offre typiquement une ergonomie très simple, fortement inspirée de celle d'une plateforme de commerce électronique, et propose une expérience centrée sur la consommation - le data shopping.

À propos d'Actian Corporation

Actian facilite l'accès aux données. Notre plateforme de données simplifie la façon dont les gens connectent, gèrent et analysent les données dans les environnements cloud, hybrides et sur site . Avec des décennies d'expérience dans la gestion des données et l'analyse, Actian fournit des solutions de de haute performance qui permettent aux entreprises de prendre des décisions basées sur les données. Actian est reconnu par les principaux analystes et a reçu des prix de l'industrie pour sa performance et son innovation. Nos équipes partagent des cas d'utilisation éprouvés lors de conférences (par exemple, Strata Data) et contribuent à des projets à code source ouvert. Sur le blog d'Actian, nous abordons des sujets tels que l'ingestion de données en temps réel, l'analyse de données, la gouvernance données, la gestion des données, la qualité des données, l'intelligence des données et l'analyse pilotée par l'IA.