Construire une Marketplace pour le Data Mesh: Catalogues de données de domaine - Partie 3

Au cours de la dernière décennie, les catalogues de données ont émergé comme des piliers importants dans le paysage des initiatives basées sur les données. Cependant, de nombreux fournisseurs sur le marché ne répondent pas aux attentes avec des délais trop longs, des projets complexes et coûteux, des modèles bureaucratiques de gouvernance données, des taux d'adoption médiocres par les utilisateur et une création de faible valeur. Ce décalage s'étend au-delà des projets de gestion des métadonnées , reflétant un échec plus large au niveau de la gestion des données .

Compte tenu de ces lacunes, un nouveau concept gagne en popularité : la marketplace interne, ou ce que nous appelons la Marketplace données d'entreprise (EDM).

Dans cette série d'articles, vous trouverez un extrait de notre Guide pratique du Data Mesh dans lequel nous expliquons l'intérêt des places de marché de données internes pour la production et la consommation de produits de données, comment une GED permet d'exploiter le data mesh à plus grande échelle, et comment elles vont de pair avec un catalogue de données solution :

1. Faciliter la consommation de produits de données par le biais de métadonnées.
2. Mise en place d'une marketplace au niveau de l'entreprise.
3. Alimenter le marketplace par des catalogues de données spécifiques à un domaine.

Structurer la gestion des données autour de domaines et de data products est une transformation organisationnelle qui ne change pas la réalité opérationnelle de la plupart des organisations : les données sont disponibles en grandes quantités, à partir de nombreuses sources, évoluent rapidement et leur contrôle est complexe.

Les catalogues de données servent traditionnellement à inventorier toutes les données disponibles et à gérer un ensemble de métadonnées pour assurer le contrôle et établir des pratiques de gouvernance .

Le Data mesh n'élimine pas cette complexité : il permet de distinguer certaines données, gérées comme des data products, et destinées à être partagées et utilisées au-delà du domaine auquel elles appartiennent. Mais chaque domaine est également responsable de la gestion de ses données internes, qui seront utilisées pour développer des data products robustes et de grande valeur - ses données propriétaires, en d'autres termes.

Gestion des métadonnées dans le contexte d'une Marketplace interne alimentée par des catalogues spécifiques à un domaine

Dans le data mesh, le besoin d'un catalogue de données ne disparaît pas, bien au contraire : chaque domaine doit disposer d'un catalogue lui permettant de gérer efficacement ses données propriétaires, de support gouvernance domaine et d'accélérer le développement de data products robustes et de grande valeur. la gestion des métadonnées se fait donc à deux niveaux :

• Au niveau du domaine - sous la forme d'un catalogue permettant la documentation et l'organisation de l'univers de données du domaine. Le catalogue de données étant un composant propriétaire, il n'est pas nécessaire que tous les domaines utilisent la même solution.
• Au niveau de la maille - sous la forme d'une marketplace où sont enregistrés les data products partagés par tous les domaines ; la marketplace est naturellement commune à tous les domaines.

Avec une composante dédiée au marketplace , l'architecture générale de la gestion des métadonnées est la suivante :

Dans cette architecture, chaque domaine dispose de son propre catalogue - qui peut s'appuyer sur une solution unique ou non - mais qui doit être instancié pour chaque domaine afin de lui permettre d'organiser ses données le plus efficacement possible et d'éviter les écueils d'une organisation universelle métadonnées .

La marketplace est un composant dédié, offrant une ergonomie simplifiée, et dans lequel chaque domaine déploie des métadonnées (ou même des données) pour ses data products. Cette approche nécessite une intégration étroite des différents modules :

• Les catalogues de domaines doivent être intégrés à la marketplace pour éviter de dupliquer les efforts de production de certaines métadonnées - notamment le lignage, mais aussi les dictionnaires de données (schéma), voire les définitions commerciales qui seront présentes dans les deux systèmes.
• Les catalogues de domaines doivent potentiellement être intégrés les uns aux autres - pour partager/synchroniser certaines informations, principalement le glossaire métier mais aussi certains référentiels.

catalogue de données vs. EDM Fonctionnalités

Lorsque nous examinons les Fonctionnalités respectives d'une Marketplace données d'entreprise et d'un catalogue de données, nous nous rendons compte que ces Fonctionnalités sont très similaires :

En fin de compte, d'un point de vue strictement fonctionnel, leurs Fonctionnalités sont très similaires. Ce qui distingue un catalogue de données moderne d'une GED, ce sont les éléments suivants :

• Leur champ d'application - Le catalogue de données est destiné à couvrir toutes les données, tandis que la marketplace est limitée aux objets partagés par les domainesdata products et autres produits d'analyse de domaine).
• L'expérience des utilisateur - Le catalogue de données est souvent un outil assez complexe, conçu pour support processus degouvernance au niveau mondial - il se concentre sur les flux de travail de la gestion des données . La marketplace, quant à elle, offre typiquement une ergonomie très simple, fortement inspirée de celle d'une plateforme de commerce électronique, et propose une expérience centrée sur la consommation - le data shopping.

À propos d'Actian Corporation

Actian permet aux entreprises de gérer et de gouverner en toute confiance les données à l'échelle, en rationalisant les environnements de données complexes et en accélérant la fourniture de données prêtes pour l'IA. L'approche d'Actian en matière d'intelligence des données combine la découverte de données, la gestion des métadonnées et la gouvernance fédérée pour permettre une utilisation plus intelligente des données et améliorer la conformité. Grâce à desFonctionnalités intuitives libre-service , les utilisateurs professionnels et techniques peuvent trouver, comprendre et faire confiance aux actifs de données dans les environnements cloud, hybrides et sur site . Actian fournit des solutions de gestion des données flexibles à 42 millions d'utilisateurs au sein de sociétés Fortune 100 et d'autres entreprises dans le monde entier, tout en maintenant un taux de satisfaction de la clientèle de 95 %.