Construire une Marketplace pour Data Mesh: Faciliter les produits de données - Partie 1
Actian Corporation
28 mai 2024
Au cours de la dernière décennie, les catalogues de données ont émergé comme des piliers importants dans le paysage des initiatives basées sur les données. Cependant, de nombreux fournisseurs sur le marché ne répondent pas aux attentes avec des délais trop longs, des projets complexes et coûteux, des modèles bureaucratiques de gouvernance données, des taux d'adoption médiocres par les utilisateur et une création de faible valeur. Ce décalage s'étend au-delà des projets de gestion des métadonnées , reflétant un échec plus large au niveau de la gestion des données .
Compte tenu de ces lacunes, un nouveau concept gagne en popularité : la marketplace interne, ou ce que nous appelons la Marketplace données d'entreprise (EDM).
Dans cette série d'articles, vous trouverez un extrait de notre Guide pratique du Data Mesh, dans lequel nous expliquons l'intérêt des places de marché de données internes pour la production et la consommation de produits de données, comment une GED permet d'exploiter le data mesh à plus grande échelle, et comment elles vont de pair avec une solution de catalogue de données :
- Faciliter la consommation de produits de données par le biais de métadonnées
- Mise en place d'une marketplace au niveau de l'entreprise
- Alimenter le marketplace par des catalogues de données spécifiques à un domaine
Avant de plonger dans le marketplace interne, revenons rapidement sur la notion de produit de données, qui est selon nous la pierre angulaire du data mesh et la première étape de la transformation de la gestion des données.
Partager et exploiter les Data Products par le biais de métadonnées
Comme mentionné dans notre précédente série sur le data mesh, un produit de données est unjeu de données gouverné, réutilisable et évolutif offrant des garanties de qualité des données et de conformité à diverses réglementations et règles internes. Notez que cette définition est assez restrictive - elle exclut d'autres types de produits tels que les algorithmes d'apprentissage automatique, les modèles ou les tableaux de bord.
Bien que ces artefacts doivent être gérés comme des produits, il ne s'agit pas de data products. Il existe d'autres types de produits, que l'on pourrait qualifier de manière très générale de "produits analytiques", dont les data products constituent un sous-ensemble.
Dans la pratique, un produit de données opérationnelles se compose de deux éléments :
- Données - Matérialisées sur une plateforme de données centralisée ou décentralisée, garantissant l'adressage des données, l'interopérabilité et la sécurité d'accès.
- métadonnées - Fournir toutes les informations nécessaires au partage et à l'utilisation des données.
métadonnées garantit que les consommateurs disposent de toutes les informations nécessaires à l'utilisation du produit.
Il couvre généralement les aspects suivants :
- Schéma - Fournit la structure technique du produit de données, la classification des données, les échantillons et leur origine (lignée).
- gouvernance - Identifier le(s) product owner(s) product owner, ses versions successives, son éventuelle dépréciation, etc.
- Sémantique - Fournir une définition claire de l'information exposée, idéalement liée au glossaire commercial de l'organisation et à la documentation complète du produit de données.
- Contrat - Définition des garanties de qualité, des modalités de consommation (protocoles et sécurité), des restrictions d'utilisation potentielles, des règles de redistribution, etc.
Dans la logique du data mesh , ces métadonnées sont gérées par l'équipe produit et sont déployées selon le même cycle de vie que les données et les pipelines. Il reste une question fondamentale : où les métadonnées peuvent-elles être déployées ?
Utilisation d'une Marketplace données pour déployer des métadonnées
La plupart des organisations disposent déjà d'un système de gestion des métadonnées , généralement sous la forme d'un catalogue de données.
Mais les catalogues de données, dans leur forme actuelle, présentent des inconvénients majeurs :
- Ils ne support pas toujours la notion de produit de données - celle-ci doit être plus ou moins émulée avec d'autres concepts.
- Ils sont complexes à utiliser - conçus pour cataloguer un grand nombre d'actifs avec une granularité parfois très fine, ils souffrent souvent d'un manque d'adoption au-delà des équipes centralisées de gestion des données .
- Elles imposent le plus souvent une organisation rigide et unique des données, décidée et conçue de manière centralisée - ce qui ne reflète pas la variété des différents domaines ou l'évolution de l'organisation au fur et à mesure que le data mesh s'étend.
- Leurs Fonctionnalités recherche sont souvent limitées, en particulier pour les aspects exploratoires - il est souvent nécessaire de savoir ce que l'on cherche pour pouvoir le trouver.
- L'expérience qu'ils offrent manque parfois de la simplicité à laquelle les utilisateurs aspirent - recherche avec quelques mots clés, identification du produit de données approprié, puis déclenchement du processus opérationnel de demande d'accès ou de livraison des données.
La marketplace interne, ou Enterprise Data Marketplace (EDM), est donc un nouveau concept qui gagne en popularité dans le cercle du data mesh . Comme une marketplace généraliste, l'EDM vise à fournir une expérience d'achat aux consommateurs de données. Il s'agit donc d'un élément essentiel pour assurer l'exploitation du data mesh plus grande échelle - il permet aux consommateurs de données de disposer d'un système simple et efficace pour rechercher et accéder à des data products provenant de différents domaines.
Dans notre prochain article, vous découvrirez les différentes façons de mettre en place une marketplace données interne, et en quoi elle est essentielle pour l'exploitation de la data mesh
S'abonner au blog d'Actian
Abonnez-vous au blogue d'Actian pour recevoir des renseignements sur les données directement à vous.
- Restez informé - Recevez les dernières informations sur l'analyse des données directement dans votre boîte de réception.
- Ne manquez jamais un article - Vous recevrez des mises à jour automatiques par courrier électronique pour vous avertir de la publication de nouveaux articles.
- Tout dépend de vous - Modifiez vos préférences de livraison en fonction de vos besoins.
S'abonner
(c'est-à-dire sales@..., support...).