Intelligence des données

Construire une place de marché pour Data Mesh : Faciliter les produits de données - Partie 1

Actian Corporation

28 mai 2024

Au cours de la dernière décennie, les catalogues de données ont émergé comme des piliers importants dans le paysage des initiatives basées sur les données. Cependant, de nombreux fournisseurs sur le marché ne répondent pas aux attentes avec des délais trop longs, des projets complexes et coûteux, des modèles bureaucratiques de gouvernance données, des taux d'adoption médiocres par les utilisateur et une création de faible valeur. Ce décalage s'étend au-delà des projets de gestion des métadonnées , reflétant un échec plus large au niveau de la gestion des données .

Compte tenu de ces lacunes, un nouveau concept gagne en popularité : la place de marché interne, ou ce que nous appelons la place de marché des données d'entreprise (EDM).

Dans cette série d'articles, vous trouverez un extrait de notre Guide pratique du maillage de données dans lequel nous expliquons l'intérêt des places de marché de données internes pour la production et la consommation de produits de données, comment une GED permet d'exploiter le maillage de données à plus grande échelle, et comment elles vont de pair avec une solution de catalogue de données :

  1. Faciliter la consommation de produits de données par le biais de métadonnées
  2. Mise en place d'une place de marché au niveau de l'entreprise
  3. Alimenter le marché par des catalogues de données spécifiques à un domaine

Avant de plonger dans le marché interne, revenons rapidement sur la notion de produit de données, qui est selon nous la pierre angulaire du maillage de données et la première étape de la transformation de la gestion des données.

Partager et exploiter les produits de données par le biais de métadonnées

Comme mentionné dans notre précédente série sur le maillage de données, un produit de données est unjeu de données gouverné, réutilisable et évolutif offrant des garanties de qualité des données et de conformité à diverses réglementations et règles internes. Notez que cette définition est assez restrictive - elle exclut d'autres types de produits tels que les algorithmes d'apprentissage automatique, les modèles ou les tableaux de bord.

Bien que ces artefacts doivent être gérés comme des produits, il ne s'agit pas de produits de données. Il s'agit d'autres types de produits, que l'on pourrait qualifier de manière très générale de "produits analytiques", dont les produits de données constituent un sous-ensemble.

Dans la pratique, un produit de données opérationnelles se compose de deux éléments :

  • Données - Matérialisées sur une plateforme de données centralisée ou décentralisée, garantissant l'adressage des données, l'interopérabilité et la sécurité d'accès.
  • métadonnées - Fournir toutes les informations nécessaires au partage et à l'utilisation des données.

métadonnées garantit que les consommateurs disposent de toutes les informations nécessaires à l'utilisation du produit.

Il couvre généralement les aspects suivants :

  • Schéma - Fournit la structure technique du produit de données, la classification des données, les échantillons et leur origine (lignée).
  • gouvernance - Identifier le(s) product owner(s) product owner, ses versions successives, son éventuelle dépréciation, etc.
  • Sémantique - Fournir une définition claire de l'information exposée, idéalement liée au glossaire commercial de l'organisation et à la documentation complète du produit de données.
  • Contrat - Définition des garanties de qualité, des modalités de consommation (protocoles et sécurité), des restrictions d'utilisation potentielles, des règles de redistribution, etc.

Dans la logique du maillage des données, ces métadonnées sont gérées par l'équipe produit et sont déployées selon le même cycle de vie que les données et les pipelines. Il reste une question fondamentale : où les métadonnées peuvent-elles être déployées ?

Utilisation d'une place de marché de données pour déployer des métadonnées

La plupart des organisations disposent déjà d'un système de gestion des métadonnées , généralement sous la forme d'un catalogue de données.

Mais les catalogues de données, dans leur forme actuelle, présentent des inconvénients majeurs :

  • Ils ne support pas toujours la notion de produit de données - celle-ci doit être plus ou moins émulée avec d'autres concepts.
  • Ils sont complexes à utiliser - conçus pour cataloguer un grand nombre d'actifs avec une granularité parfois très fine, ils souffrent souvent d'un manque d'adoption au-delà des équipes centralisées de gestion des données .
  • Elles imposent le plus souvent une organisation rigide et unique des données, décidée et conçue de manière centralisée - ce qui ne reflète pas la variété des différents domaines ou l'évolution de l'organisation au fur et à mesure que le maillage des données s'étend.
  • Leurs capacités de recherche sont souvent limitées, en particulier pour les aspects exploratoires - il est souvent nécessaire de savoir ce que l'on cherche pour pouvoir le trouver.
  • L'expérience qu'ils offrent manque parfois de la simplicité à laquelle les utilisateurs aspirent - recherche avec quelques mots clés, identification du produit de données approprié, puis déclenchement du processus opérationnel de demande d'accès ou de livraison des données.

La place de marché interne, ou Enterprise Data Marketplace (EDM), est donc un nouveau concept qui gagne en popularité dans le cercle du maillage de données. Comme une place de marché généraliste, l'EDM vise à fournir une expérience d'achat aux consommateurs de données. Il s'agit donc d'un élément essentiel pour assurer l'exploitation du maillage de données à plus grande échelle - il permet aux consommateurs de données de disposer d'un système simple et efficace pour rechercher et accéder à des produits de données provenant de différents domaines.

Dans notre prochain article, vous découvrirez les différentes façons de mettre en place une place de marché de données interne, et en quoi elle est essentielle pour l'exploitation de la maille de données.

logo avatar actian

À propos d'Actian Corporation

Actian facilite l'accès aux données. Notre plateforme de données simplifie la façon dont les gens connectent, gèrent et analysent les données dans les environnements cloud, hybrides et sur site . Avec des décennies d'expérience dans la gestion des données et l'analyse, Actian fournit des solutions de de haute performance qui permettent aux entreprises de prendre des décisions basées sur les données. Actian est reconnu par les principaux analystes et a reçu des prix de l'industrie pour sa performance et son innovation. Nos équipes partagent des cas d'utilisation éprouvés lors de conférences (par exemple, Strata Data) et contribuent à des projets à code source ouvert. Sur le blog d'Actian, nous abordons des sujets tels que l'ingestion de données en temps réel, l'analyse de données, la gouvernance données, la gestion des données, la qualité des données, l'intelligence des données et l'analyse pilotée par l'IA.