Data Marketplace: un glossaire complet destiné aux équipes chargées des données et de l'analyse

Introduction

Une marketplace des données marketplace un environnement où gouvernance des données, les produits de données et libre-service convergent au sein d’une seule couche opérationnelle. Les organisations qui développent ou adoptent des places de marché répondent à un besoin précis : les données existent, les utilisateurs en ont besoin, mais le parcours entre le producteur et le consommateur est lent, non gouverné et dépend d’une intervention manuelle à chaque étape. Les termes de ce glossaire définissent les capacités, les rôles et les composants architecturaux qui rendent les places de marché des données d’entreprise fiables, gouvernées et évolutif.

Concept fondamental

Qu'est-ce qu'une marketplace de données ?

Une marketplace de données marketplace une plateforme régie par des règles sur laquelle les producteurs de données publient des ressources de données sélectionnées et documentées, et où les consommateurs de données peuvent découvrir, évaluer et accéder à ces ressources à la demande. Elle allie la facilité de recherche d’un catalogue de données et les capacités transactionnelles et de gestion des accès nécessaires pour que les données circulent entre producteurs et consommateurs de manière structurée et vérifiable.

Ce concept est né d’un échec concret. La plupart des grandes entreprises ont accumulé d’importants volumes de données répartis entre leurs différentes divisions, plateformes cloud et leurs systèmes opérationnels. Ces données sont techniquement accessibles, mais pratiquement invisibles : les utilisateurs ignorent leur existence, ne peuvent pas évaluer leur qualité ni leur pertinence, et ne disposent d’aucun moyen réglementé d’y accéder sans passer par une équipe d’ingénierie des données. Il en résulte une duplication des efforts, des définitions incohérentes et des analyses fondées sur des données que personne n’a validées.

Une marketplace de données marketplace ce problème en rendant les produits de données faciles à trouver, documentés et accessibles via une libre-service , tout en préservant les gouvernance qui déterminent qui peut accéder à quoi et dans quelles conditions. Le producteur publie un produit de données sur la marketplace la documentation, les scores de qualité, le contexte de traçabilité et les conditions d’accès. L’utilisateur le trouve, l’évalue, puis en fait la demande ou s’y abonne. La plateforme gère la transaction, applique la politique d’accès et enregistre l’utilisation.

Dans la pratique, les places de marché de données d'entreprise s'adressent à trois publics distincts. Les utilisateurs métier souhaitent libre-service à des données fiables, sans avoir à faire appel au service informatique à chaque demande. Les équipes chargées des données et des plateformes souhaitent réduire le volume de demandes ponctuelles et s'assurer que les données quittant leur domaine sont documentées et soumises à une gouvernance appropriée. Les équipes gouvernance la conformité souhaitent avoir une visibilité sur les données utilisées, leurs utilisateurs et leurs finalités. Une marketplace bien conçue marketplace simultanément marketplace ces trois publics.

Les places de marché de données constituent un prolongement naturel des data mesh , dans lesquelles les équipes métier publient des produits de données destinés à être utilisés dans l'ensemble de l'organisation. Elles ne relèvent toutefois pas exclusivement data mesh : les organisations qui ne disposent pas de déploiements « mesh » formels avantage tout de même avantage marketplace pour mettre en place un échange de données inter-métiers à la fois régulé et libre-service.

Termes du glossaire

Contrôle d'accès

Les politiques et mécanismes qui déterminent quels utilisateurs, rôles et systèmes sont autorisés à accéder à des ressources de données spécifiques au sein d'une marketplace. Dans marketplace , le contrôle d'accès s'exerce à plusieurs niveaux : l'authentification au niveau de la plateforme, les autorisations au niveau des ressources qui déterminent qui peut consulter ou s'abonner à un produit de données, les contrôles au niveau des champs qui restreignent l'accès aux colonnes sensibles au sein d'un jeu de données par ailleurs accessible, et les contrôles basés sur la finalité qui limitent l'utilisation à des cas d'utilisation spécifiques approuvés.

C’est un contrôle d’accès efficace qui marketplace une marketplace données marketplace un lac de données non contrôlé. Sans cela,libre-service marketplace libre-service gouvernance : tout utilisateur un identifiant peut accéder à n’importe quel jeu de données. Grâce à un contrôle d’accès granulaire intégré à l’infrastructure d’identité d’une organisation, libre-service gouvernance . Les utilisateurs découvrent et demandent des données en toute liberté ; la plateforme veille au respect des conditions d’accès définies par le propriétaire des données.

Le contrôle d'accès génère également la piste d'audit dont les équipes chargées de la conformité ont besoin. Chaque demande d'accès, chaque autorisation et chaque événement lié à l'utilisation des données est consigné en fonction d'un utilisateur, d'un rôle et d'un actif spécifiques, fournissant ainsi la documentation nécessaire aux rapports réglementaires sans qu'il soit nécessaire de procéder à une reconstitution manuelle.

Termes associés : gouvernance des données, gestion des données, politique d'utilisation, produits de données

catalogue de données dans marketplace d'une marketplace )

La couche de découverte et d'inventaire qui sous-tend une marketplace de données. Un catalogue de données répertorie les ressources de données, leurs métadonnées, leur propriété, leur traçabilité et leur contexte de qualité, et permet d’effectuer des recherches parmi celles-ci. Une marketplace le catalogue en y ajoutant des fonctionnalités transactionnelles : gestion des accès, conditions de licence, suivi de l’utilisation et workflows de consommation.

Cette distinction revêt une importance opérationnelle. Un catalogue indique aux utilisateurs quelles données existent et ce qu’elles signifient. Une marketplace leur marketplace agir sur ces données : demander un accès, s’abonner à un produit de données, suivre leur utilisation et recevoir des notifications lorsque les données changent. Les organisations qui disposent d’un catalogue mais pas marketplace ont marketplace une bonne visibilité sur les données, mais une accessibilité médiocre : les utilisateurs peuvent trouver les données, mais ne peuvent y accéder sans ouvrir un ticket.

Certaines plateformes le catalogue et marketplace deux systèmes distincts qui s'intègrent. D'autres les considèrent comme deux facettes d'une même plateforme. Dans tous les cas, métadonnées du catalogue qui garantissent la fiabilité marketplace : un produit répertorié sur une marketplace métadonnées de qualité équivalente à celles du catalogue métadonnées une « boîte noire » que les consommateurs ne peuvent en aucun cas évaluer.

Termes associés : découverte de données, métadonnées , produits de données, métadonnées actives

Contrat de données

Accord formel conclu entre un producteur de données et un consommateur de données, qui précise la structure, la sémantique, les normes de qualité, la fréquence de mise à jour et gouvernance d'un produit de données. Sur une marketplace, les contrats de données constituent le mécanisme qui rend les engagements des producteurs explicites et exécutoires.

Un contrat de données définit ce jeu de données un jeu de données , quelle forme il revêt, quelle qualité le producteur garantit, comment les modifications incompatibles seront communiquées, et de quels recours disposent les utilisateurs en cas de violation du contrat. Sans contrats, les produits marketplace ne sont que des promesses non documentées. Grâce à eux, ce sont des actifs gérés, assortis d'une responsabilité clairement définie.

Les contrats de données réduisent le coût des défaillances en aval. Lorsqu’un producteur modifie un schéma ou altère la qualité sans préavis, tous les consommateurs en aval en subissent les conséquences sans s’en rendre compte. Un contrat oblige le producteur à versionner la modification, à en informer les abonnés et à maintenir la rétrocompatibilité pendant une période définie. Les consommateurs savent sur quoi ils s’appuient pour développer leurs applications et peuvent ainsi anticiper les changements, plutôt que de les découvrir lorsque leurs pipelines tombent en panne.

Termes associés : produits de données, gouvernance des données, gestion des données, SLA, traçabilité des données

Échange de données

Processus par lequel les données sont transférées d'un producteur à un consommateur via un canal réglementé et documenté. Dans marketplace , l'échange de données fait spécifiquement référence à la couche transactionnelle : workflow comprenant la demande, l'approbation, l'octroi de licence et la livraison, workflow régit la manière dont un consommateur obtient l'accès à un produit de données.

L'échange de données peut être interne — lorsqu'une unité opérationnelle partage un jeu de données réglementé jeu de données une autre — ou externe, impliquant des fournisseurs de données tiers, des partenaires ou des clients. L'échange externe s'accompagne d'exigences supplémentaires en matière de licences, de tarification, de restrictions d'utilisation et de conformité réglementaire, ce qui n'est généralement pas le cas pour l'échange interne.

C'est gouvernance échanges gouvernance données qui distingue une marketplace un espace de stockage partagé ou marketplace une API non documentée. Chaque échange est consigné conformément à une politique d'accès définie, à un utilisateur un rôle spécifique, à un objectif déclaré et à un produit de données documenté. C'est cette piste d'audit qui rend le marketplace défendable dans les secteurs réglementés.

Termes associés : produits de données, contrôle d'accès, politique d'utilisation, contrat de données, gouvernance des données

Monétisation des données

La pratique consistant à générer de la valeur économique à partir d'actifs de données, soit en les vendant ou en les concédant sous licence à des tiers, soit en les mettant à disposition en interne afin de favoriser des analyses plus productives et prise de décision. La monétisation externe consiste à présenter les données sous forme de produit et à les mettre à la disposition d'acheteurs ou de partenaires externes via une marketplace une infrastructure de gestion des licences et de tarification. La monétisation interne considère les données comme une ressource partagée dont l'utilisation à plus grande échelle génère de la valeur commerciale à l'échelle de l'organisation.

La plupart marketplace de données d'entreprise se concentrent d'abord sur la monétisation interne : mettre les données présentes dans une partie de l'organisation à la disposition des équipes qui en ont besoin, réduire les doublons dans la collecte et la préparation des données, et accélérer l'obtention insight. La monétisation externe, dans le cadre de laquelle les organisations vendent des données à des tiers, nécessite une infrastructure de conformité supplémentaire, un examen juridique et des modèles de tarification.

Les conditions préalables à ces deux formes de monétisation sont les mêmes : les produits de données doivent être documentés, faire l'objet d'une évaluation de la qualité, être soumis à une gouvernance et être accessibles via une interface structurée. Les données qui ne peuvent être considérées comme fiables, décrites ou exploitées sans intervention manuelle n'ont aucune valeur de monétisation, que ce soit en interne ou en externe.

Termes associés : produits de données, échange de données, contrat de données, contrôle d'accès, gouvernance des données

Produit de données

Ressource de données sélectionnée, documentée et gérée, mise à disposition pour être exploitée par des tiers. Un produit de données dispose d’un propriétaire clairement identifié, d’un schéma documenté, d’une norme de qualité définie, d’une politique de gestion des versions et d’un processus permettant de communiquer les modifications aux utilisateurs. Il est géré avec la même rigueur qu’un produit logiciel : il possède un cycle de vie, une feuille de route et une responsabilité quant à sa fiabilité.

Le concept de « produit de données » constitue l'unité fondamentale d'une marketplace des données. Ce qui est référencé, découvert, souscrit et consommé sur une marketplace pas un tableau brut ou un fichier, mais bien un produit de données qui a été préparé, documenté et soumis à des gouvernance de qualité et gouvernance .

Ce qui distingue un produit de données d’un jeu de données brut jeu de données la responsabilité. Un jeu de données brut jeu de données , tout simplement. Un produit de données, quant à lui, appartient à une équipe qui est responsable de son exactitude, de sa documentation, de ses politiques d’accès et de sa fiabilité à long terme. Lorsqu’un problème survient avec un jeu de données brut, il se peut qu’il n’y ait personne à qui s’adresser. Lorsqu’un problème survient avec un produit de données, le propriétaire est clairement identifié dans le catalogue, a signé le contrat de données et est tenu de le résoudre.

Termes associés : contrat de données, gouvernance des données, gestion des données, catalogue de données, échange de données

Provenance des données

Historique documenté de l'origine, des mouvements et des transformations d'un ensemble de données. La provenance permet de déterminer d'où proviennent les données, comment elles ont été collectées ou générées, quels traitements elles ont subis et comment elles ont abouti à leur forme actuelle. Dans marketplace , la provenance constitue le fondement de la confiance pour chaque fiche produit relative aux données.

Les consommateurs qui évaluent un produit de données s'appuient sur la provenance pour déterminer si les données sous-jacentes sont adaptées à leur cas d'usage. Un jeu de données d'une source fiable, obtenu à l'issue de transformations documentées et vérifiables, est plus fiable qu'un jeu de données dont l'origine est opaque. La documentation de la provenance constitue également une exigence de conformité dans les secteurs réglementés, où les organisations doivent démontrer la traçabilité et le traitement des données utilisées dans les processus réglementés.

La provenance est liée à la traçabilité, mais s'en distingue. La traçabilité permet de suivre le parcours des données au sein des systèmes techniques. La provenance englobe quant à elle le contexte plus large de l'origine des données, notamment la source externe, la méthodologie de collecte, la base de consentement pour les données à caractère personnel, ainsi que toute certification externe ou évaluation de qualité effectuée avant que les données n'entrent dans les systèmes de l'organisation.

Termes associés : traçabilité des données, qualité des données, contrats de données, métadonnées , gouvernance des données

Responsable des données (marketplace )

Dans marketplace , le gestionnaire de données est la personne ou l'équipe chargée de la gestion quotidienne d'un ou plusieurs produits de données. Cela comprend la mise à jour de la documentation et métadonnées, le suivi des scores de qualité, la gestion des demandes d'accès, l'examen et la validation des abonnements, la communication des modifications aux utilisateurs, ainsi que la certification jeux de données normes de qualité définies.

Le gestionnaire de données est le pivot opérationnel entre le producteur qui génère les données et les utilisateurs qui en dépendent. Sans gestionnaire actif, les produits de données perdent de leur pertinence : métadonnées obsolètes, les problèmes de qualité ne sont pas résolus, les demandes d'accès restent sans réponse. marketplace reste visible, mais perd toute crédibilité.

Dans les organisations ayant data mesh de manière formelle, le rôle de responsable est généralement réparti entre les équipes métier, chacune étant chargée des produits publiés par son domaine. Dans les organisations plus centralisées, une gouvernance centrale gouvernance des données peut assurer la gestion des produits couvrant plusieurs domaines. Les deux modèles fonctionnent ; l’essentiel est que chaque produit répertorié dispose d’un responsable désigné et actif.

Termes associés : gestion des données, gouvernance des données, produits de données, contrat de données, contrôle d'accès

marketplace fédéré de données

marketplace dans laquelle les produits de données sont publiés et gérés sur plusieurs domaines ou plateformes distribués, reliés entre eux par une gouvernance unifiée de découverte et gouvernance . Dans un modèle fédéré, les données ne sont pas transférées vers un dépôt central dépôt elles restent dans le domaine où elles sont produites, et la marketplace une interface cohérente permettant de les rechercher, de les évaluer et d'y accéder depuis tous les domaines.

Les places de marché fédérées sont courantes dans les grandes entreprises disposant de plusieurs environnements cloud, dans les divisions opérationnelles dotées de plateformes de données distinctes, ou au sein d’organisations soumises à des exigences de souveraineté des données qui restreignent la circulation des données entre différentes zones géographiques. La couche de fédération uniformise le métadonnées , gouvernance et le modèle de contrôle d’accès, afin que les utilisateurs bénéficient d’une interface cohérente, quel que soit l’emplacement des données sous-jacentes.

gouvernance dans un modèle fédéré consiste à garantir que les équipes décentralisées appliquent des normes cohérentes. En l’absence d’un métadonnées , d’un cadre de qualité et d’un modèle de politique d’accès communs, la fédération donne naissance à une marketplace chaque annonce se présente différemment et où les consommateurs ne peuvent pas comparer les produits d’un domaine à l’autre. C’est gouvernance fédérée gouvernance des normes communes dont l’application est décentralisée — qui permet à la fédération de fonctionner.

Termes associés : gouvernance des données, gouvernance fédérée, produits de données, catalogue de données, data mesh

métadonnées marketplace )

Les informations descriptives, structurelles et opérationnelles qui accompagnent la fiche d'un produit de données sur une marketplace.métadonnées Marketplace métadonnées jeu de données d'un jeu de données (schéma, définitions des champs, types de données), son origine (provenance et traçabilité), son propriétaire (responsable et domaine), les critères de qualité auxquels il répond (scores de qualité, statut de certification) et les conditions qui régissent son utilisation (politiques d'accès, conditions de licence, règles de conservation).

métadonnées qui font qu'une marketplace métadonnées utile et non pas simplement décorative. Une fiche dont métadonnées un nom et métadonnées une description ne donne aux consommateurs aucun élément leur permettant d'évaluer le produit. En revanche, une fiche dotée métadonnées complètes métadonnées documentation du schéma, scores de qualité, informations sur la provenance, détails relatifs à la propriété, exemples d'utilisation et conditions d'accès — fournit aux consommateurs tout ce dont ils ont besoin pour déterminer si le produit correspond à leur cas d'usage demander d'aide à qui que ce soit.

La qualité desmétadonnées marketplace marketplace métadonnées le succès de marketplace . Les organisations qui s'attachent à garantir métadonnées dans le cadre de leurs exigences de publication constatent que les utilisateurs recourent à la marketplace font confiance aux informations qu'ils y trouvent. À l'inverse, celles qui autorisent la publication d'annonces incomplètes constatent que les utilisateurs contournent la marketplace se rabattent sur des demandes de données informelles.

Termes associés : métadonnées , métadonnées actives, catalogue de données, produits de données, gestion des données

accès libre-service

La possibilité pour les utilisateurs autorisés de découvrir, d'évaluer et d'accéder à des produits de données via marketplace , sans avoir à faire appel à l'équipe d'ingénierie des données ou à l'équipe chargée de la plateforme. libre-service la principale valeur ajoutée d'une marketplace de données utilisateur: il remplace le processus manuel de demande de données, basé sur des tickets, par un workflow automatisé et réglementé workflow les utilisateurs peuvent suivre de manière autonome.

libre-service « sans gouvernance ». Le gouvernance s'effectue au stade de la publication : le responsable des données définit la politique d'accès, le contrat de données fixe les conditions de qualité et d'utilisation, et l'infrastructure de contrôle d'accès détermine qui peut s'abonner à quoi. Au moment où un utilisateur accède à la marketplace, les gouvernance ont déjà été prises et intégrées dans la fiche produit. libre-service l'expérience utilisateur rendue possible par gouvernance .

La mesure concrète de libre-service réside dans le délai d'accès aux données. Dans les organisations dépourvues de marketplace, l'accès à un jeu de données géré jeu de données prendre plusieurs jours, voire plusieurs semaines. Dans les organisations dotées d'une marketplace bien conçue, un utilisateur droits d'accès appropriés peut découvrir, évaluer, demander et obtenir l'accès à un produit de données en quelques minutes. C'est cette réduction des frictions qui favorise l'adoption et diminue le volume de demandes de données informelles qui mobilisent les ressources de l'équipe chargée des données.

Termes associés : découverte de données, contrôle d'accès, produits de données, gouvernance des données, catalogue de données

SLA accord de niveau de service, contexte des données)

Engagement pris par product owner de données product owner les utilisateurs, précisant les normes de qualité, de disponibilité et de fiabilité auxquelles le produit devra se conformer. Dans marketplace , un SLA de données couvre SLA la fréquence de mise à jour (à quelle fréquence le jeu de données actualisé), la disponibilité (le temps de fonctionnement garanti par le produit), les seuils de qualité (les taux de valeurs nulles, les niveaux d'exhaustivité ou les scores de précision garantis) et le délai de réponse aux incidents (la rapidité avec laquelle les problèmes de qualité seront résolus après leur signalement).

Les SLA font des produits de données une infrastructure fiable plutôt que des ressources fournies « au mieux ». Un utilisateur qui met en place un pipeline d'analyse ou un modèle d'IA à partir d'un produit marketplace doit savoir si les données sur lesquelles il s'appuie seront encore disponibles demain, quel sera leur degré d'actualité et ce qui se passera en cas de baisse de qualité. Sans SLA, il n'existe aucune réponse documentée à ces questions.

Les SLA sont liés aux contrats de données, mais s'en distinguent. Un contrat de données définit la structure et la sémantique d'un produit de données. Un SLA les engagements de performance opérationnelle qui s'y rapportent. Un produit de données abouti comporte généralement les deux : un contrat qui précise la nature des données, et un SLA précise dans quelle mesure leur fourniture sera fiable.

Termes associés : contrat de données, produits de données, gestion des données, qualité des données, gouvernance des données

Politique d'utilisation

Les règles régissant l'utilisation d'un produit de données une fois que l'accès a été accordé à un utilisateur. Les politiques d'utilisation précisent les cas d'utilisation autorisés, les restrictions en matière de redistribution ou de republication, les exigences relatives à la conservation et à la suppression de la copie de l'utilisateur, les exigences en matière d'anonymisation ou d'agrégation avant toute utilisation dans des publications destinées à un public externe, ainsi que les conditions de licence applicables.

Les politiques d'utilisation revêtent une importance particulière pour les produits de données contenant des données à caractère personnel, des informations commerciales confidentielles ou des données acquises auprès de fournisseurs externes sous licence. Dans chaque cas, les conditions d'utilisation associées aux données d'origine limitent ce que l'utilisateur peut faire avec sa copie, et la marketplace le mécanisme permettant de communiquer et de faire respecter ces restrictions.

Dans la pratique, les politiques d’utilisation sont associées aux fiches des produits de données dans le cadre du workflow de demande d’accès. Lorsqu’un utilisateur demande l’accès, il doit prendre connaissance de la politique d’utilisation et l’accepter avant que l’accès ne lui soit accordé. Cette acceptation est consignée, ce qui crée une enregistrement vérifiable enregistrement l’engagement de l’utilisateur à respecter les conditions. Les violations de la politique d’utilisation peuvent alors être détectées grâce à la journalisation des accès et à la surveillance de l’utilisation.

Termes associés : contrôle d'accès, gouvernance des données, contrat de données, échange de données, monétisation des données

Principales comparaisons

marketplace de données marketplace catalogue de données?

marketplace des données interne ou externe ?