Qu'est-ce qu'un catalogue de données? Définition, composants et fonctionnement

Qu’est-ce qu’un catalogue de données ?

Un catalogue de données un inventaire structuré et consultable des ressources de données d’une organisation — notamment les bases de données, les tableaux, les rapports, les tableaux de bord, les API et streaming —, accompagné des métadonnées décrivent la signification, l’origine, la qualité et la propriété de chaque ressource.

Pour les équipes chargées des données, un catalogue résout le problème de la découverte: trouver rapidement les bonnes données, en comprendre la signification et s'assurer de leur exactitude avant de les utiliser. Pour gouvernance , il offre la visibilité nécessaire pour appliquer les politiques, suivre la traçabilité et démontrer la conformité. Pour les équipes d'IA, il constitue la métadonnées qui garantit que les modèles linguistiques et les pipelines d'apprentissage automatique fonctionnent avec des données sémantiquement cohérentes et bien documentées.

Pour connaître la définition des termes « catalogue de données », métadonnées, « traçabilité », « gestion responsable » et des autres concepts clés abordés dans ce guide, consultez lecatalogue de données .

Comment un catalogue de données gouvernance des données

Sa mise en place améliore la conformité et gouvernance garantissant que toutes les données ont un responsable, sont régulièrement mises à jour, sont de haute qualité et sont protégées par des mécanismes de sécurité basés sur les rôles. Des politiques spécifiques, telles que les durées de conservation, les exigences en matière de continuité d'activité et la localisation géographique, peuvent également être documentées dans le catalogue afin de mettre en œuvre gouvernance appropriés.

Qu'est-ce qu'un catalogue de données, exactement ?

Un catalogue de données est une plateforme centralisée qui organise et stocke métadonnées ressources de données d’une entreprise ou d’une organisation. L’objectif de ce catalogue est de faciliter la recherche et l’accès aux données au sein de l’organisation. Voici quelques-unes des principales façons dont les catalogues de données peuvent aider les entreprises.

• Mettre en place un gouvernance clair gouvernance des données.
• Aider les analystes à identifier les problèmes et les tendances potentiels dans les ensembles de données.
• Mettre en place un parcours clair permettant aux gestionnaires de données de savoir où les données sont stockées et comment y accéder.
• Simplifier le processus de recherche de données.

Quels types de métadonnées un catalogue de données métadonnées ?

Un catalogue de données contenir métadonnées à des aspects techniques et métier. métadonnées techniques métadonnées inclure la date de création, la date de modification, le type de données, la longueur, les noms de champs et des informations structurelles. métadonnées métier métadonnées des informations contextuelles sur l'origine des données (leur traçabilité), les utilisateurs ciblés et les finalités d'utilisation.

Comment un catalogue de données gouvernance des données

La mise en place d'un catalogue de données la conformité et gouvernance garantissant gouvernance toutes les données ont un responsable, sont régulièrement mises à jour, sont de haute qualité et sont protégées par des mécanismes de sécurité basés sur les rôles. Des politiques spécifiques, telles que les durées de conservation, les exigences en matière de continuité d'activité et la localisation géographique, peuvent également être documentées dans le catalogue afin de mettre en œuvre gouvernance appropriés.

Quelles applications avantage ?

Data analysts, les ingénieurs de données et data scientists sur des sources de données de haute qualité pour garantir la validité des résultats issus de leurs analyses et de leurs modèles d'apprentissage automatique. Les rapports de conformité réglementaire doivent s'appuyer sur des sources de données fiables, sous peine d'échouer aux audits et de s'exposer à des amendes. Les systèmesinformatique décisionnelle BI) peuvent utiliser le catalogue de données sélectionner les données destinées au reporting et à la visualisation. Les entrepôts de données et les lacs de données ont besoin d'informations techniques sur les sources de données afin de créer des scripts d'intégration de données adaptés et de planifier des mises à jour périodiques des données.

Avantages d'un catalogue de données

Parmi les principaux avantages, on peut citer les suivants :

• Une meilleure visibilité des données. Sans cela, les utilisateurs risquent de gaspiller leurs efforts en dupliquant des sources de données existantes.
• Aidez les organisations à tirer le meilleur parti de leurs ressources de données. Le catalogue de données les sources de données fiables et incite les utilisateurs à privilégier les données de meilleure qualité.
• Une confiance accrue dans les données grâce métadonnées de traçabilité. Cela aide les utilisateurs à prendre de meilleures décisions fondées sur les données, en connaissant leur provenance.
• La documentation des formats permet de rendre les données plus accessibles aux utilisateurs. outils bi d'intégration de données et outils bi utiliser les informations de format contenues dans le catalogue pour traiter les champs conformément au type de données documenté. Par exemple, le fait qu'un champ contienne des chiffres ne signifie pas pour autant qu'il ne s'agit pas d'un champ de caractères.
• Favoriser la qualité des données. Tout directeur des données (CDO) a à cœur d'améliorer la qualité des données. Ce rapport peut contenir des indicateurs de qualité permettant de mettre en évidence les progrès réalisés en la matière au fil du temps.
• Garantir la conformité réglementaire. Les auditeurs ont pour mission de détecter les manquements à la conformité. Le catalogue facilite les audits en répertoriant les contrôles mis en place pour chaque ensemble de données soumis à des exigences de conformité réglementaire.
• Réduire la duplication inutile des données. Les copies non contrôlées de données non mises à jour, partagées sous forme de feuilles de calcul envoyées par e-mail sans métadonnées leur provenance, constituent une source de problèmes. Cela permet d'atténuer certains des risques liés au partage des données non contrôlé partage des données.
• Réduction gestion des données . Permettre à l'entreprise de se concentrer exclusivement sur l'utilisation de données triées et de la plus haute qualité. Cela permet à l'entreprise de se concentrer sur un nombre réduit de sources de données, ce qui réduit le coût global de gestion des données.
• Encouragez gestion des données. Chaque ensemble de données doit être associé à une personne ou à une équipe chargée d'en garantir la qualité et l'actualité. La mise en place d'un catalogue de données votre gestion des données en permettant aux utilisateurs d’accéder, de mettre à jour et de gérer plus facilement les ensembles de données dont ils ont la charge.
• Assurer gouvernance des données : les catalogues de données peuvent améliorer vos efforts gouvernance des données en fournissant à l'entreprise une source centralisée de métadonnées met en évidence les sources de données mal gérées.

Les organisations qui souhaitent aller au-delà de la simple découverte des données pour passer à un échange de données encadré enrichissent généralement leur catalogue d'une marketplace des données ». Consultez le marketplace des donnéespour connaître les définitions des termes « produits de données », « contrats de données » et « libre-service ».

catalogue de données

On considère généralement le catalogue comme une ressource destinée à une seule entreprise. Il existe toutefois un nouveau type de catalogue de données ouvert catalogue de données profite à plusieurs entreprises et organisations. En voici quelques exemples :

1. L'Autorité de régulation du secteur financier (FINRA) a mis à disposition un catalogue de données métadonnées techniques métadonnées utilisateurs de ses ensembles de données externes.
2. La Banque mondiale a conçu un catalogue de données faciliter l'utilisation de ses données sur le développement.
3. L'administration fiscale britannique HMRC (His Majesty’s Revenue and Customs) a publié son « catalogue de données », un inventaire des jeux de données que jeux de données détient et traite à des fins d'utilisation publique.

catalogue de données

catalogue de données est bien plus qu’une simple liste de ressources de données : il s’agit d’un système complet qui intègre en un seul et même endroit métadonnées , gouvernance et découverte de données . En servant de plateforme centralisée, elle permet aux organisations de maintenir la qualité des données, support entre les équipes et de garantir la conformité. catalogue de données performante s'adapte également aux besoins de l'entreprise, permettant ainsi aux organisations de gérer des données structurées et non structurées dans divers environnements, tels que le cloud, sur site et les systèmes hybrides.

Actian Analytics AI Platform

La plateforme Actian Analytics AI permet de support sources de données pouvant être répertoriées dans un catalogue de données. Pour déploiement totale déploiement de l'entrepôt de données, la plateforme peut être hébergée sur site sur plusieurs plateformes cloud. Elle permet de fournir métadonnées aux objets de base de données, facilitant ainsi la recherche et l'utilisation des données.

catalogue de données d'un catalogue de données

Un catalogue de données selon cinq étapes successives :

Étape 1 : métadonnées automatisée métadonnées : Le catalogue se connecte aux sources de données — bases de données, entrepôts de données, stockage dans le cloud, outils bi, API — et les analyse automatiquement pour collecter métadonnées techniques : noms de tables, noms de colonnes, types de données, nombre de lignes, taux de valeurs nulles et horodatages de la dernière mise à jour. Cela remplace l'inventaire manuel, qui ne peut pas s'étendre au-delà de quelques centaines d'actifs.

Étape 2 : Classification et profilage automatisés : métadonnées collectées métadonnées automatiquement classées par type (structurées, semi-structurées, non structurées), par niveau de sensibilité (informations personnelles identifiables, informations de santé protégées, données financières, données publiques) et par domaine (clients, finances, produits, opérations). Le profilage des données ajoute des résumés statistiques : distributions des valeurs, scores d'exhaustivité, taux de doublons et détection de schémas.

Étape 3 : métadonnées métier : métadonnées techniques métadonnées la structure. métadonnées métier métadonnées du sens. Cette étape permet de relier les ressources techniques aux termes du glossaire métier, aux responsables des données, aux descriptions d'utilisation et aux annotations contextuelles. Une colonne intitulée cust_acct_flag devient « Compte actif », avec une définition, un responsable et un lien vers le terme correspondant dans le glossaire métier.

Étape 4 : Suivi de la traçabilité : Le catalogue cartographie le parcours des données, depuis le système source jusqu'au rapport de destination en passant par la transformation. La traçabilité au niveau des colonnes indique précisément quels champs en amont contribuent à chaque indicateur en aval. Cette information est indispensable pour l'analyse d'impact, les audits réglementaires et la traçabilité des données pour l'IA.

Étape 5 : Recherche et découverte : Toutes métadonnées collectées et enrichies métadonnées indexées dans une interface de recherche. Les utilisateurs effectuent des recherches par nom de terme, description, propriétaire, domaine, balise ou concept associé. Les résultats mettent en avant les ressources les plus pertinentes et les plus fiables en fonction de leur utilisation, de leurs scores de qualité et de leur statut gouvernance .

Éléments clés d'un catalogue de données

dépôtmétadonnées :leréférentiel central de toutes métadonnées techniques et métier. Il contient les définitions des ressources, les détails des schémas, les informations de propriété, les balises de classification, les scores de qualité et les mappages de relations. La qualité dudépôt métadonnées dépôt la qualité de toutes les fonctionnalités en aval.

Intégration du glossaire métier : Relie les ressources physiques du catalogue aux définitions approuvées des termes métier. Lorsqu'un utilisateur un jeu de données, il doit pouvoir voir la signification métier de chaque champ, et pas seulement le nom de la colonne. Sans intégration au glossaire métier, un catalogue n'est qu'un inventaire technique, et non une couche de connaissances gouvernée.

Moteur de traçabilité des données : Suivi des mouvements de données depuis leur source jusqu'à leur utilisation. La traçabilité au niveau des tables indique quels jeux de données quels rapports. La traçabilité au niveau des colonnes montre quels champs spécifiques contribuent à chaque calcul. La traçabilité d'entreprise nécessite une automatisation : la documentation manuelle de la traçabilité ne reste pas à jour dans des environnements comptant des centaines de pipelines.

Profilage de la qualité des données : Mesure et surveille la qualité des ressources de données selon des critères définis : exhaustivité, exactitude, cohérence, actualité et validité. Les notes de qualité apparaissent dans les résultats de recherche afin que les utilisateurs sachent si une ressource est fiable avant de l'utiliser.

workflow de collaboration et workflow gestion workflow : Permettent aux utilisateurs d’annoter, de valider, de signaler et de poser des questions sur les ressources de données. gouvernance gèrent la certification, la mise hors service et le transfert de propriété. Les signaux sociaux — qui utilise ce jeu de données, qui le valide — améliorent la visibilité et la confiance.

gouvernance de contrôle d'accès et gouvernance : Appliquez des politiques d'accès aux données au niveau du catalogue : qui peut consulter quelles ressources, quels champs sont masqués, quels domaines nécessitent une autorisation préalable à l'accès. S'intègre aux systèmes de gestion des identités et plateformes de sécurité des données.

Couche de graphe de connaissances :les catalogues avancés utilisent un graphe de connaissances pour modéliser les relations entre les ressources, plutôt que de les stocker sous forme d'enregistrements plats. Cela permet la recherche sémantique (recherche de ressources par concept et non par mot-clé), la découverte automatisée des relations, ainsi que métadonnées compatibles avec l'IA métadonnées les modèles peuvent parcourir comme une couche de connaissances interconnectée, plutôt que de les interroger sous forme d'enregistrements isolés.

catalogue de données dictionnaire de données catalogue de données inventaire de données

Ces trois éléments sont complémentaires. Un inventaire des données vous indique ce dont vous disposez. Un dictionnaire de données vous explique la signification technique de chaque champ. Un catalogue de données ces deux niveaux et permet de les rendre accessibles, gérables et exploitables à grande échelle.

Huit avantages d'un catalogue de données

(Cela répond directement à l'unique suggestion qu'Actian détient déjà à 29,4 % — le fait de l'officialiser sur une page centrale renforce et étend cette position.)

1. découverte de données plus rapide découverte de données:les analystestrouvent le bon jeu de données quelques minutes, et non plus en plusieurs heures ou plusieurs jours. La recherche sémantique met en avant les ressources en fonction de leur signification métier, et non plus uniquement en fonction du nom de la table. Les signaux d'utilisation et de recommandation classent les ressources fiables avant celles qui sont moins connues.

2. Réduction des goulots d'étranglement liés à l'ingénierie des données : Lorsque les utilisateurs métier peuvent trouver, comprendre et accéder aux données de manière autonome, ils cessent d’envoyer des tickets demandant aux ingénieurs de données de localiser ou d’expliquer jeux de données. libre-service réduit la support pesant sur les équipes techniques.

3. Des rapports cohérents et moins de divergences sur les définitions :lorsquetous les analystes utilisent le même jeu de données réglementé, jeu de données les mêmes définitions métier, les tableaux de bord fournissent des chiffres cohérents. Les rapports contradictoires — principale source de problèmes de crédibilité des analyses — sont ainsi éliminés à la source.

4. Conformité réglementaire accélérée :le suivi de la traçabilitéet la classification des données permettent d'automatiser la documentation de conformité, qui n'est plus effectuée manuellement. Les demandes d'accès des personnes concernées, les analyses d'impact des violations de données et les éléments probants d'audit sont générés à partir métadonnées du catalogue, métadonnées reconstitués à partir de connaissances empiriques.

5. Meilleure visibilité sur la qualité des données : Les scores de qualité apparaissent dans les résultats de recherche avant même que les utilisateurs ne consultent les données. Les ressources de mauvaise qualité sont signalées au lieu d’être intégrées en silence dans les rapports et les modèles d’IA. Les problèmes de qualité déclenchent des workflows de gestion plutôt que d’être découverts en aval.

6. Préparation des données pour l’IA et l’apprentissage automatique :les modèles linguistiqueset les pipelines d’apprentissage automatique nécessitent des données d’entrée métadonnées et cohérentes sur le plan sémantique. Un catalogue fournit les informations relatives à la traçabilité, à la classification, à la propriété et aux liens avec le glossaire métier qui permettent de préparer les données d’entreprise à l’IA. Sans métadonnées du catalogue, les systèmes d’IA ne peuvent pas distinguer de manière fiable jeux de données sémantiquement similaires mais techniquement différents.

7. gouvernance des données à grande échelle :les politiques d'accès, les classifications des données et les workflows de gestion s'appliquent au niveau du catalogue et sont mises en œuvre automatiquement plutôt que manuellement. À mesure que les volumes de données augmentent, il devient impossible de garantir un accès contrôlé sans une gestion des politiques au niveau du catalogue.

8. Réduction du délai d'obtention insight:la combinaisond'une exploration plus rapide, d'une diminution des litiges liés à la définition des données et libre-service réduit directement le délai entre la formulation d'une question et l'obtention d'une réponse. Les organisations disposant de catalogues de données aboutis font état de cycles d'analyse nettement plus courts que celles qui s'appuient sur partage des données informel partage des données une documentation manuelle.

Les signes indiquant que votre organisation a besoin d'un catalogue de données

• Les analystes consacrent plus de 20 % de leur temps à rechercher et à comprendre les données plutôt qu'à les analyser.
• Différentes équipes communiquent des chiffres différents pour un même indicateur, issus de tableaux de bord différents.
• Les ingénieurs de données reçoivent régulièrement des demandes visant à expliquer ou à localiser jeux de données.
• Les équipes chargées de la conformité ne peuvent pas produire de documentation sur la traçabilité sans recourir à une reconstitution manuelle.
• Les projets d'IA et d'apprentissage automatique prennent du retard car les équipes ne parviennent pas à vérifier la provenance ou la qualité des apprentissage .
• Il faut plusieurs semaines aux nouveaux employés pour comprendre quelles sont les sources de données fiables et comment y accéder.
• Une migration vers le cloud, une fusion ou une consolidation de systèmes a donné lieu à jeux de données qui se chevauchent ou dont les noms ne sont pas cohérents.

Les critères à prendre en compte pour choisir une catalogue de données

Les neuf critères d'évaluation d'une entreprise :

1. métadonnées automatisée métadonnées : Le catalogue doit se connecter à vos sources existantes — entrepôts de données dans le cloud, bases de données, outils bi, lacs de données,plateformes streaming plateformes et collecter métadonnées selon un calendrier défini. métadonnées manuelle métadonnées n'est pas évolutive.

2. Niveau de détail de la traçabilité : Déterminez si la traçabilité s'applique uniquement au niveau des tables ou également au niveau des colonnes. La traçabilité au niveau des colonnes est indispensable pour le reporting financier, la conformité réglementaire et la traçabilité des données d'IA. La traçabilité au niveau des tables est insuffisante pour la plupart des cas gouvernance d'entreprise.

3. Intégration du glossaire métier : Le catalogue et le glossaire métier doivent être reliés au niveau de la couche de données et non par des liens croisés dans la documentation. Un utilisateur à partir d’un jeu de données accéder à la définition approuvée du terme métier sans quitter le catalogue.

4. Architecture de graphe de connaissances : Les catalogues basés sur un graphe de connaissances modélisent les relations entre les ressources de manière sémantique plutôt que de stocker des enregistrements plats. Cela permet une recherche plus précise, la découverte automatisée des relations et métadonnées compatibles avec l'IA métadonnées peuvent être parcourues comme une couche de connaissances interconnectée.

5. Intégration de la qualité des données : Les scores de qualité doivent être calculés automatiquement et affichés dans les résultats de recherche, et non ajoutés manuellement par des gestionnaires. Le catalogue doit support la définition de règles support , le profilage automatisé et workflow liés aux problèmes.

6. Préparation l’IA et aux modèles de langage à grande échelle (LLM) : métadonnées du catalogue métadonnées être accessibles aux systèmes d’IA via une API structurée ou une intégration au serveur MCP. À mesure que les agents d’IA se généraliseront dans les flux de données d’entreprise, les catalogues qui ne pourront pas servir de base à ces agents deviendront obsolètes.

7. Architecture fédérée :les environnements d'entreprises'étendent sur plusieurs clouds, régions et unités opérationnelles. Un catalogue fédéré gère métadonnées place — sans nécessiter de copie centrale des données — et offre une couche de recherche unifiée couvrant l'ensemble des sources distribuées.

8. Conception de l'adoption : Un catalogue que seuls les utilisateurs techniques peuvent consulter ne favorisera pas gouvernance libre-service et gouvernance qui justifient l’investissement. Ce sont les interfaces spécifiques aux rôles des utilisateurs métier et des ingénieurs de données, associées à Embarqué dans outils bi plateformes d’analyse, qui déterminent si le catalogue sera utilisé.

9.workflow gouvernance : Les workflows de certification, de dépréciation, de demande d’accès et de gestion devraient être intégrés au catalogue plutôt que gérés en externe. gouvernance obligent les utilisateurs à quitter le catalogue pour mener à bien un workflow des taux de réussite plus faibles.

catalogue de données les utilisateurs à identifier les ressources de données d'une organisation en leur fournissant métadonnées enrichies.

Le catalogue de données une organisation d’orienter les utilisateurs vers les données les plus fiables et de la meilleure qualité au sein de l’entreprise. Il améliore gouvernance des données, car les données non gérées peuvent être omises ou signalées comme provenant d’une source de mauvaise qualité. La prolifération des données constitue un problème majeur pour de nombreuses organisations, les utilisateurs créant souvent des copies de données qu’ils ne mettent ni à jour ni en maintenance. Le catalogue de données les utilisateurs vers des sources de données bien entretenues et fiables. Les décisions fondées sur des données obsolètes peuvent entraîner des résultats néfastes. Sans ce catalogue, une entreprise peut perdre beaucoup de temps et d'efforts à rechercher les données nécessaires, ce qui nuit à sa productivité et à sa rentabilité.

Points clés à retenir