Un exemple de traçabilité des données

Les données circulent en permanence au sein de l'écosystème informationnel d'une organisation. Elles sont collectées auprès des clients, générées par les systèmes, transformées par des outils d'analyse, puis utilisées pour prendre des décisions qui ont une incidence sur le chiffre d'affaires, la conformité et la stratégie. Pourtant, de nombreuses équipes peinent à répondre à une question d'une simplicité trompeuse : d'où proviennent ces données, et comment sont-elles arrivées ici ? C'est là que la traçabilité des données devient essentielle.

La traçabilité des données permet de visualiser le cycle de vie des données, depuis leur origine jusqu'à leur destination finale, en passant par toutes les transformations et tous les transferts intermédiaires. Elle pipeline de données du pipeline de données une ressource transparente pipeline de données traçable. Pour comprendre pourquoi cela est important et comment cela fonctionne concrètement, il est utile de se pencher sur un exemple concret, de bout en bout.

Qu'est-ce que la lignée de données ?

La traçabilité des données désigne le parcours documenté que suivent les données au fur et à mesure de leur circulation à travers les systèmes, les processus et les transformations. Elle décrit :

• Systèmes sources d'où proviennent les données.
• Transformations appliquées aux données (telles que le nettoyage, l'agrégation ou l'enrichissement).
• Couches de stockage ou de traitement intermédiaires.
• Destinations finales tels que des rapports, des tableaux de bord ou des modèles d'apprentissage automatique.

La traçabilité des données peut être représentée de manière visuelle (sous forme de diagrammes de flux), technique (sous forme de métadonnées par des outils) ou narrative (sous forme de documentation). Fondamentalement, la traçabilité des données répond à quatre questions essentielles :

1. D'où proviennent ces données ?
2. Que lui est-il arrivé en cours de route ?
3. Où est-il utilisé aujourd'hui ?
4. Qui ou quoi en dépend ?

L'importance de l'historique des données

Avant d'aborder l'exemple, il convient de commencer par expliquer pourquoi la traçabilité des données est essentielle.

• Confiance et exactitude : Les analystes et les dirigeants sont plus enclins à faire confiance aux rapports lorsqu'ils peuvent retracer l'origine des chiffres jusqu'à des sources faisant autorité.
• Débogage et analyse d'impact : Lorsqu'un indicateur semble erroné, la traçabilité aide les équipes à identifier rapidement à quel moment des erreurs ont pu se glisser.
• Conformité et audit : La réglementation impose souvent aux organisations de démontrer comment elles traitent les données sensibles ou soumises à une réglementation.
• Gestion du changement : Lorsqu'un système source ou une transformation change, la traçabilité permet d'identifier les éléments en aval qui seront affectés.

Compte tenu de ces avantages, examinons un exemple concret.

Exemple de filière : une entreprise de commerce électronique

Imaginez une entreprise de commerce électronique qui vend des produits en ligne. L'équipe de direction examine un tableau de bord quotidien tableau de bord le chiffre d'affaires quotidien total, le nombre de commandeset valeur moyenne des commandes. Ces indicateurs influencent les dépenses marketing, la planification des stocks et les rapports destinés à la direction.

Derrière ce tableau de bord un pipeline de données. Nous allons retracer le parcours d’un indicateur, le « Chiffre d’affaires quotidien total », depuis sa source brute jusqu’au tableau de bord de direction.

Étape 1 : Origine des données dans le système source

La traçabilité commence au moment où les données sont créées pour la première fois.

Système source : base de données des transactions en ligne

Lorsqu'un client passe une commande sur le site web, la transaction est enregistrée dans une base de données relationnelle qui prend en charge l'application de commerce électronique. Cette base de données comprend une table intitulée « commandes » comportant des champs tels que :

• identifiant_commande
• id_client
• horodatage_commande
• montant_total_de_la_commande
• devise
• statut_de_la_commande

À ce stade, les données sont brutes et opérationnelles. Elles reflètent l'activité de l'entreprise en temps réel et sont optimisées pour le traitement des transactions, et non pour l'analyse.

Note généalogique

La source faisant autorité pour les données relatives au chiffre d'affaires est le champ « orders.order_total » de la base de données des transactions.

Étape 2 : Extraction des données via ETL ou ELT

Les systèmes opérationnels font rarement l'objet de requêtes directes à des fins d'analyse. Les données sont plutôt extraites puis transférées vers un environnement d'analyse.

Procédé d'extraction

Toutes les heures, une tâche ETL (Extraction, Transformation, Chargement) automatisée extrait les enregistrements nouveaux et mis à jour de la table des commandes. La logique d'extraction comprend :

• Sélection des commandes créées ou mises à jour depuis la dernière exécution.
• Filtrage des transactions de test.
• Enregistrement de métadonnées que l'heure d'extraction.

Les données extraites sont enregistrées dans une zone de transit au sein d'un entrepôt de données cloud.

Note généalogique

Cette étape introduit la première transformation : le filtrage des commandes de test. Les enregistrements de traçabilité doivent indiquer quelle logique a été appliquée et à quel moment.

Étape 3 : Mise en place de la couche intermédiaire dans l'entrepôt de données

Dans l'entrepôt de données, les données extraites sont stockées dans une table de transit, souvent nommée stg_orders.

Rôle de la couche de transit

La couche intermédiaire constitue une copie quasi brute des données sources, avec un minimum de transformations. Elle offre :

• Un instantané stable des données sources.
• Une couche intermédiaire entre les systèmes opérationnels et la logique d'analyse.
• Un espace dédié à la normalisation des formats de base.

Dans cet exemple, le processus de mise en place peut :

• Convertir les horodatages en UTC.
• Mettre les codes de devise en majuscules.
• Veillez à ce que les champs numériques utilisent des types de données cohérents.

Note généalogique

À ce stade, la traçabilité relie les commandes du système source à la table « stg_orders » du data warehouse, en incluant des détails sur les étapes de normalisation.

Étape 4 : Transformation en un modèle analytique « propre »

Les données sont ensuite transformées en un modèle conçu pour l'analyse et le reporting.

Logique métier appliquée

Une tâche de transformation crée une table nommée « fact_orders ». Ce processus applique des règles métier plus complexes, telles que :

• En ne prenant en compte que les commandes dont le statut est « TERMINÉ » ou « EXPÉDIÉ ».
• Conversion de tous les montants totaux des commandes dans une seule devise de reporting (par exemple, l'USD) à l'aide des taux de change.
• Arrondir les valeurs monétaires à deux décimales.

À ce stade, « order_total » devient « order_total_usd ».

Note généalogique

Il s'agit là d'un point crucial dans le suivi des commandes. Le montant du chiffre d'affaires dépend désormais non seulement du montant total de la commande initiale, mais aussi des taux de change et des filtres de statut. Le suivi des commandes doit clairement documenter ces dépendances.

Étape 5 : Agrégation des indicateurs quotidiens

Les dirigeants ne s'intéressent pas aux commandes individuelles ; ils examinent les synthèses.

Logique d'agrégation

Une autre transformation regroupe les données de la table `fact_orders` dans une table récapitulative quotidienne nommée `daily_revenue`.

Ce processus :

• Trier les commandes par date (calculée à partir de « order_timestamp »)
• Calcule la somme de « order_total_usd » pour chaque jour
• Compte le nombre de valeurs distinctes pour « order_id »

Le tableau obtenu comprend des champs tels que :

• date_de_commande
• chiffre_d'affaires_journalier_total
• nombre_total_de_commandes

Note généalogique

La traçabilité montre désormais que la valeur « total_daily_revenue » est calculée à partir de la somme des valeurs « order_total_usd », qui proviennent elles-mêmes du champ d'origine « order_total » après avoir subi plusieurs transformations.

Étape 6 : Couche sémantique et définitions métier

Afin de rendre les données accessibles aux utilisateurs non initiés à la technique, de nombreuses organisations mettent en place une couche sémantique ou métrique.

Définition métrique

Dans informatique décisionnelle , le « chiffre d'affaires quotidien total » est défini comme suit :

La somme de la colonne « total_daily_revenue » de la table « daily_revenue », filtrée selon la plage de dates sélectionnée.

Cette définition est stockée avec métadonnées que :

• Propriétaire de Metric
• Description
• Fréquence de rafraîchissement

Note généalogique

La traçabilité ne se limite pas aux tableaux et aux colonnes, mais s'étend également aux indicateurs et aux définitions. Cela permet de s'assurer que tout le monde comprend comment un indicateur clé de performance (KPI) est calculé.

Étape 7 : Visualisation dans un tableau de bord de direction

Enfin, cet indicateur apparaît dans un tableau de bord destiné aux dirigeants.

tableau de bord

Le tableau de bord :

• Un graphique de série chronologique représentant le chiffre d'affaires quotidien total.
• Comparaisons avec les périodes précédentes.
• Envoie une alerte lorsque le chiffre d'affaires passe en dessous d'un seuil.

Les dirigeants peuvent prendre des décisions en s'appuyant sur ces chiffres quelques minutes seulement après avoir consulté le tableau de bord.

Note généalogique

La dernière étape de la traçabilité relie tableau de bord à la définition de l'indicateur, au tableau agrégé et, en fin de compte, aux enregistrements de transactions d'origine.

Visualisation de la traçabilité complète des données

Si l'on résume cet exemple de manière visuelle, la lignée pourrait se présenter ainsi :

1. table des commandes (base de données des transactions)
2. Tâche d'extraction ETL
3. stg_orders (couche de préparation)
4. fact_orders (modèle analytique nettoyé et enrichi)
5. chiffre_d'affaires_quotidien (table agrégée)
6. Définition de l'indicateur « Chiffre d'affaires quotidien total »
7. tableau de bord de direction

Chaque flèche reliant ces étapes représente une transformation ou une dépendance qui devrait être documentée et, dans l'idéal, enregistrée automatiquement.

Comment Lineage vous aide en cas de problème

Imaginons un scénario dans lequel les dirigeants constatent que le chiffre d'affaires quotidien total chute soudainement de 20 % du jour au lendemain.

Sans historique, les équipes risquent de perdre des heures à faire des suppositions. Avec l'historique :

• Les analystes remontent jusqu'à la table « daily_revenue » pour vérifier cette mesure et constatent qu'il y a moins d'enregistrements pour la date concernée.
• Ils remontent la chaîne de traçabilité et découvrent que les statuts de filtrage des tâches ETL ont été mis à jour.
• La mise à jour a accidentellement omis une valeur d'état valide introduite par l'application de commerce électronique.

La traçabilité mettant clairement en évidence les dépendances, la cause première est rapidement identifiée et corrigée en toute confiance.

Origine technique vs. origine métier

Cet exemple met en évidence deux types de lignées complémentaires :

• Lignée technique : Correspondances et transformations entre tables et entre colonnes.
• Contexte commercial : Comment des concepts commerciaux tels que « chiffre d'affaires » ou « commandes » sont définis et utilisés dans les rapports.

Les deux sont indispensables. La traçabilité technique aide les ingénieurs à assurer la maintenance des pipelines, tandis que la traçabilité métier permet aux parties prenantes de faire confiance aux données et de les interpréter.

Outils et automatisation

Dans la pratique, il est possible de retracer la filiation :

• Manuellement, via la documentation (sujet aux erreurs et difficile à maintenir).
• De manière semi-automatique, à l'aide métadonnées l'ETL et outils bi.
• De manière entièrement automatique, grâce à plateformes modernes de traçabilité des données et catalogue de données .

Plus la généalogie est automatisée, plus elle a de chances de rester précise à mesure que les systèmes évoluent.

Comment la plateforme Actian Data Intelligence prend en charge la traçabilité des données

Cet exemple de traçabilité des données montre que même un indicateur apparemment simple comme le « chiffre d'affaires quotidien total » dépend d'une longue chaîne de systèmes, de transformations et de définitions. La traçabilité des données rend cette chaîne visible. En retraçant le parcours des données depuis leur origine dans une base de données transactionnelle jusqu'à leur présentation finale dans un tableau de bord destiné aux dirigeants, la traçabilité renforce la confiance, accélère le dépannage, facilite la mise en conformité et permet prise de décision plus éclairée.

Pour découvrir comment la plateforme Actian Data Intelligence permet de respecter gouvernance des données et facilite le traçage de la provenance des données, demandez dès aujourd'hui une démonstration personnalisée.

À propos de l'auteur

À propos de Actian Corporation

Actian permet aux entreprises de gérer et de gouverner leurs données en toute confiance, quelle que soit leur ampleur. Les organisations font confiance aux solutions gestion des données d'intelligence des données d'Actian pour rationaliser leurs environnements de données complexes et accélérer la mise à disposition de données prêtes pour l'IA. Conçues pour être flexibles, les solutions Actian s'intègrent de manière transparente et fonctionnent de manière fiable dans les environnements sur site, dans le cloud et hybrides. Pour en savoir plus sur Actian, la division données et IA de HCL Software, rendez-vous sur actian.com.