Qualité des données | Le guide de l'entreprise sur la qualité des données
La qualité des données correspond au degré auquel celles-ci sont suffisamment précises, complètes, cohérentes, actualisées, valides et uniques pour répondre à l’objectif pour lequel elles sont destinées. Concrètement, cela signifie qu’une « jeu de données » ne peut être qualifiée de haute qualité que si elle soutient de manière fiable la décision, le processus, l’analyse ou le modèle d’IA qui en dépend.
La qualité des données n'est pas une simple caractéristique technique accessoire. Elle a une incidence sur le reporting des revenus, l'expérience client, la conformité, l'efficacité opérationnelle, ainsi que sur la confiance que les équipes accordent aux données qu'elles utilisent au quotidien. Si les données sous-jacentes à une analyse de données ( tableau de bord), à un apprentissage automatique ( workflow) ou à une déclaration réglementaire sont erronées, incomplètes, obsolètes ou en double, les résultats obtenus ne seront pas fiables non plus.
Qu'est-ce que la qualité des données ?
La qualité des données permet de mesurer dans quelle mesure celles-ci répondent aux normes définies pour une « cas d'usage » spécifique. Ces normes comprennent généralement six dimensions fondamentales : l'exactitude, l'exhaustivité, l'cohérence, l'actualité, la validité et l'unicité.
L'expression clé est « adapté à l'usage prévu ». Des données qui conviennent à un usage donné peuvent s'avérer inadaptées à un autre. Des dossiers clients suffisamment précis pour la facturation peuvent ne pas être assez complets pour la prévision du taux de désabonnement. Des données financières adaptées au reporting interne peuvent ne pas répondre aux exigences de traçabilité et de précision requises pour les déclarations réglementaires externes.
C'est pourquoi les organisations définissent des seuils de qualité par domaine, par « jeu de données » et par processus métier, plutôt que de partir du principe qu'une norme universelle s'applique partout.
Pourquoi la qualité des données est-elle importante ?
La qualité des données est essentielle, car chaque décision prise à partir de ces données dépend de leur fiabilité. Lorsque la qualité baisse, l'analyse, les opérations, l'gouvernance et l'IA perdent toutes en fiabilité.
De meilleures décisions
La qualité des prévisions, des rapports de performance et des plans stratégiques dépend entièrement de celle des données sur lesquelles ils s'appuient. Des chiffres inexacts concernant le pipeline commercial faussent les prévisions de chiffre d'affaires. Des données obsolètes sur les stocks peuvent entraîner des erreurs dans la gestion des commandes. Des définitions incohérentes d'un service à l'autre conduisent les dirigeants à observer des chiffres contradictoires pour un même indicateur de performance.
Réglementation et audit Préparation
La conformité repose sur des enregistrements fiables. L'exactitude, l'exhaustivité et la traçabilité sont toutes des éléments essentiels lorsque les organisations doivent démontrer que les données utilisées dans le cadre du reporting ou du traitement des enregistrement s clients sont fiables. Tout manquement à la qualité peut entraîner des problèmes lors des audits, des erreurs dans les rapports et des risques réglementaires.
L'IA et l'analyse de données auxquelles vous pouvez faire confiance
Les systèmes d'IA héritent des forces et des faiblesses de leurs données d'apprentissage s et d'entrée. Si ces données sont incomplètes, obsolètes ou mal étiquetées, les modèles apprennent des schémas erronés et produisent des résultats peu fiables. Des données de haute qualité constituent une condition préalable à des analyses fiables et à des informations adaptées à l'IA.
Réduire les frictions opérationnelles
Une mauvaise qualité des données engendre une charge de travail cachée. Les ingénieurs doivent dépanner des pipelines défaillants, les analystes revérifient les rapports, et les équipes opérationnelles corrigent manuellement les enregistrements ou réconcilient des systèmes en conflit. Même lorsque le problème n'est pas visible pour la direction, son coût se traduit par des retards, des reprises de travail et une perte de confiance.
Les six dimensions de la qualité des données
La réponse la plus couramment donnée à la question « Quelles sont les dimensions de la qualité des données ? » fait référence à six dimensions fondamentales. Certains frameworks en ajoutent d’autres, telles que l’intégrité ou la fiabilité, mais ces six dimensions constituent la base standard.
|
Dimension |
Ce que cela signifie |
Exemple de données de mauvaise qualité |
|---|---|---|
|
Précision |
Les données reflètent fidèlement l'objet, l'événement ou la valeur du monde réel qu'elles décrivent. |
L'adresse d'un client indique toujours un lieu qu'il a quitté il y a deux ans. |
|
Complétude |
Tous les champs et enregistrements obligatoires sont présents et utilisables. |
Des milliers de fiches clients ne comportent pas d'adresse e-mail ou d'informations sur le statut du compte. |
|
cohérence |
Les mêmes données ont la même signification et le même format d'un système à l'autre. |
On entend par « client actif » une présence de 90 jours dans un système et de 180 jours dans un autre. |
|
Rapidité d'exécution |
Les données sont à jour et disponibles dès que nécessaire. |
Les données d'inventaire d'hier servent à traiter les commandes d'aujourd'hui. |
|
Validité |
Les données sont conformes au format, au type, à la plage de valeurs et aux règles métier requis. |
Un champ de date contient une valeur qui ne correspond à aucun format de date autorisé. |
|
Unicité |
Chaque entité du monde réel est représentée une seule fois, sans doublons inutiles. |
Le même client apparaît plusieurs fois avec de légères différences orthographiques. |
Les organisations s'interrogent parfois sur les « 5 éléments », les « 7 C » ou les « 7 dimensions » de la qualité des données. Il s'agit là d'frameworks s alternatives, mais la plupart des programmes de gestion des données d'entreprise continuent de s'articuler autour des six dimensions mentionnées ci-dessus, car celles-ci sont mesurables, largement comprises et pratiques tant pour l'gouvernance que pour les opérations.
Exemple relatif à la qualité des données
Un exemple simple illustrant la qualité des données est celui d'une table de clients utilisée à des fins de facturation, de marketing et d'support. Si un client apparaît trois fois, si l'enregistrement d'un client comporte une adresse obsolète et s'il manque l'adresse e-mail d'un autre, la jeu de données présente des problèmes d'unicité, d'exactitude et d'exhaustivité.
Ces problèmes ont des conséquences concrètes :
- Il peut arriver que les relevés de facturation soient envoyés à une mauvaise adresse.
- Le service marketing peut envoyer des messages de campagne en double.
- Support Il se peut que les agents n'aient pas une vision complète de la relation client.
- Il arrive que les équipes d'analyse surestiment le nombre de clients actifs.
Un programme de qualité des données permettrait de détecter ces problèmes grâce à des règles de profilage, de validation et de mise en correspondance, puis de remédier aux causes profondes au niveau des points de saisie, d'intégration et de synchronisation des données.
Quelles sont les causes d'une mauvaise qualité des données ?
La mauvaise qualité des données est généralement due à des lacunes dans les processus, à la complexité des systèmes et à la faiblesse des contrôles, plutôt qu’à une seule source d’ jeu de données. Parmi les causes courantes, on peut citer les erreurs de saisie manuelle, l’absence de règles de validation, le manque de cohérence dans les définitions métier, les enregistrements en double, les intégrations défaillantes et les données qui parviennent trop tard pour l’ cas d'usage.
Parmi les causes profondes courantes, on peut citer :
- Saisie manuelle des données sans vérification du format ni des valeurs.
- Différents systèmes utilisant des définitions différentes pour un même terme métier.
- Pipelines d'ingestion incomplets et erreurs de mappage lors de l'ingestion de données.
- Modifications du schéma qui entravent les transformations et les règles en aval.
- Absence de déduplication et de mise en correspondance des identités.
- Manque d'appropriation et de responsabilité dans la résolution des problèmes récurrents.
- Absence de contexte métier dans le glossaire métier ou l'métadonnées technique.
Les problèmes de qualité restent rarement isolés. Un seul système source imprécis peut propager des anomalies dans les processus de reporting, d'analyse et d'intelligence artificielle si des contrôles ne sont pas mis en place suffisamment tôt.
Comment mesure-t-on la qualité des données ?
La qualité des données est évaluée en comparant l'jeux de données s à des règles, des seuils et des tendances attendues prédéfinis. Les méthodes les plus courantes sont le profilage, la validation, la notation et la surveillance continue.
Profilage des données
Le profilage des données consiste à analyser le contenu réel d'une base de données jeu de données afin d'identifier les taux de valeurs nulles, les valeurs distinctes, les tendances, les valeurs aberrantes, les distributions et les taux de doublons. Le profilage permet d'établir une référence et aide les équipes à détecter les problèmes avant de définir les mesures correctives.
Règles de validation
Les règles de validation définissent les critères de validité des données. Ces règles peuvent porter sur les champs obligatoires, les plages de valeurs autorisées, les formats acceptés, l'intégrité référentielle ou la logique entre les champs. Par exemple, une règle peut exiger que chaque compte client actif comporte une région, un propriétaire et une date de dernière activité valides.
Scores de qualité
Un score de qualité des données est une valeur numérique qui résume le degré de conformité d’une « jeu de données » aux contrôles effectués. Par exemple, une « jeu de données » qui réussit 96 des 100 tests requis peut se voir attribuer un score de 96 %. Ces scores aident les équipes à comparer les ressources, à suivre les tendances au fil du temps et à déterminer si une « jeu de données » est prête à être mise en production.
Surveillance continue
La surveillance continue permet de suivre les indicateurs de qualité au fil du temps et d'alerter les équipes en cas de dépassement des seuils. Cela revêt une importance particulière dans les pipelines modernes, où les variations de volume, de schéma ou de comportement des sources peuvent rapidement nuire à la fiabilité en aval.
Dans la pratique, la mesure de la qualité est plus efficace lorsqu’elle est mise en relation avec la gestion de l’ métadonnées , les définitions métier, l’historique d’utilisation et la traçabilité. Ce contexte aide les utilisateurs à comprendre non seulement si une jeu de données a passé un contrôle avec succès, mais aussi pourquoi ce résultat est important et qui doit en tirer les conséquences.
Dimensions de la qualité des données et concepts associés
La qualité des données est étroitement liée à plusieurs autres disciplines liées aux données, mais elle ne se confond avec aucune d'entre elles.
|
Concept |
En quoi cela diffère-t-il de la qualité des données ? |
|---|---|
|
Gestion de la qualité des données |
La qualité des données désigne l'état de ces dernières. La gestion de la qualité des données est le programme continu mis en œuvre pour évaluer, améliorer et contrôler cet état. |
|
Gouvernance des données |
L'gouvernance des données définit les politiques, la responsabilité, les normes et l'obligation de rendre compte. La qualité des données consiste à appliquer ces normes aux données réelles jeux de données. |
|
L'observabilité des données permet de surveiller l'état et le comportement des pipelines de données et de l'jeux de données. La qualité des données vise à déterminer si les données elles-mêmes sont aptes à l'usage prévu. |
|
|
nettoyage des données résout les problèmes existants. La qualité des données englobe la prévention, la mesure, le suivi et la résolution des causes profondes, et ne se limite pas au simple nettoyage des données. |
|
|
Exactitude des données |
L'exactitude est l'un des aspects de la qualité des données, mais elle ne résume pas à elle seule ce concept. Une « jeu de données » peut être exacte tout en étant incomplète, obsolète ou en double. |
À quoi ressemble une bonne qualité des données dans la pratique ?
Une bonne qualité des données signifie que les utilisateurs peuvent trouver, comprendre et se fier aux données sans avoir à répéter à chaque fois les mêmes vérifications manuelles. Elle est visible, mesurable et liée au contexte métier.
Dans un environnement mature :
- Un analyste de données peut comparer les données « jeux de données » en fonction de leur statut de certification, de leur actualité et de leur score de qualité avant de les utiliser.
- Un ingénieur de données peut évaluer l'impact en aval avant de modifier un schéma, car les dépendances et la traçabilité des données sont visibles.
- Un administrateur ou un propriétaire peut remonter à la source des défauts récurrents dans le système d'origine et désigner la personne chargée de leur résolution.
- Les utilisateurs métier peuvent interpréter les indicateurs de manière cohérente, car les termes métier, les règles et l'métadonnées s sont interconnectés.
C'est là qu'une approche moderne de l'intelligence des données prend toute son importance. Pour disposer de données fiables et prêtes à être exploitées par l'IA, il ne suffit pas de se contenter de règles isolées. Il faut relier l'métadonnées technique, les définitions métier, la responsabilité, l'utilisation et la traçabilité à travers les systèmes distribués, afin que les problèmes de qualité puissent être compris dans leur contexte et résolus à la source.
Bonnes pratiques pour améliorer la qualité des données
L'amélioration de la qualité des données nécessite un cadre reproductible, et non un simple projet ponctuel de nettoyage. Les programmes les plus efficaces allient l'gouvernance, l'automatisation et la responsabilisation.
- Définir la qualité selon cas d'usage. Définissez des seuils en fonction du domaine et des besoins de l'entreprise plutôt que de vous fier à des normes génériques.
- Attribuer la responsabilité. Précisez qui est propriétaire des données, qui en assure la gestion et qui résout les problèmes récurrents.
- Harmoniser les définitions. Harmoniser les termes métier, les règles et la signification des champs d'un système à l'autre.
- Validez dès le début. Détectez les problèmes dès leur apparition, aux points d'entrée, d'ingestion et de transformation, plutôt que d'attendre que les rapports échouent.
- Assurez une surveillance continue. Suivre l'évolution de la qualité dans le temps et alerter les équipes lorsque les conditions changent.
- Mettre en relation le contexte. Reliez les indicateurs de qualité à l'métadonnées, à la traçabilité et à l'utilisation en aval afin que les équipes puissent évaluer l'impact des défauts.
FAQ
La qualité des données désigne la mesure dans laquelle celles-ci répondent aux normes requises pour l'usage auquel elles sont destinées. Dans la plupart des organisations, cela signifie que les données sont suffisamment précises, complètes, cohérentes, actualisées, valides et uniques pour permettre d'support r des décisions et des opérations fiables.
Certaines sources décrivent cinq éléments constitutifs de la qualité des données, mais il n'existe pas de modèle universel en cinq parties. Le référentiel d'entreprise le plus couramment utilisé comprend six dimensions : l'exactitude, l'exhaustivité, l'cohérence, l'actualité, la validité et l'unicité.
De nombreuses équipes s'appuient sur six dimensions fondamentales et y ajoutent une septième, telle que l'intégrité, la fiabilité ou la conformité. La liste exacte varie selon le référentiel, mais les principes de base restent les mêmes : exactitude, exhaustivité, cohérence, actualité, validité et unicité.
Les « 7 C » constituent une approche alternative utilisée par certaines organisations pour décrire les attributs de la qualité des données, mais il ne s'agit pas du modèle d'entreprise dominant. La plupart des professionnels continuent d'organiser leurs activités liées à la qualité des données autour de dimensions mesurables telles que l'exactitude, l'exhaustivité, l'cohérence, l'actualité, la validité et l'unicité.
Un score de qualité des données est un indicateur chiffré qui résume dans quelle mesure une « jeu de données » satisfait aux critères de contrôle définis. Il aide les équipes à comparer les ressources, à suivre les tendances et à déterminer si les données sont prêtes à être utilisées pour le reporting, l'analyse ou l'intelligence artificielle.
La qualité des données a une incidence directe sur l'IA, car les modèles apprennent à partir des données qui leur sont fournies. Des données inexactes, incomplètes, incohérentes ou obsolètes entraînent des signaux d'apprentissage s faibles, des prévisions peu fiables et des résultats dont il est plus difficile de se fier ou de justifier.
La responsabilité de la qualité des données est partagée. Les propriétaires des données sont responsables des résultats opérationnels, les gestionnaires de données gèrent les processus quotidiens liés à la qualité, et les équipes techniques mettent en œuvre les contrôles, les pipelines et les mécanismes de surveillance qui garantissent le respect des normes.
L'exactitude des données est l'un des aspects de la qualité des données. L'exactitude consiste à vérifier si une valeur est correcte, tandis que la qualité des données évalue un ensemble plus large de caractéristiques, notamment l'exhaustivité, l'cohérence, l'actualité, la validité et l'unicité.
