Qu'est-ce que la gestion de la qualité des données ?

Fait : la gestion de la qualité des données augmente le retour sur investissement

Laprise de décision et la résolution de problèmes sont basées sur des données que vous recevez et interprétez pour réaliser la vision de votre entreprise, aider le personnel ou les clients, ou résoudre un problème. Gartner estime que l'impact financier annuel d'une mauvaise qualité des données est d'environ 13 millions de dollars, les organisations de services financiers étant confrontées à des enjeux encore plus importants en raison des pénalités réglementaires et de la volatilité des marchés.

La gestion de la qualité des données (DQM) a un impact sur la capacité à créer une stratégie de gestion maîtrisée gestion des données (MDM). Gartner et ISACA estiment que la qualité des données doit être un sujet et une préoccupation récurrents au niveau du conseil d'administration. Seuls les dirigeants bénéficiant d'outils de gestion de la qualité des données et de tableaux de bord peuvent créer la culture et les comportements qui transformeront les données d'un actif stratégique en un dangereux passif.

Qu'est-ce que la gestion de la qualité des données ?

La gestion de la qualité des données est l'ensemble des processus, outils et connaissances approfondies des données dont vous avez besoin pour prendre des décisions ou résoudre des problèmes afin de minimiser les risques et l'impact sur votre organisation ou vos clients. Il est possible de disposer de données de haute qualité et d'obtenir malgré tout des résultats médiocres. La GQD est la pratique qui consiste à utiliser ces données pour servir vos objectifs avec souplesse et agilité. Pour ce faire, vous devez évaluer les données dont vous disposez aujourd'hui ainsi que les processus et les outils qui utilisent ou support données par rapport à des mesures d'exactitude, d'exhaustivité, de cohérence et d'actualité.

Les pratiques d'acquisition, d'utilisation et de stockage des données dans le cadre du DQM et du MDM font partie du rôle de chacun, y compris des fournisseurs. Cela fait des données un actif holistique, ce qui signifie que les données sont l'entrée et la sortie de chaque tâche et transaction effectuée par votre entreprise. En tant que tel, la qualité de vos données sera améliorée en suivant les meilleures pratiques de l'industrie (DQM) qui commencent par la conception d'une vue du flux et de l'utilisation des données (MDM).

De bonnes pratiques en matière de gestion de la qualité des données et de gestion des données de gestion (MDM) aideront à surmonter ces difficultés :

• Le manque de confiance dans les données pousse les employés à créer leurs propres versions des données (non standard sur plusieurs feuilles de calcul Excel et tableaux de données).
• Des données insuffisantes à l'origine de mauvaises décisions.
• L'augmentation du coût de la gestion des données et du stockage.
• Manque d'uniformité dans l'utilisation ou la sensation des données, ce qui complique l'utilisation des applications.
• Créer des niveaux de risque inacceptables ou des atteintes potentielles à la réputation en raison d'une gestion incorrecte des données.
• Les silos de communication et de collaboration causés par des données déficientes ou mal comprises.
• Incapacité à réagir aux changements ou aux crises volatiles du marché (par exemple, COVID-19).
• L'absence de pratiques numériques empêche l'utilisation transversale des données non structurées.

En termes simples, la gestion des données est une pratique holistique qui touche tous les aspects de votre organisation. Les processus et le modèle de gestion gestion des données de votre Master évolueront au fur et à mesure que vous mettrez en place un cadre de gestion de la qualité des données.

Source : Beyond Accuracy : Ce que la qualité des données signifie pour les consommateurs de donnéesUne autresuggestion serait d'examiner les cadres et les outils fournis par les fournisseurs de services en nuage, tels que Azure Purview. Cet outil met en évidence le cheminement de vos données depuis leur création jusqu'à leur archivage ou leur suppression. De cette manière, vous construisez un ensemble de sources de données fiables (entrepôts de données, lacs de données) qui support tous vos scénarios de gouvernance et d'audit. La meilleure suggestion est d'apprendre des consultants en gestion des données et en intégration qui peuvent vous aider à introduire des outils et des processus qui intègrent, contrôlent, vérifient, archivent et suppriment vos données à travers les modèles de gestion des données maîtres et de qualité que vous avez définis.

Attributs de la gestion de la qualité des données

La qualité de la gestion des données est ce qui rend votre entreprise saine. Comme nous l'avons déjà mentionné, DQM possède les attributs suivants :

• Complétude : Y a-t-il des champs ou des informations manquants ?
• Validité : Les données répondent-elles à l'objectif et à l'utilisation prévus ?
• Unicité: Vous appuyez-vous sur le bon ensemble de données, plutôt que sur une collection d'ensembles d'informations redondantes mais obsolètes ?
• cohérence: Les mêmes informations sont-elles disponibles pour toutes les personnes concernées et ne varient-elles pas en fonction de l'application du domaine d'activité ?
• Actualité ou ancienneté : Les données représentent-elles les informations les plus précises et les plus disponibles au moment de leur utilisation ?
• Précision : Les valeurs des données sont-elles conformes aux prévisions ?
• Intégrité : Les données répondent-elles à vos normes de gouvernance en matière de qualité des données ?

Cadre de gestion de la qualité des données et bonnes pratiques

Garder à l'esprit les attributs de la qualité des données et leur formulation dans un système de données de référence vous aidera à créer la structure de votre cadre. Les cadres DQM et MDM support règles et les mesures de la qualité des données qui garantissent votre confiance dans les décisions d'alimentation des données et le bien-fondé des problèmes.

Un cadre de MDM guidera vos politiques et processus de gouvernance qualité des données, ainsi que les métriques et règles de garde-fou pour aider le personnel, l'informatique et les fournisseurs à garder vos données sûres, sécurisées et utilisables. Lors de l'élaboration du cadre, il convient de prendre en compte les éléments suivants

• Responsabilité : Qui sera le principal pourvoyeur de votre stratégie et de votre gouvernance en matière de données ? Nombreux sont ceux qui créent un nouveau rôle, celui de Chief Data Officer (CDO), pour remplir cette fonction.
• Transparence : Comment les règles relatives aux données seront-elles partagées ? Quel retour d'information recueillerez-vous pour influencer les changements de politique ?
• Conformité : Comment saurez-vous que les politiques et les normes sont respectées ? Quelle sera la sanction en cas de violation d'une politique en matière de données ? Comment vous assurerez-vous que vos politiques répondent aux exigences réglementaires ?
• Protection : Que ferez-vous pour archiver, nettoyer, modifier, sécuriser, sauvegarder, récupérer et supprimer les données ? Comment savez-vous que vous avez des problèmes de données ? Quelles mesures de surveillance et d'alerte devez-vous mettre en place pour les sources de données entrantes (provenant d'Internet, par exemple) ou sortantes (des données sont-elles transférées illégalement ou avez-vous été piraté) ?

Un excellent modèle à adopter et à adapter est celui des professeurs Richard Wang et Diane Strong Au-delà de l'exactitude : Ce que la qualité des données signifie pour les consommateurs économiques.

Source : Beyond Accuracy : Ce que la qualité des données signifie pour les consommateurs de donnéesUne autre suggestion serait d'examiner les cadres et les outils proposés par les fournisseurs de services en nuage, tels que Azure Purview. Cet outil met en évidence le cheminement de vos données depuis leur création jusqu'à leur archivage ou leur suppression. De cette manière, vous construisez un ensemble de sources de données (entrepôts de données, lacs de données) qui sont fiables et support tous vos scénarios de gouvernance et d'audit. La meilleure suggestion est d'apprendre des consultants en gestion des données et en intégration qui peuvent vous aider à introduire des outils et des processus qui intègrent, contrôlent, vérifient, archivent et suppriment vos données à travers les modèles de gestion des données maîtres et de qualité que vous avez définis.

Par où commencer ?

La première question à se poser est la suivante : quelles sont les données que nous utilisons ? L'utilisation d'une version simple de la cartographie de votre travail (cartographie de la chaîne de valeur) peut mettre en évidence toutes les données de votre organisation, où et pourquoi elles sont utilisées, et comment elles sont gérées. Sans évaluation, le modèle principal de gestion des données que vous créez ne sera pas adapté, ce qui aura un impact sur les mesures de qualité que vous espériez obtenir. Après avoir consulté vos équipes de développement et vos partenaires de gestion des données , une conception minutieuse vous aidera à éviter les pièges des mauvaises pratiques de gestion des données .

Votre conception débouchera sur une série de projets pilotes au cours desquels vous commencerez à évaluer les données circulant dans votre organisation en termes de qualité et de contrôle. Les résultats des projets pilotes vous aideront à structurer votre cadre de gouvernance qualité des données. Ce cadre aidera les équipes de développement et les utilisateurs à utiliser au mieux avantage données en tant que source d'information grâce à des outils, des modèles, des politiques, un apprentissage et un suivi qui englobent votre cadre de gestion des données pour chaque jeu de données ou source au sein de votre entreprise.

Le CDO ou les propriétaires de données au sein de chaque fonction de l'entreprise devraient faire partie de l'équipe de gouvernance et contribuer à la mise en œuvre des droits d'accès et de la gestion en assumant le rôle de gestionnaires de données. N'oubliez pas que l'informatique ne doit servir qu'à faciliter la création de cadres, d'entrepôts ou de lacs de données. Les gestionnaires de données des domaines d'activité sont responsables de leurs données, de leur utilisation et de leur maintenance.

Les données sont votre atout majeur. Vos projets pilotes devraient commencer par l'amélioration de la qualité et du contrôle de vos données critiques, les plus fréquemment utilisées ou les plus fréquemment mises à jour. Chaque source de données doit faire l'objet d'une approche pilote (d'apprentissage) basée sur vos cadres de gouvernance, de qualité et de gestion des données maîtresse gestion des données . De cette manière, votre agilité et votre flexibilité seront maintenues et, au fur et à mesure que vous développerez vos pratiques, elles vous aideront à créer une entreprise numérique plus viable, capable de survivre sur un marché mondial volatile.

Activités et cycle de vie de la qualité des données 

Ces activités principales régiront de manière appropriée la qualité de vos données :

• Acquisition : Obtenir les données à partir d'une source, d'une saisie manuelle ou d'une sortie d'application.
• Analyser : Décider si les données répondent aux normes de qualité pour l'utilisation, généralement par le biais d'une application nécessitant les données.
• Nettoyage : Suppression de tous les éléments de données inutiles et réduction de la taille au minimum.
• Enrichissement : L'ajout de données supplémentaires pour créer un ensemble d'informations, telles que des sources de données multiples, afin de créer des rapports financiers.
• Surveillance et alerte : L'activité principale pour maintenir la sûreté, la sécurité et la conformité.
• Réparer : Si un jeu de données est corrompu, cette étape permet de corriger les problèmes.
• Archivage ou suppression : Sauvegarde des données en fonction des exigences convenues.
• Rapports : Il peut s'agir des rapports réguliers ou des écrans utilisés par votre entreprise, mais en termes de qualité des données, il s'agit de l'étape qui signale et enregistre les problèmes de données, la manière dont ils sont traités et la répétition éventuelle des problèmes.

Processus de gestion de la qualité des données

Les processus de gestion de la qualité des données diffèrent en fonction de l'utilisation des données dans chaque domaine d'activité. C'est pourquoi votre cadre doit être holistique, tout en fournissant des garde-fous tactiques afin que chaque équipe ou activité puisse s'efforcer d'atteindre la qualité nécessaire pour garantir la sécurité, la facilité, la conformité, les coûts et la compétitivité. Le même concept s'applique lorsque vous élaborez votre cadre de gestion des données , en soulignant les règles de base pour l'acquisition, l'utilisation, le stockage et l'accès aux données.

Dans les services financiers, la gestion de la qualité des données financières englobe des processus spécialisés pour traiter les flux de données de marché, les enregistrements de transactions, les informations sur les comptes clients, les rapports réglementaires et les mesures de risque. Les institutions financières doivent s'assurer que les algorithmes de négociation reçoivent des données de prix exactes, que les portefeuilles des clients reflètent des évaluations en temps réel et que les soumissions réglementaires contiennent des informations complètes et vérifiées. La gestion de la qualité des données financières porte également sur la nature rapide des données financières, où des retards ou des inexactitudes de l'ordre de la milliseconde peuvent entraîner d'importantes pertes de transactions ou des violations de la conformité. 

Gestion de la qualité des données d'entreprise

La création d'un cadre solide pour la qualité des données et les données de référence est un ensemble d'actions complexes mais nécessaires. Sans l'engagement, le support la direction et le financement, la qualité de vos données sera suspecte et vous rendra vulnérable. C'est pourquoi l'examen des données au niveau de l'entreprise, puis vers le bas, est une excellente approche pour s'assurer que ce qui est nécessaire répond à la qualité requise.

Pour vérifier si les données répondent aux attentes, il faut se tourner vers les clients que vous servez ou vers les résultats des tâches internes. La gestion des produits, DevOps, Agile et la réflexion ITSM peuvent servir de base aux politiques, règles et outils de gestion des données l'entreprise. Une fois en place, vous pouvez élargir le champ d'utilisation des données pour inclure le comportement des clients, le statut des concurrents, les problèmes rencontrés par d'autres entreprises que vous pouvez résoudre (premier sur le marché), et bien plus encore.

Le profilage des données s'apparente au travail de détective que l'on voit dans les séries télévisées. Vos données répondent-elles aux règles requises, et si ce n'est pas le cas, pourquoi ? Ces incohérences vous permettront de nettoyer et de réparer les données dès que possible. L'une des façons de mettre en œuvre le profilage des données consiste à utiliser une application ou un glossaire des données et des termes utilisés dans votre entreprise. Votre partenaire de conseil en gestion gestion des données peut vous fournir des modèles et vous guider sur la meilleure façon de créer et de contrôler vos données, de sorte qu'elles soient toujours prêtes à être utilisées par une tâche ou à étayer une décision basée sur le résultat d'une analyse de données.

Les défis uniques de la gestion de la qualité des données financières

Les institutions financières sont confrontées à des défis distincts en matière de qualité des données, qui nécessitent des approches spécialisées dans le cadre de leur gestion des données globale gestion des données :

• Intégrité des données de marché: Les flux de prix en temps réel, les volumes de transactions et les indicateurs de marché doivent être validés en permanence par rapport à des sources multiples afin d'éviter les transactions ou les calculs de risque erronés.
• Données de conformité réglementaire : Les exigences en matière de rapports financiers requièrent des données historiques précises, des pistes d'audit complètes et des formats normalisés pour la conformité réglementaire.
• Données financières des clients : Les soldes de comptes, l'historique des transactions et les informations sur le crédit nécessitent des protocoles de sécurité renforcés tout en maintenant l'accessibilité au service clientèle et aux processus de prise de décision .
• Agrégation des données sur les risques : Les institutions financières doivent agréger des données sur les risques dans plusieurs secteurs d'activité, ce qui nécessite des définitions de données cohérentes, des mises à jour opportunes et une couverture complète pour répondre à la Basse III et à d'autres exigences réglementaires.

Mesures de la qualité des données

Les mesures de qualité des données servent de garde-fous aux cadres de qualité des données et de MDM. Les ratios suggérés ci-dessous constituent les mesures standard de la qualité des données, mais ils peuvent être influencés par d'autres mesures commerciales que vous appliquez actuellement.

• Rapport entre les données et les erreurs : Combien de problèmes y a-t-il pour chaque jeu de données, entrepôt de données ou lac de données, comme le montrent les erreurs d'application ou les alertes de sécurité ?
• Nombre de valeurs vides : Combien de champs obligatoires vides avez-vous, car ils peuvent causer des incidents de données ou conduire à une mauvaise prise de décision?
• Le temps de la valeur des données : Combien de temps faut-il pour utiliser les données afin de prendre une décision, de résoudre un problème ou d'effectuer une tâche?
• Taux d'erreur dans la transformation des données : Les applications transforment souvent les données et, en cas d'erreur, une attention immédiate est nécessaire.
• Coûts de stockage ou de gestion des données : Le coût de l'archivage ou de la maintenance des données est-il en hausse, et pourquoi ?

Outils de gestion de la qualité des données

Votre entreprise, quelle que soit sa taille, possède trop de données pour que vous puissiez les gérer manuellement. Un logiciel est nécessaire pour effectuer des actions quotidiennes et, dans de nombreux cas, en temps réel pour :

• Profilage des données: S'agit-il des données correctes pour la tâche?
• Nettoyage, analyse, déduplication et suppression.
• Archivage, sauvegarde, récupération, intégration et synchronisation sur demande ou à un moment donné.
• Version des données en fonction de l'application et de l'utilisation du produit.
• la distribution des données à des sources externes ou à des magasins de données.
• Tâches de qualité des données à l'aide de règles d'intelligence artificielle (IA) et d'apprentissage automatique (ML).
• Contrôle continu des données.

Résumé de la gestion de la qualité des données

Vos données sont votre principal atout après les personnes. Sans données de qualité, il vous sera difficile, voire impossible, de créer et de gérer des produits ou des services, de prendre des décisions, d'aider vos clients, de maintenir votre compétitivité et votre pertinence et de respecter les obligations réglementaires.

Le coût d'un manque de données est illustré par ce graphique de Ringlead:

La qualité des données fluctuera en fonction de l'évolution de votre entreprise, tout comme la santé de votre corps, dont les conditions changent en fonction de ce que vous faites ou de ce que vous ressentez. Les cadres de gestion de la qualité des données financières et de MDM et la gouvernance avantage d'une vision holistique de la gestion des données l'entreprise, ce qui conduira à de bonnes pratiques de gestion de la qualité des données spécifiques à votre organisation. L'objectif est de définir des mesures SMART de la qualité des données qui aident votre organisation à bien faire son travail tout en étant alertée en cas de problème.

Vos clients remarqueront si les données sont insuffisantes, erronées ou mal utilisées, et leur réaction peut causer des dommages irréparables ou conduire à des amendes telles que celles prévues par le GDPR, en particulier pour les institutions financières. Votre CDO peut aider à créer le cadre de gouvernance , mais la qualité des données est le rôle du personnel et des fournisseurs. Enfin, la gestion de la qualité des données doit faire l'objet d'une discussion et d'une préoccupation au niveau du conseil d'administration, ce qui permet d'instaurer une culture de la qualité des données dans le cadre du rôle de chacun, y compris des fournisseurs auxquels vous faites appel.