Éléments de données essentiels : les données que votre entreprise ne peut pas se permettre de négliger

Il est 15 h, un mardi. Le service client support commence à recevoir des appels. Les commandes passées ce matin-là n’ont pas encore été expédiées :

• Le service des opérations a vérifié les stocks, et les chiffres ne correspondent pas.
• Le service financier vérifie ses « tableau de bord », et la comptabilisation du chiffre d'affaires de la journée présente des anomalies.

À présent, tout le monde essaie de comprendre ce qui s'est passé.

Au moment où l'équipe identifie le problème, les données erronées ont déjà transité par plusieurs systèmes. Les collaborateurs lancent des requêtes, suivent les flux de données, vérifient les rapports et tentent de comprendre ce qu'il faut corriger. Les clients sont frustrés, et plusieurs équipes ont perdu leur après-midi à cause d'un problème qui a commencé quelques heures plus tôt.

Et si le problème avait été détecté à 10 heures ?

Mieux encore, et si votre équipe savait déjà que les données concernées étaient essentielles, à quoi ressemblait un fonctionnement « normal », qui en était responsable et quels processus métier seraient affectés en cas de défaillance ?

C'est là que les éléments de données critiques entrent en jeu.

Qu'est-ce qu'un élément de données essentiel ?

Un élément de données critique (CDE) désigne une donnée qui revêt une importance telle pour l'entreprise qu'une erreur dans celle-ci peut avoir des conséquences réelles.

Pensez aux données qui sous-tendent les paiements, les comptes clients, les rapports financiers, les déclarations réglementaires, les stocks ou le traitement des commandes. Tous les domaines ne présentent pas le même niveau de risque.

La langue préférée d'un client peut s'avérer utile. Mais un identifiant client permettant de relier cette personne à ses commandes, à ses paiements et à l'historique de son compte revêt une importance bien plus grande. Cette différence est essentielle.

L'identification des CDE aide les organisations à concentrer leur attention sur les données qui ont le plus d'impact sur les opérations commerciales, les exigences réglementaires, l'expérience client et l'prise de décision.

Mais l'identification d'un CDE n'est qu'un premier pas.

Définir ce qu’est la « qualité »

Le fait de qualifier quelque chose de « critique » ne permet pas de savoir si les données sont réellement fiables.

Chaque CDE doit être assorti d’attentes mesurables, définies en fonction de l’utilisation qui en est faite par l’entreprise. Ces attentes peuvent porter sur l’exhaustivité, la validité, l’unicité, l’ cohérence, l’actualité ou le rapprochement.

Prenons quelques exemples :

• Un montant du paiement peut devoir se situer dans une fourchette acceptée, utiliser la précision et la devise appropriées, et correspondre aux enregistrements de transaction.
• Un identifiant client doit être complet, unique et correctement mis en correspondance entre les différents systèmes.
• Une date de transaction peut devoir respecter un format accepté, tomber un jour ouvrable autorisé et être reçue dans un délai spécifique.
• Un code postal doit respecter le format requis et correspondre au pays associé.
• Un numéro de compte peut devoir répondre à des exigences en matière de format, d’exhaustivité et de protection des données.

Même si ces attentes ne sont pas satisfaites, un CDE reste important, mais les équipes ne disposent d'aucun moyen fiable pour déterminer s'il est apte à l'emploi.

Protégez également les données liées au CDE

Un champ de données peut respecter toutes les règles de validation tout en restant inutilisable.

Imaginez que chaque montant de paiement d'un fichier « jeu de données » soit parfaitement formaté et se situe dans la fourchette attendue. Parfait. Mais que se passerait-il si le fichier « jeu de données » arrivait avec six heures de retard ? Ou s'il ne contenait que la moitié des enregistrements habituels ? Ou encore si une modification du schéma en amont l'empêchait d'atteindre l'application qui en a besoin ?

Les valeurs individuelles peuvent sembler correctes, alors que l'entreprise reste confrontée à un grave problème lié aux données.

C'est pourquoi la protection des CDE nécessite plusieurs niveaux de surveillance. Les équipes doivent disposer d'une visibilité sur l'état des données d'jeu de données , notamment en ce qui concerne leur actualité, leur volume, leur exhaustivité et les modifications apportées au schéma. Elles doivent également comprendre le comportement des colonnes, notamment les taux de valeurs nulles, les distributions, les plages de valeurs et les dérives inattendues.

Les règles métier ajoutent une couche supplémentaire en vérifiant les valeurs autorisées, les relations, les formats et les rapprochements. La surveillance du pipeline permet d'identifier les défaillances ou les changements au sein des systèmes en amont et en aval qui acheminent les données.

Ensemble, ces indicateurs permettent de déterminer beaucoup plus clairement si les données essentielles sont réellement prêtes à être utilisées par l'entreprise.

Suivez les données critiques partout où elles vont

Les données critiques restent rarement au même endroit.

Un identifiant client peut prendre naissance dans un CRM, passer par un pipeline d'intégration, aboutir dans un entrepôt de données, être transformé en produit de données, puis finalement apparaître dans un rapport de direction ( tableau de bord ) ou alimenter une application d'IA.

Au cours de son parcours, il peut être renommé, transformé, regroupé ou copié.

Si la surveillance n'est effectuée qu'à la source d'origine, les problèmes survenant plus tard au cours de ce parcours risquent de passer inaperçus. En revanche, surveiller chaque copie à l'aide des mêmes contrôles peut générer du bruit inutile.

C'est là que la lignée prend toute son importance.

Lineage aide les équipes à comprendre le parcours d'un élément de données cliniques (CDE) et à identifier les points où sa signification, sa valeur ou son e simplicité d'utilisation e pourraient changer. Les équipes peuvent ainsi mettre en place des contrôles là où ils sont le plus nécessaires.

La criticité suit les données au lieu de rester liée à une seule colonne dans un seul système.

Les CDE évoluent au rythme des changements de l'entreprise

Une liste CDE ne devrait pas rester inchangée pendant des années dans un gouvernance dépôt . De nouvelles réglementations apparaissent. Les produits évoluent. De nouveaux rapports et modèles d’IA commencent à exploiter les données existantes. Les pipelines sont repensés. Les processus métier évoluent.

Ces changements peuvent avoir une incidence tant sur les données considérées comme essentielles que sur la définition d'un comportement sain.

Les règles fixes restent importantes, surtout lorsque l'entreprise sait déjà exactement ce qui doit ou ne doit pas se produire. L'observabilité , quant à elle, apporte une dimension supplémentaire utile en apprenant les schémas normaux et en aidant les équipes à identifier les changements inattendus ou les écarts.

Cela signifie que les organisations doivent réexaminer périodiquement les désignations des CDE, les exigences de qualité, les seuils, la responsabilité, la couverture de la traçabilité et le suivi.

Pour assurer une protection continue, les mesures de contrôle relatives aux données critiques doivent évoluer au même rythme que ces données.

Une alerte doit mener quelque part

Il est utile de détecter un problème. C'est en sachant comment réagir ensuite que l'on passe de la détection à l'action.

Lorsqu'un CDE ne répond pas aux attentes, les équipes doivent être en mesure de répondre rapidement à des questions telles que :

• À qui appartiennent ces données ?
• Quelle attente n'a pas été comblée ?
• Quelle est la gravité du problème ?
• Quels sont les dossiers concernés ?
• Que s'est-il passé en amont ?
• Quels rapports, applications ou processus dépendent de ces données ?
• Qui a besoin de le savoir ?
• Comment allons-nous vérifier que les données ont bien été récupérées ?

Pour les données critiques, une alerte doit fournir suffisamment d'informations contextuelles, tant sur le plan métier que technique, afin de permettre aux personnes concernées de comprendre le problème et d'y remédier.

Ce lien entre la détection, la responsabilité, la traçabilité et l'impact sur l'activité peut réduire considérablement le temps nécessaire à la compréhension de ce qui s'est passé avant que quiconque ne puisse commencer à y remédier.

Évaluez si votre programme CDE est réellement efficace

Il y a une autre question qu'il convient de se poser : Comment savez-vous que vos données critiques sont protégées?

Une simple liste des CDE ne suffit pas à répondre à cette question.

Les organisations peuvent commencer par examiner des mesures concrètes, telles que le pourcentage de CDE hautement prioritaires faisant l'objet d'une surveillance active, l'existence ou non de contrôles aux points clés de leur parcours, et le nombre d'incidents détectés avant que les données concernées n'atteignent les utilisateurs métier.

Les équipes peuvent également suivre le temps moyen nécessaire pour détecter et résoudre les problèmes, identifier les « jeux de données » critiques pour lesquelles la responsabilité n'est pas clairement attribuée ou les attentes ne sont pas définies, et évaluer à quelle fréquence la surveillance génère du bruit plutôt que des informations utiles.

Ces mesures permettent de faire évoluer le débat, qui ne porte plus sur la question « Avons-nous répertorié nos données critiques ? », mais sur celle de savoir « Les protégeons-nous réellement ? ».

Retour à ce mardi matin

Maintenant, imaginez à nouveau la scène d'ouverture.

La quantité en stock et le montant des transactions ont déjà été identifiés comme des CDE. Chacun d'entre eux est assorti d'exigences définies en matière d'exhaustivité, de validité, d'actualité et de rapprochement.

À 10 heures, le volume d'enregistrement s chute soudainement en dessous de sa fourchette habituelle.

Ce changement déclenche un incident. L'équipe peut immédiatement identifier que les données concernées sont essentielles à l'activité, déterminer à qui elles appartiennent, identifier l'attente qui n'a pas été satisfaite, ainsi que les processus de gestion des commandes et de gestion financière qui en dépendent.

Au lieu de découvrir le problème à 15 h parce que les clients appellent, l'équipe dispose des informations nécessaires pour mener son enquête plusieurs heures plus tôt.

Plus on détecte le problème tôt, mieux c'est. En ajoutant le contexte métier et technique approprié, les équipes peuvent rapidement comprendre ce qui est important, qui doit intervenir et ce qui pourrait être affecté.

Concilier le contexte métier et l'observabilité des données

La surveillance technique permet aux équipes de vérifier si les systèmes, l'jeux de données et les pipelines fonctionnent comme prévu.

Le CDE les aide à identifier les domaines dans lesquels les défaillances présentent le plus grand risque pour l'activité, les attentes les plus importantes et le degré d'urgence avec lequel l'organisation doit réagir.

La combinaison de ces deux perspectives permet de mettre en place une approche plus solide pour protéger les données critiques. La détection comportementale permet de mettre en évidence des changements inattendus. Des règles de qualité explicites permettent de valider les exigences métier connues. La traçabilité permet de montrer où circulent les données critiques et ce qui en dépend. La responsabilité et les workflows de gestion des incidents aident les équipes à intervenir en cas de problème.

Il en résulte une méthode plus pratique pour gérer les données pour lesquelles votre entreprise ne peut absolument pas se permettre la moindre erreur.

Vous souhaitez découvrir comment cela fonctionne concrètement ? Découvrez comment Actian associe l'intelligence des données et l'observabilité des données pour relier le contexte métier à l'ensemble de votre environnement de données.

À propos de l'auteur

À propos de Thaise Skogstad

Thaise Skogstad est directrice du marketing produit chez Actian, où elle dirige le marketing produit pour la plateforme Data Intelligence. Elle apporte son expérience en marketing produit, gestion des données, en analyse de données et en intelligence artificielle, acquise au cours de ses fonctions chez Great Expectations, data.world, Anaconda et 3M. Elle s'attache à aider les entreprises à tirer parti des données et de l'analyse pour générer un impact commercial.