Résumé
- Présente DataConnect v14, doté de fonctionnalités intégrées de contrôle de la qualité des données.
- Automatise l'évaluation de la qualité et la détection des problèmes tout au long des pipelines.
- Améliore la visibilité sur la traçabilité des données et l'état de santé des pipelines.
- Présentation des fonctionnalités basées sur l'IA pour la gestion de la qualité et l'intégration.
Pour ceux qui viennent de nous rejoindre, nous allons attendre une minute ou deux, puis nous commencerons le webinaire Data Connect. Très bien. Il semble que quelques personnes supplémentaires soient en train de se connecter, nous allons donc attendre encore une demi-minute environ, puis nous commencerons. Bon, pourquoi ne pas nous lancer ? Nous avons deux minutes de retard. Bienvenue, bienvenue à tous. Merci beaucoup d’avoir pris le temps de vous joindre à nous pour notre webinaire Data Connect.
Nous sommes vraiment ravis de passer en revue certaines des nouvelles fonctionnalités de Data Connect. Avant cela, nous allons aborder très rapidement quelques points d’ordre pratique. Comme vous l’avez sans doute déjà remarqué, vos micros sont tous désactivés. N’hésitez toutefois pas à poser vos questions dans la section Questions-Réponses. Je tiens à le préciser : la section Questions-Réponses se trouve sous le bouton « Plus », et non dans le chat. Nous surveillons cette section. Cette session sera enregistrée, et nous partagerons l’enregistrement ainsi que toutes les ressources supplémentaires à votre intention dans le cadre du suivi de cette session.
Nous avons prévu 45 minutes, dans l'espoir de pouvoir également répondre à vos questions à la fin, en direct si possible. Encore merci de votre présence, et sur ce, nous allons nous lancer sans plus attendre. Nous commencerons par quelques brèves présentations. Chris, je te laisse la parole. Merci, Lauren. Bonjour à tous. Je m'appelle Chris.
Je suis vice-président de l'ingénierie Data Connect chez Actian. Je travaille sur ce produit depuis un peu plus de 25 ans. Nous avons travaillé d’arrache-pied au sein du département d’ingénierie, et je suis vraiment impatient de vous présenter toutes les nouveautés que nous avons apportées à Data Connect. Nous allons aborder notre version dédiée à la qualité des données, la V14, ainsi que la version suivante, à savoir Integration Manager 14.1. Je vous redonne donc la parole, Lauren. Super. Merci, Chris.
Je m’appelle Lauren Cartwright, je suis responsable des ventes pour les Amériques chez Actian. Je travaille en étroite collaboration avec Chris et son équipe, ainsi qu’avec nos clients, et je suis vraiment très impatiente de vous présenter ce que nous faisons au sein de Data Connect, nos orientations futures, ainsi que certains changements internes que nous avons mis en place en tant qu’organisation, qui visent précisément à nous rapprocher de nos clients et à générer basé sur la valeur meilleurs basé sur la valeur . Sur ce, passons à la diapositive suivante. Voyons un peu ce dont nous allons parler aujourd’hui, d’accord ? On entend beaucoup parler du battage médiatique autour des données par opposition à leur cycle de vie. L’IA : nous sommes à l’ère de l’IA, tout comme c’était le cas avec le big data il y a quelques années. À mesure que nous continuons d’innover, tout revient toujours à la fiabilité de vos données, et Data Connect en a toujours fait partie intégrante.
Mais nous avons tout de même apporté un certain nombre d’améliorations à cette solution, notamment en matière de qualité, ce qui nous permet véritablement d’offrir à nos clients une meilleure visibilité, observabilité, qualité et confiance tout au long du cycle de vie de leurs données. Nous sommes vraiment ravis de cette évolution, car non seulement nous avons apporté ces améliorations pour offrir une meilleure visibilité, mais nous l’avons fait de manière à ce que chaque utilisateur exploiter ces fonctionnalités, quel que soit son niveau d’expertise sur le produit ou, plus généralement, en matière gestion des données . De plus, en tant qu’organisation, nous avons vraiment mis l’accent sur ce point. Ainsi, depuis avril de cette année, je suis intervenu et j’ai mis en place une toute nouvelle équipe dédiée au soutien de la fonction de gestion des données au sein d’Actian, et Data Connect en est le pivot. Tous les membres de notre équipe ont gestion des données . J’ai moi-même déployé plus d’une douzaine gouvernance des données dans divers secteurs et avec divers outils. Nous mettons donc tout en œuvre pour nous assurer que nous restons centrés sur ces basé sur la valeur pour nos clients.
Et cela inclut la mise en place d’améliorations, des améliorations très ciblées, autour de Data Connect, qui nous permettent également de vous étendre l’accès afin de faciliter considérablement le parcours de mise à niveau. Nous y reviendrons un peu plus en détail, mais tout cela s’inscrit, encore une fois, dans l’intention d’offrir une meilleure expérience à nos clients et d’obtenir ces résultats axés sur la valeur. En rendant cela possible, nous nous assurons de tirer pleinement parti d’une plateforme plus solide. Vous allez donc découvrir une interface utilisateur remaniée qui est bien plus qu’une simple refonte. Il s’agit véritablement de la mettre à la disposition de tous. Vous découvrirez les fonctionnalités de qualité pilotée par l’IA qui vont réduire à quelques minutes des tâches qui prenaient auparavant des mois, ainsi qu’une surveillance améliorée et une mise à niveau vers la V14 simplifiée pour vous. Nous sommes donc vraiment impatients de vous les présenter.
Cela étant dit, nous pouvons passer à la diapositive suivante. Celle-ci vous donne un petit aperçu de notre feuille de route. Nous serons bien sûr ravis d’organiser des entretiens individuels à l’issue de ce webinaire pour approfondir le sujet. Mais aujourd’hui, alors que nous passons en revue la version 14, vous allez découvrir ce que nous proposons dans la version 14.0 en matière de qualité des données et de préparation enrichie des données. Il s’agit avant tout d’automatisation, de la mettre à la disposition de chaque utilisateur, et de la rapidité avec laquelle vous pouvez tirer parti de la qualité des données afin d’obtenir des résultats fiables, que vous meniez des initiatives d’IA ou que vous réalisiez des projets de migration. En réalité, toute gestion des données va s’articuler autour de ces données fiables, et nous avons des choses vraiment intéressantes à vous montrer. Puis, au troisième trimestre, nous apporterons des améliorations à Integration Manager, en renforçant encore ses capacités de surveillance, de mesure et de gestion.
Vous allez donc bénéficier d’ observabilité vraiment, vraiment très complète. Ça m’enthousiasme énormément. Vous pouvez la suivre tout au long du cycle de vie de vos données Embarqué dans le pipeline. Désormais, il est donc beaucoup, beaucoup plus facile de réduire votre délai moyen de résolution et de trouver des solutions. Une traçabilité enrichie, des analyses assistées par l’IA… Encore une fois, il y a là beaucoup de choses passionnantes. Le quatrième trimestre sera entièrement consacré à l’intégration avancée des données.
C’est donc là que vous découvrirez un parcours de mise à niveau simplifié, une compatibilité ascendante et descendante, ainsi qu’un éditeur de cartes, un éditeur de processus et un éditeur de schémas améliorés. Encore une fois, ce sont des améliorations vraiment passionnantes. Puis, dès le début de l’année prochaine, il s’agira avant tout d’étendre tout ce que nous avons intégré à Data Connect à n’importe quel outil, n’est-ce pas ? Devenir véritablement indépendant de tout outil, avec une orchestration et observabilité l’ensemble de votre écosystème. Encore une fois, je pense que vous constaterez que ces fonctionnalités sont, à bien des égards, totalement nouvelles pour Data Connect, mais qu’elles s’appuient avant tout sur les valeurs fondamentales de Data Connect, présentes depuis longtemps, qui sont le véritable moteur de cette simplicité d'utilisation » fiable simplicité d'utilisation vos données. Sur ce, je cède la parole à Chris, et encore une fois, merci d’être ici. N’hésitez pas à poser vos questions à tout moment. Merci à tous.
Merci, Lauren. Un instant, le temps que je lance la présentation. Voilà. Bon. Aujourd’hui, comme Lauren l’a mentionné, nous allons aborder la question de la qualité des données. Je vais vous présenter toutes les options de conception qui s’offrent à vous, ainsi que toutes les façons dont vous pouvez tirer insight notre interface utilisateur. L’un des principaux objectifs en matière de qualité des données était de répondre aux besoins de tous nos utilisateurs en rendant ce processus aussi simple que possible.
Cela impliquait de vous offrir insight maximale insight vos données, de pouvoir identifier rapidement les problèmes et d’automatiser les règles nécessaires pour mesurer et résoudre ces problèmes. Nous allons donc passer en revue tous ces aspects. Nous vous montrerons comment nous utilisons l’IA dans le produit. Voyons si je peux faire disparaître ça. Je m’en occuperai peut-être plus tard. Je vais également vous présenter Integration Manager, la prochaine version, la 14.1. Comme Lauren l’a mentionné, nous avons beaucoup de nouveautés dans Integration Manager concernant observabilité, la traçabilité, et même certains services de conception au sein d’Integration Manager pour vous aider à maintenir vos tâches et à les garder en bon état de fonctionnement.
Nous allons donc commencer ici même, avec l’éditeur de qualité des données que vous avez sous les yeux. Vous pouvez voir que je me suis connecté à un ensemble de données. J’ai ici une vue de mon schéma, ainsi qu’un aperçu de mon ensemble de données. Je vais maintenant cliquer sur « Inspecter les données ». Lorsque je clique sur « Inspecter les données », deux opérations sont effectuées : d’une part, nous lançons un mappage sémantique, et d’autre part, nous lançons découverte de données. Le mappage sémantique nous aide ainsi à identifier, par exemple, quel type de données se trouve dans ce champ ou dans n’importe quel autre champ.
Ainsi, par exemple, nous comprenons qu’il s’agit d’un champ de date, ce qui nous aide à cerner les règles appropriées pouvant être configurées pour ce champ particulier, et nous donne également un aperçu de ce qui est attendu dans ce champ. découverte de données , que je vais vous montrer dans un instant, vous aidera à comprendre la fréquence des valeurs, les tendances et les statistiques au sein d’un champ donné. Mais tout d’abord, voici les options de conception dont vous disposez ici : conception automatisée, assistance à la conception et conception manuelle. La conception manuelle vous amène directement dans l’éditeur. La conception automatisée consiste à créer la solution pour vous ; il ne vous reste plus qu’à la vérifier, à y apporter les modifications nécessaires, puis à la déployer. L’assistance à la conception indique, selon nous, que vous avez besoin d’aide ou que vous souhaitez être aidé pour concevoir votre solution. Peut-être ne connaissez-vous pas très bien votre ensemble de données, ou peut-être êtes-vous novice en matière de qualité des données ; dans ce cas, nous vous proposerons des règles et vous offrirons un moyen très simple de les vérifier et de les valider.
Ainsi, ces deux options s’accompagnent chacune d’un menu. Elles sont très similaires, mais en substance, il vous suffit de nous indiquer quels champs vous souhaitez que nous traitions et évaluions. Vous disposez ici de quelques colonnes facultatives qui, au début du processus de conception, même si vous n’êtes pas encore familiarisé avec cet outil, c’est là que découverte de données en jeu. Je peux rapidement voir combien de modèles de date différents j’ai pour ce champ de date. Et, par exemple, en ce qui concerne les valeurs, comprendre toutes les différentes valeurs que j’ai là-dedans et la fréquence de ces valeurs. Donc, si je voulais que Data Connect génère des règles en fonction de mes préférences, il me suffirait de sélectionner un ou plusieurs de ces modèles, par exemple, ou une ou plusieurs de ces valeurs, par exemple. Nous allons ensuite transformer ces éléments en règles de qualité des données, c’est-à-dire en profilage et en correction.
Il existe également une méthode très simple. Par exemple, si je souhaite masquer un prénom, j’ai ici le choix entre plusieurs caractères pour le masquer. Dans le produit lui-même, je ne vais pas m’étendre sur ce point pendant la démo, mais nous disposons d’une règle de pseudonymisation qui vous offre toutes sortes d’options en termes de caractères utilisables, de nombre de caractères à masquer, et vous pouvez même crypter les données si vous le souhaitez. Mais voici comment cela se passe : lorsque vous lancez l’analyse, notre moteur se met en marche, nous évaluons toutes les données, nous générons toutes les règles, et cela dépendra de l’option que vous aurez sélectionnée. Soit nous vous proposons des règles, soit nous automatisons l’ensemble du processus. Jetons donc un coup d’œil rapide à une conception automatisée. Vous pouvez voir ici que je suis dans l’éditeur.
Voici notre navigateur de données. Et ici, à droite, j’ai une liste de toutes les différentes règles qui ont été générées à partir de cet ensemble de données. J’ai un score unique ici, appelé « Indice de qualité des données », qui représente la fiabilité de cet ensemble de données. Aucune dimension n’est associée à mes règles. C’est facultatif, mais vous pouvez le faire. Si vous le faites, nous générerons également tous les indicateurs pour ces différentes dimensions. Il existe toutefois deux méthodes différentes pour effectuer une validation rapide.
Tout d'abord, vous pouvez commencer par examiner chaque règle. Ainsi, si vous cliquez sur ce lien-ci, la règle s'affichera en détail et vous verrez comment elle a été configurée. Vous verrez ce que fait la règle. Vous pouvez également approfondir votre analyse en cliquant sur ce graphique à barres, juste ici. Cette barre va donc m'afficher toutes les données valides. Et dans ce cas précis, il n'y a pas de données non valides. Mais s'il y en avait, je vous montrerai de nombreux exemples dans un instant.
Il vous suffit de cliquer dessus pour qu’il s’affiche dans le navigateur. C’est donc une façon de procéder, règle par règle. Mais si vous cliquez sur l’indice de qualité des données, nous actualisons ce panneau et nous le réorganisons. Auparavant, nous vous présentions toutes les règles dans l’ordre du schéma. Désormais, nous les affichons classées par profil et par mesure corrective. Comme précédemment, je peux examiner la règle et consulter les données nettoyées en fonction de celle-ci. Dans ce cas précis, le champ n’est pas vide.
Je peux examiner les données brutes et les visualiser également dans le navigateur. Cette vue-ci, ce graphique, nous permet de visualiser les données sous forme agrégée. Donc pas dans le contexte de chaque règle prise individuellement, mais bien ce qui est effectivement écrit dans nos cibles. Dans Data Connect, vous disposez donc de deux cibles issues de notre moteur : une cible « réussi » et une cible « échoué ». Le fonctionnement est le suivant : votre règle de profilage contient une condition. Par exemple, nous pourrions avoir une condition portant sur ce champ de date, spécifique au format ou à la valeur, n’est-ce pas ? C’est donc ce que contiennent ces règles de profilage, et cela nous aide à appliquer vos préférences, c’est-à-dire ce que vous considérez comme valide.
Cela nous aide également à l’évaluer. La règle de correction permet donc de prendre un format ou une valeur non valide et de la modifier, de la nettoyer jusqu’à ce qu’elle devienne valide. Ainsi, lorsque vous consultez ces vues récapitulatives des résultats « réussi », « échoué » et « corrigé », cela ressemble beaucoup à ce que je viens de vous montrer. Je peux cliquer sur la partie verte ici. Remarquez que l’en-tête change de couleur. Cela m’indique toutes les données valides présentes dans mon ensemble de données. Il s’agit donc de données valides que nous n’avons pas modifiées, que nous n’avons pas corrigées.
Elle était valide dans son état d'origine. Si je clique sur la partie violette, l'en-tête deviendra violet, ce qui vous permet d'identifier rapidement que vous consultez des données corrigées. Il s'agit donc de toutes les données que nous avons nettoyées. Et vous pouvez enfin cliquer sur la partie rouge pour consulter toutes les données erronées. L’un des aspects que je trouve particulièrement puissant et utile dans la façon dont nous avons conçu le système, c’est que vous pouvez simplement parcourir vos règles de profil en cliquant sur les parties en rouge ici pour comprendre pourquoi ces données ne sont pas valides. Ainsi, si je clique sur cette règle, qui est configurée pour le champ « date », je peux facilement voir que j’ai des formats de date non valides. Il y a un caractère, un point d’exclamation, à cet endroit.
C'est une date non valide car il n'y a pas de jour. Je peux aller consulter mes e-mails, pourquoi ceux-là ne sont-ils pas valides ? C'est la même chose, non ? Donc, en quelque sorte, aller droit au but et comprendre rapidement quels sont vos problèmes. Je pense qu'il faut aussi souligner ce point, juste pour insister. Pour moi, c'est l'une des fonctionnalités les plus intéressantes, car elle offre une vue d'ensemble, n'est-ce pas ? On peut très rapidement, comme vous venez de le montrer.
La date, l'e-mail. On n'a pas besoin de passer d'un écran à l'autre, et je peux voir ce qui a été nettoyé, ce qui a échoué, ce qui était déjà propre. Encore une fois, tout reste sur la même page et offre la même expérience. Je tenais juste à insister là-dessus. Oui, je suis tout à fait d’accord avec toi, Lauren. Et puis, c’est vrai, tu n’as pas à te soucier de la gestion des données. On s’occupe déjà de les isoler pour toi, n’est-ce pas ?
Ces deux cibles distinctes. Et au fur et à mesure que vous avancez – je vais vous le montrer dans un instant –, pendant que vous concevez, au fur et à mesure que vous concevez, vous pouvez rapidement faire la distinction entre ce qui est valide, ce qui ne l’est pas et ce qui a été corrigé. Passons donc maintenant à la section « Assistant de conception ». Il s’agit de la vignette du milieu que vous avez vue dans le menu de scan. La première chose qui va se passer, puisque vous nous demandez de l’aide, c’est que nous allons vous fournir une évaluation de ce que nous avons trouvé. En haut de l’écran, cela ne fait que réitérer ce que vous nous avez demandé de faire. Au milieu, nous vous indiquons les différents types de problèmes de qualité des données que nous avons détectés, accompagnés de leurs définitions.
Et ensuite, tout en bas, nous allons associer tous ces problèmes à votre schéma afin que vous puissiez voir, pour chaque champ, quel type de problème nous avons détecté et combien d’enregistrements ont été affectés, n’est-ce pas ? Et vous effectuez tout cela avant même d’ouvrir l’éditeur. Ainsi, lorsque vous accédez à l’éditeur, vous comprenez mieux à quoi vous avez affaire et ce que vous devez faire dans votre solution. Une fois dans l’éditeur, remarquez qu’il n’y a pas encore de règles, donc pas d’index pour l’instant. Il y a ici trois éléments sur lesquels je tiens particulièrement à attirer votre attention. Le premier est le navigateur. Si vous utilisez Data Connect depuis un certain temps, cela fait des années que vous passez du temps sur notre navigateur, et je suis ravi de vous annoncer que nous avons apporté des modifications : votre navigateur fait désormais office d’éditeur.
Et cela fonctionne de nombreuses façons différentes. Mais avant toute chose, pour vous montrer comment ça marche, choisissons un champ pertinent. Prenons par exemple le numéro de téléphone. Imaginons que je sois dans mon navigateur, et que j’aie fait cela moi-même un million de fois au fil des années avec Data Connect. Je trouve dans le navigateur un élément qui ne me semble pas tout à fait correct. Nous avons donc prévu que vous puissiez cliquer dessus, et lorsque vous cliquez, remarquez que la page s’actualise pour m’afficher les règles qui m’ont été recommandées. Encore une fois, je suis la voie de l’assistance à la conception.
J'ai besoin d'aide. Et nous mettons également en évidence ce modèle dans la section « découverte de données ». Encore une fois, cela permet de fournir rapidement insight utilisateur. Je comprends donc désormais, grâce au modèle d'affichage, à quoi il est associé et combien d'occurrences j'en ai dans mon ensemble de données. Et je peux aussi facilement voir les règles qui me sont recommandées, n’est-ce pas ? Il y a encore beaucoup à découvrir concernant l’éditeur que je vais vous montrer dans une minute, mais encore une fois, j’ai vraiment hâte de vous le présenter. Mais pour en revenir à l’aide à la conception, nous avons analysé vos données et nous avons constitué cet ensemble de règles sélectionnées que vous pouvez valider et examiner.
Nous avons donc simplifié cela au maximum, car voici le nom de la règle. Il s’agit donc du nom du champ suivi d’un trait de soulignement puis du nom de la règle, et il vous suffit de cliquer dessus. Lorsque vous cliquez dessus, le navigateur se rafraîchit. Il vous affiche alors les données non valides selon cette règle. Je peux voir comment cette règle est configurée, et je peux la modifier si je le souhaite, mais je peux également voir ce qui se passe dans découverte de données termes de fréquence du motif, de fréquence des valeurs, des statistiques, pardon, des statistiques. Et je peux également obtenir des exemples de données valides et non valides selon cette règle. Je peux donc aussi approfondir l’analyse des données valides, n’est-ce pas ?
Donc, inactif, actif. Je vois tout ça ici. Et en regardant ça, je vois quel est mon problème, n'est-ce pas ? Donc, si la règle me convient, il me suffit de l'appliquer. Et quand on applique la règle, notre moteur se déclenche automatiquement, n'est-ce pas ? J'ai donc maintenant un indice de qualité des données, et je peux rapidement valider ce que je viens de faire en cliquant sur cette barre. Encore une fois, je vois les données valides et je vois les données non valides, n’est-ce pas ?
Pour qu’il soit vraiment, vraiment facile de voir ce qui se passe au sein de ma conception. Est-ce que j’apprécie la façon dont cette règle est configurée ? Se comporte-t-elle comme je l’attends ? Pour revenir à ce que je viens de dire il y a un instant, à savoir que notre navigateur fait désormais office d’éditeur, voici l’une des nombreuses méthodes, parmi celles que je vais vous montrer, qui vous permet d’automatiser une règle dans Data Connect. Nous conservons bien sûr la possibilité d’ajouter une règle manuellement, et comme je l’ai mentionné précédemment, nous générons toutes les expressions régulières dont vous pourriez avoir besoin. Mais l’un de nos principaux objectifs avec Data Connect 14 en matière de qualité des données était de vous éviter d’avoir à parcourir péniblement une longue liste de règles pour déterminer celle qui convient, puis de passer du temps à essayer de rédiger une expression régulière correspondant à ce que vous recherchez. Comme vous pouvez le voir ici, j’ai ma liste de données erronées selon cette règle, et je vais utiliser découverte de données m’aider à comprendre ce qui ne va pas avec chacune d’entre elles.
Pour le premier, on voit assez clairement ce qui cloche. On sait que « active » et « inactive » sont les seules valeurs autorisées. Mais ici, on dirait que ça devrait être valide, donc je ne comprends pas très bien. Si je clique dessus, en regardant découverte de données » et le modèle d’affichage, ce « S » juste là m’indique qu’il y a un espace en début de ligne. N’est-ce pas ? Voilà donc notre problème. Et je vois qu’avec « active » et « inactive », j’ai un problème de majuscules et minuscules.
Donc, si je clique une fois sur la cellule, cela va déclencher un rafraîchissement et entraîner découverte de données rafraîchissement découverte de données ». Mais si je double-clique sur la cellule, cela va passer en mode édition. Je vais donc simplement modifier la casse pour la mettre en majuscules, puis valider ma modification. À ce moment-là, on me demande comment je souhaite que cette modification soit interprétée. Est-ce que je souhaite appliquer cette modification uniquement à cette cellule ? Je souhaite l’appliquer à toutes les cellules ayant des valeurs identiques, ou s’il s’agit d’un changement de format, laisser la valeur inchangée. Je vais donc sélectionner « changement de format » et l’appliquer.
Et encore une fois, chaque fois que vous modifiez une règle, notre moteur se met en marche pour s’assurer que l’ensemble, tous ces différents composants, sont bien à jour par rapport à ce que vous faites dans votre conception. N’est-ce pas ? Il a donc ajouté la règle pour moi. Je peux l'examiner en détail pour vérifier rapidement une nouvelle fois ce que j’ai fait et m’assurer que cela fonctionne comme prévu. Et dans notre navigateur, vous voyez l’ancienne valeur et la nouvelle, n’est-ce pas ? L’ancienne valeur est barrée en rouge, la nouvelle est en vert. Cela n’apparaît que dans notre éditeur.
Cela n'est pas enregistré dans la cible. Mais je peux facilement revenir à ma règle de profilage et réexaminer mes enregistrements ayant échoué. Encore une fois, nous vous fournissons une liste distincte de vos échecs pour vous aider à vous concentrer et à identifier les problèmes à l'aide de découverte de données ». Et je constate que mon indice de qualité des données s'est amélioré. Je constate également, dans découverte de données le nombre de motifs que j’ai identifiés a diminué. N’est-ce pas ? Cela correspond bien à ce que j’ai fait.
Puisqu’on parle de découverte de données, je voudrais vous montrer un peu ce que nous avons réalisé dans ce domaine. Dans cet exemple, nous allons donc examiner ce champ « date de renouvellement ». Un rapide coup d’œil à l’éditeur montre qu’il y a ici beaucoup de modèles différents. Je peux donc soit cliquer dans l'éditeur ou dans le navigateur lui-même pour faire apparaître cette fenêtre, soit simplement la sélectionner dans le menu comme je viens de le faire. En regardant cela, je constate immédiatement que j'ai sept formats distincts dans mon champ de date. Ce qui est vraiment génial ici, c’est que je peux cliquer sur n’importe quelle entrée de ce tableau pour que le navigateur actualise la page et que je puisse les voir clairement. Et lorsque j’ai choisi celui que je souhaite adopter comme norme, je peux cliquer sur ce bouton ici en bas.
À ce stade, il ne me reste plus qu’à sélectionner un ou plusieurs modèles que je souhaite adopter comme norme. J’enregistre ma sélection. Je peux voir comment la règle va être configurée. Je peux prévisualiser ma règle, et comme il s’agit d’une modification de format, nous allons automatiser la génération d’une règle de profilage et d’une règle de correction pour vous. Vous pouvez les ignorer si vous le souhaitez, mais il suffit de cliquer sur ces vignettes pour voir comment la règle va être configurée. Dans ce cas précis, la règle de correction va convertir tous ces différents formats de date en ce format-là. Il ne me reste plus qu’à cliquer sur « Appliquer la règle ».
Une fois encore, notre moteur se met en marche. Je constate que mes règles ont bien été ajoutées, et je peux désormais approfondir l’analyse pour vérifier leur comportement et leurs performances. Notez également que notre règle a su détecter que, bien que le format soit valide ici, la date elle-même, c’est-à-dire la valeur, n’est pas valide. Et là encore, je peux explorer les mesures correctives et consulter les exemples précédents pour constater tous les différents types de formats de date que nous avons pu convertir très facilement, n’est-ce pas ? Donc, une partie de tout cela consiste, encore une fois, à mettre en avant les problèmes de qualité des données que vous rencontrez, à les rendre très faciles à identifier, à observer les tendances et à pouvoir automatiser rapidement la génération des règles. Je pense qu’il faut également souligner que cela vous montre où se trouvent vos différents formats avant même que vous ne fassiez quoi que ce soit, n’est-ce pas ? Ainsi, si vous remarquez qu’un format est associé à 22 actifs différents, contrairement à d’autres formats qui n’ont peut-être qu’une ou deux associations, cela peut aider les organisations à déterminer plus rapidement et plus facilement celui qu’elles souhaitent définir par défaut.
Souvent, ce qui nous pose un peu problème, c’est de savoir : « Quelle est notre norme ? » Ou peut-être avons-nous deux normes parmi les cinq que nous utilisons plus que les autres. Cela vous indique très rapidement, là encore en un seul coup d’œil, ce que vous pourriez vouloir privilégier ou définir comme valeur par défaut. D’accord. Tout à fait d’accord. Nous avons tellement de choses à aborder que je voudrais revenir très rapidement au menu « Scan » pour vous montrer quelques éléments. Ainsi, dans le menu « Aide à la conception », nous vous offrons la possibilité de rechercher des enregistrements en double présentant une correspondance approximative.
Je sais bien que les doublons sont le cauchemar de tout le monde. Tout le monde les déteste. Tout le monde en a. Nous vous facilitons grandement la tâche pour repérer les doublons par correspondance approximative, mais aussi les doublons par correspondance exacte. Donc, si vous souhaitez que nous nous chargions de la conception pour vous, il vous suffit de cocher cette case, et nous nous chargerons de rechercher les doublons par correspondance exacte. J'ai justement un exemple à vous montrer ici. Vous verrez, laissez-moi générer l'aperçu ici.
Vous verrez ce que nous faisons. Dans le cadre du processus de conception automatisé, nous avons la possibilité d’identifier et de repérer tous ces enregistrements en double présentant une correspondance exacte. Comme ils sont tous identiques, à vrai dire, peu importe lequel nous conservons, mais par défaut, nous allons en garder un et enregistrer les autres dans notre fichier d’erreurs en tant que doublons. Mais en réalité, vous pourriez venir ici et en sélectionner autant que vous le souhaitez si vous vouliez les conserver. C’est en gros ainsi que fonctionnent les doublons à correspondance exacte. En ce qui concerne le comportement des doublons à correspondance approximative, tout ce que vous avez à faire — on dirait que je me suis trompé là —, c’est de sélectionner un champ clé, puis un ou plusieurs champs correspondants, et je vais vous montrer très rapidement comment cela fonctionne. Je crois que je vais devoir corriger ce bug.
Je vais donc vous montrer comment cela fonctionne, et je vais vous donner un exemple. Concrètement, vous choisissez un champ clé, et au sein de ce champ clé, nous allons rechercher des correspondances exactes ; vous pouvez ensuite sélectionner autant de champs correspondants que vous le souhaitez et choisir parmi la liste d’algorithmes que nous mettons à votre disposition. Voici comment cela fonctionne : si nous trouvons 10 correspondances exactes pour le numéro de compte, nous créerons un cluster, et je vais vous montrer exactement à quoi cela ressemble dans un instant. Au sein de ce cluster, nous allons examiner ces deux champs et rechercher des correspondances approximatives en fonction de cet algorithme. D’accord ? Concrètement, cela signifie que nous allons créer un fichier de cluster que vous pourrez consulter, et voici à quoi il ressemble. Voici donc notre champ clé : le prénom.
Vous pouvez donc voir les correspondances exactes, ainsi que l'identifiant unique de cluster que nous avons créé pour vous. Il vous suffit donc de venir consulter chaque cluster. Ce sont là les correspondances exactes. Vous pouvez voir comment nous avons effectué la correspondance approximative ici et comment nous l'avons appliquée à tous ces différents clusters. Il vous suffit d'accéder à l'interface et de sélectionner, dans chaque cluster, les enregistrements que vous considérez comme uniques. Nous les enregistrerons dans notre fichier « pass » (réussite) et dans notre cible « pass », tandis que les autres seront enregistrés dans la cible « fail » (échec) en tant que doublons issus de la correspondance approximative. N’hésitez pas à sélectionner tous les enregistrements de chaque cluster si vous le souhaitez.
Plusieurs ou un seul, selon vos besoins, selon vos préférences. D’accord. Passons maintenant à notre prompt d’IA. Dans le cadre de l’IA, au sein de notre offre ici dans la version 14, vous avez la possibilité d’intégrer n’importe quel service d’IA de votre choix. Vous pouvez également choisir le modèle de votre choix, et ce, même au cours d’une même session. Si vous souhaitez limiter les coûts, vous pouvez choisir un modèle particulier. Si vous travaillez sur une tâche assez complexe, vous pouvez opter pour un autre modèle.
Mais voici comment cela fonctionne : notre assistant IA apparaît ici, en bas, et vous pouvez taper « hello » ; il vous répondra alors avec une liste de toutes les différentes actions qu’il est capable d’effectuer. Je l’ai personnellement utilisé. Je m’en suis servi pour filtrer des données dans notre navigateur. Si je recherche quelque chose et que je souhaite afficher un sous-ensemble d’enregistrements en fonction d’une certaine condition, je m’en sers pour cela. Je m’en sers pour générer et automatiser des règles de profilage et de correction. Je m’en sers pour déboguer. Je m’en sers pour évaluer la conception de la qualité de mes données et ma solution, et pour identifier les lacunes.
C'est donc très puissant. Et juste ici, comme je l'ai mentionné, vous pouvez choisir votre fournisseur et également sélectionner le modèle que vous souhaitez utiliser. Et ici, vous pouvez également effacer votre contexte. L’un des aspects que je trouve géniaux dans cette invite, c’est qu’on peut non seulement examiner ce champ « chiffre d’affaires » et cette cellule en se disant : « OK, le format est valide », et peut-être que la valeur se situe dans la plage appropriée, donc elle semble valide. Mais quand on examine la logique métier et les relations au sein du jeu de données, pouvoir valider à ce niveau plus approfondi, je trouve ça tout simplement incroyable. Et cette invite IA rend cela extrêmement facile. Donc, dans ce jeu de données, j’ai un champ appelé « taux d’imposition », et j’ai un autre champ qui contient l’État concerné.
Je vais donc utiliser cette instruction pour l’IA, et je lui dis : « Assure-toi que le champ “taux d’imposition” corresponde bien au champ “État” pour les États américains. » Et c’est tout ce que je lui dis. Et donc, exactement comme dans le cas de Claude, par exemple, dans votre IDE, on attend la réponse du modèle. Le système communique avec le modèle. Mais ce qu’il va faire, c’est me renvoyer une règle qu’il me suggère, et j’ai la possibilité de l’accepter, de l’ignorer, de la modifier ou d’en faire ce que je veux. Mais vous pouvez voir qu’il m’a répondu : « OK, j’ai créé cette règle. Est-ce bien ce que tu veux ? » Et je clique sur « Appliquer ».
Et comme tout ce que je vous ai montré aujourd’hui, notre moteur va exécuter cette opération. La règle va être ajoutée. Et une fois qu’elle est ajoutée, je peux l’examiner en détail et consulter les données de réussite et d’échec. D’ailleurs, nous avons également ajouté ceci, qui est spécifique au navigateur. Cela ne modifie pas la manière dont les données sont écrites sur vos cibles. Mais je peux déplacer ce champ et le déposer juste là, pour qu’ils soient côte à côte, ce qui rend les choses très claires pour moi, n’est-ce pas ? Cela facilite la validation.
Je peux donc utiliser la commande IA maintenant que je vois mes données erronées. Je peux utiliser la commande IA pour ajouter des règles de correction et régler ce problème si je le souhaite. Mais dans ce cas précis, je veux aussi vous montrer et mettre en évidence cette expression. La règle que j’ai générée était une règle d’assertion, qui comporte une expression à gauche, une expression à droite et un opérateur au milieu. Mais grâce agents IA notre invite IA et agents IA nos agents IA , j’ai pu générer cette expression très complexe à l’aide de cette invite IA. Et la seule chose agents IA j’avais vraiment besoin pour y parvenir, c’était de comprendre les relations au sein du jeu de données de saisir la logique métier. Je vais donc vous donner un autre exemple rapide de la façon dont j’ai utilisé l’invite IA.
Je vais donc simplement ajouter un guillemet inversé devant ça, et je vais écrire « apply », ce qui est une expression non valide. Je vais donc enregistrer la modification que j’ai apportée à ma règle. Le système va m’indiquer que l’exécution a échoué, et je vais donc lui répondre : « Échec de l’exécution. » Je n’avais probablement pas besoin de mettre ça en majuscules. Veuillez résoudre le problème. Le système va donc lancer le débogage. Il a accès à notre fichier journal. Il va commencer à déboguer cette règle.
Et donc, ces mêmes concepts que je vous montre, n'est-ce pas ? Nous voyons maintenant comment les appliquer à Map Designer et Process Designer, ce que je trouve vraiment passionnant. Mais ça va se terminer, et ça va mettre à jour la règle pour moi. Il ne me reste plus qu'à cliquer sur « Confirmer ». Le moteur tourne à nouveau, et ma règle a été corrigée. N'est-ce pas ? Voilà, c'est fait.
J’ai donc créé quelques autres exemples autour de ce type de qualité des données plus approfondie. Je vais les passer en revue très rapidement et également aborder brièvement nos capacités de préparation des données. Mais remarquez que j’ai validé le taux d’imposition par rapport à l’État. J’ai une autre règle ici. Je vais revenir à la vue par défaut dans le navigateur. J’ai une autre règle ici, juste ici, qui valide le chiffre d’affaires. Vous pouvez donc calculer le chiffre d’affaires en tenant compte du coût unitaire, du taux d’imposition, de la remise par unité et du nombre d’unités vendues.
N'est-ce pas ? Je peux donc, encore une fois, exploiter toutes ces relations, et maintenant que j'ai, en théorie, nettoyé ma colonne « taux d'imposition », j'ai confiance en ces données, n'est-ce pas ? Mais je peux évaluer toutes ces colonnes à l'aide de ces règles. Il ne s'agit pas d'une seule. Je peux repérer les erreurs et les problèmes dans chacune d’entre elles. Et enfin, j’utilise Data Prep pour ajouter un nouveau champ à cet ensemble de données. Il s’appelle CSM, et j’utilise la fonction de recherche pour importer ces données et les mapper dans cet ensemble de données, puis les associer à ce champ.
Concrètement, la logique derrière tout cela est la suivante : nous avons un responsable de la réussite client affecté à différents clients, et les critères sont les suivants : le chiffre d’affaires doit être d’au moins 500 000 dollars, leur abonnement doit être valide et leur compte ne doit pas être suspendu pour cause de crédit. Nous faisons donc le lien entre ces deux aspects, dans la mesure où nous vous offrons à la fois la puissance de la qualité des données et les capacités de normalisation dont vous avez besoin grâce à la préparation des données, le tout dans un seul outil. J’ai donc importé ces données, qui étaient externes à cet ensemble de données, dans cet ensemble, et je suis désormais en mesure d’effectuer un profilage et une correction sur celles-ci en fonction de cette logique, ce que je trouve tout simplement incroyable. Bon, à ce stade, je me rends compte que j’ai un peu survolé la préparation des données, mais en résumé, la préparation des données vous permet d’apporter toutes les modifications que vous souhaitez à votre schéma : renommer des champs, en supprimer, en ajouter. Les règles disponibles dans la préparation des données vous permettent d’extraire des données d’un champ, comme les éléments d’une adresse. Si vous aviez besoin d’extraire tous les éléments d’une adresse dans des champs distincts, vous pourriez le faire. Vous pourriez également l’utiliser pour effectuer des jointures.
Vous pouvez utiliser des fonctions de recherche avec cet outil. C'est vraiment très puissant. Mais sur ce, je vais passer à notre prochaine version, à savoir Integration Manager. L'une des choses que nous mettons en place au sein de Data Connect consiste à associer étroitement Integration Manager et Data Connect. La vue que vous avez sous les yeux est donc celle de notre studio de conception. D'accord ? Je peux donc me connecter à Integration Manager et voir littéralement toutes les interfaces utilisateur d’Integration Manager, disposer de toutes les fonctionnalités et de toutes les capacités, comme si j’y étais connecté directement.
D'accord ? Je vais donc commencer par vous présenter notre page de planification. Il s'agit en fait d'une nouvelle façon de visualiser votre calendrier. Toutes ces vignettes représentent différentes tâches. La taille de la vignette indique la durée d'exécution de la tâche. Je peux facilement reprogrammer une tâche par simple glisser-déposer. Et comme vous pouvez le constater, la couleur des vignettes correspond au pool de travailleurs auquel elles sont associées.
Si je tombe sur une vignette grise, cela signifie que la tâche a été mise en pause. Ainsi, en cliquant sur cette vignette, je peux facilement voir qui l’a mise en pause et à quel moment, et j’ai la possibilité de la relancer. Mais ce n’est là qu’un aperçu rapide de notre calendrier. Je vais maintenant passer à la observabilité . Laissez-moi reprendre mon souffle. Lorsque nous avons commencé à réfléchir à la manière d’apporter davantage de valeur à Data Connect pour nos clients, en particulier au sein d’Integration Manager, observabilité une évidence. Mais en observant le marché, j’ai constaté qu’il existait une multitude observabilité , qui offrent certes d’excellentes capacités de visualisation, mais dont la plupart ne permettent pas d’interagir avec l’outil, n’est-ce pas ?
Ça vous dit : « Tiens, tu as un problème », mais bon, qu’est-ce que je fais ? Comment je règle ça ? Et tout ça, ça manque. L’autre chose que j’ai remarquée en examinant ces autres outils, c’est la « fatigue des graphiques ». C’est comme recevoir un e-mail tout en majuscules. On ne sait même pas par où commencer ni sur quoi se concentrer, n’est-ce pas ? J’ai donc voulu adopter une approche différente pour que ce soit très simple, et je vais vous expliquer ce que vous voyez et pourquoi nous l’avons conçu ainsi.
Nous disposons donc de ces cartes KPI qui représentent différents indicateurs, et globalement, ces indicateurs concernent la santé de vos tâches, la santé de vos données, ainsi que la santé du système hôte sur lequel réside notre moteur. Nous les avons répartis en trois catégories : la santé opérationnelle, la fiabilité des données, ainsi que le volume et la vélocité. Ce que vous voyez ici est donc un agrégat. Tous ces indicateurs constituent un agrégat de ce qui est en cours d’exécution en production. Imaginons que vous ayez 1 000 tâches en cours d'exécution en production. Vous disposez ici d'une vue d'ensemble de votre environnement. Vous pouvez donc y accéder.
Le graphique miniature vert indique une tendance positive, le graphique miniature bleu représente une tendance neutre, et le rouge indique évidemment une tendance négative. Vous pouvez ainsi avoir une vue d'ensemble dès votre connexion le matin. Ai-je des problèmes aujourd'hui ? Non, je n'en ai pas. Très bien, je vais passer à autre chose. Ou bien : oui, j'en ai. Je vais approfondir la question pour comprendre ce qui se passe.
Je vais donc vous montrer comment cela fonctionne avec le débit. Le débit correspond au nombre d’enregistrements par seconde dans notre moteur. Vous disposez ici d’un filtre basé sur le temps ou sur les exécutions, ce qui vous permet d’examiner les deux dernières semaines ou les 20 dernières exécutions. Mais concrètement, il vous suffit de cliquer n’importe où sur ce graphique pour qu’un tableau s’affiche en dessous. Encore une fois, nous examinons le nombre d’enregistrements par seconde ; nous allons donc vous indiquer le nombre d’enregistrements par seconde attendu pour chacune de ces différentes tâches, et vous pourrez voir si l’opération a abouti ou non. Donc, encore une fois, du niveau macro au niveau micro : s’il s’agissait d’une tendance, vous pourriez rapidement identifier le sous-ensemble de tâches à l’origine de cette tendance. Nous reprenons donc ce même concept et l’appliquons à un problème concret.
Je vais vous donner plusieurs exemples au cours de cette démonstration, mais nous allons maintenant nous intéresser à la saturation des ressources. Si je clique sur « Saturation des ressources », j’obtiens ici un graphique d’évolution historique qui me montre l’utilisation des ressources sur la machine hôte de notre moteur. J’ai également une visualisation du temps d’attente. Le temps d’attente correspond à la durée pendant laquelle la tâche reste dans la file d’attente avant d’être exécutée, n’est-ce pas ? Il est donc censé s’exécuter à 10 heures pile, et combien de temps est-il resté dans la file d’attente avant d’être effectivement sélectionné et exécuté ? Je constate ici une tendance à la baisse de mon temps d’attente. Et là encore, je peux cliquer dessus pour voir le temps d’attente prévu et le temps d’attente réel.
N'est-ce pas ? Donc, cette partie fonctionnera sans IA, à 100 %. Mais nous allons utiliser ces graphiques pour vous aider à valider ce que l'IA vous indique. L'IA n'a pas toujours raison, et c'est pourquoi je voulais vous proposer, tout comme nous l'avons fait pour la qualité des données : lorsque l'IA me suggère une règle, j'ai la possibilité de la rejeter, de la modifier ou de l'approuver. J’ai donc une analyse de tendance fournie par l’IA qui m’indique : « Le système a détecté une augmentation significative du temps d’attente. » Il me suffit de cliquer sur « Afficher les indicateurs », et le système va automatiquement filtrer ces données pour vous. Oui, j’ai bien un problème de temps d’attente. Je veux en savoir plus, n’est-ce pas ?
Ainsi, lorsque vous effectuez cette opération, nous procédons à une analyse approfondie de vos métadonnées, que nous conservons dans une base de données installée avec Data Connect ou Integration Manager. Je pourrai alors approfondir encore davantage mon analyse pour comprendre ce qui se passe. Voici donc les principaux résultats. Le temps d’attente moyen a augmenté pour atteindre 510 secondes. Voici les cinq tâches qui subissent des retards. Et je peux, encore une fois, revenir directement à mon graphique pour le vérifier. 510 secondes, 510 secondes, toujours les cinq mêmes tâches.
Bon, que puis-je faire à ce sujet ? Il y a des besoins immédiats, à court terme et à long terme. Pour l’immédiat, nous vous recommandons de sur-souscrire à ce pool de travailleurs pour le moment ; nous allons donc vous aider à équilibrer la charge, d’accord ? Voici un exemple très simple de la façon dont cela fonctionne. De plus, nous avons ici deux autres cartes d’indicateurs clés de performance (KPI) qui vous permettent de gérer et de résoudre tout type de dépassement de seuil ou de panne que vous pourriez rencontrer. Un dépassement de seuil correspondrait ainsi à une condition que vous avez définie pour votre tâche avec un gestionnaire d’intégration, par exemple : « Je m’attends à ce que ma tâche soit terminée dans cinq minutes ». Si cela prend six minutes, vous recevrez une notification, soit sur Slack, soit sur Teams, soit par e-mail.
Nous vous redirigerons vers cette page où vous pourrez soit créer un ticket JIRA, soit l'attribuer à quelqu'un. En d'autres termes, vous pouvez gérer votre file d'attente. Il en va de même pour les défaillances. Ces graphiques sont légèrement différents dans la mesure où nous disposons d'une légende ici en bas qui vous permet de contrôler cette visualisation ainsi que le tableau ci-dessous. Juste ici se trouve l'intégration native à JIRA dont je parlais. Tous ces champs seront préremplis pour vous. Il vous suffit de cliquer sur « Créer un ticket » si vous utilisez JIRA.
Mais remarquez que j’ai mon temps moyen de résolution, ce dont Lauren a parlé tout à l’heure. Je peux choisir de consulter soit un agrégat de toutes mes défaillances, soit une défaillance spécifique, n’est-ce pas ? Ainsi, si je me concentre sur les erreurs de configuration, je vois la valeur réelle dans ma moyenne mobile, et je constate que mon temps moyen de résolution est de 13 heures. Si je passe à autre chose, comme par exemple les problèmes de ressources, je constate que mon temps moyen de résolution est différent. À mon avis, cela vous permet de gérer efficacement votre file d’attente et de planifier efficacement d’un trimestre à l’autre. Combien de temps est-ce que je passe, ou passons-nous, et combien de temps faut-il pour résoudre chacun de ces problèmes ? Pourquoi cela nous prend-il tellement plus de temps de résoudre tel problème plutôt que tel autre ?
Et voilà comment ça fonctionne. De plus, nous avons une interface IA ici, que nous avons mise en place pour ne pas encombrer notre tableau de bord tous ces différents widgets et toutes ces options. Vous pouvez littéralement dialoguer avec vos données pour découvrir tout ce que vous souhaitez savoir. Par exemple, je vais lui demander : « Combien de tâches ont été déployées la semaine dernière ? » Et elle me répondra. Voici les tâches qui ont été déployées. Voici qui les a effectuées, voici qui en est responsable, voici le calendrier, et ainsi de suite. Mais nous avons intégré cette fonctionnalité ici précisément pour vous offrir toute la flexibilité que vous souhaitez et dont vous avez besoin, à portée de main, n’est-ce pas ?
N'attendez pas que nous proposions un nouveau graphique mesurant un élément qui vous intéresse. Vous pouvez le faire ici même. Passons maintenant à la page « Configurer ». Concernant cette page, la première chose que je tiens à mentionner, c’est que nous apportons une certaine structure à la manière dont nous stockons vos configurations. Vous pourrez ainsi enregistrer toutes vos configurations par projet. Cela ressemble beaucoup à ce que nous faisons aujourd’hui dans dépôt . De plus, vous remarquerez que nous avons ici les mêmes fiches KPI.
Ce qu’il faut retenir ici, c’est qu’il y a un changement de contexte. Quand j’étais sur la observabilité tout à l’heure, nous examinions l’ensemble des tâches. Sur la page « Configuration », nous nous concentrons sur une seule tâche, n’est-ce pas ? Donc, si je suis responsable des données ou ingénieur de données, c’est moi qui ai mis en place cette solution. Je ne suis peut-être pas très intéressé par tout ce qui se passe en production, mais je m’intéresse beaucoup aux tâches dont je suis responsable. Les cartes KPI fonctionnent donc de manière très similaire, dans la mesure où je peux voir du vert, du bleu et du rouge, qui indiquent respectivement un résultat positif, négatif et neutre. Je vais vous montrer comment vous pouvez approfondir cela dans un instant.
Vous trouverez ici toutes les informations relatives à votre configuration. Vous y trouverez la liste de vos macros, ainsi que l'historique de vos tâches. Combien de fois cette tâche s'est-elle exécutée ? Combien de fois a-t-elle échoué ? Combien de fois d'affilée ? Nous mettons en place un journal des modifications : ainsi, chaque fois que quelqu'un modifie cette configuration, nous enregistrement qui l'a fait, quand et quelles modifications ont été apportées. Je vais vous montrer dans un instant comment cela s'intègre dans le processus.
Mais ensuite, je voudrais vous montrer la lignée. Je vais donc agrandir cette fenêtre pour vous. Voici donc une représentation de la lignée. Il s'agit ici d'un jeu de données », et là d'un nœud « étape ». Vous pouvez cliquer sur l'un ou l'autre pour obtenir plus de détails. Cela vous montre donc le schéma. Je peux cliquer sur le nœud « étape », ce qui vous donnera des détails sur ce qui se passe au sein de cette étape.
Je dispose d'une fonctionnalité de recherche. Ainsi, si je saisis « valid » comme mot-clé, le système trouvera le mot « valid » dans le nœud de l'ensemble de données, dans le champ et dans l'étape. Je peux également effectuer une analyse d’impact. Ainsi, si nous avions une défaillance ici, je pourrais cliquer sur « analyse d’impact ». Cela m’indiquerait les dépendances directes et me montrerait de quelle étape provient l’erreur. N’est-ce pas ? Et donc, l’objectif de la traçabilité ici, avant de m’avancer trop vite, c’est que vous pouvez également… Laissez-moi agrandir ça.
Vous pouvez également voir les tâches en amont et en aval dans votre vue de lignée. Vous pouvez donc les développer. Je peux mapper des champs au sein de mon projet, n'est-ce pas ? Je peux ainsi voir comment tous ces champs sont mappés tout au long de ce projet. Mais pour nous, l’intérêt de la traçabilité est double. C’est une référence pour vous : si vous devez effectuer une maintenance ou s’il y a un problème avec ce job, vous pouvez d’abord consulter la traçabilité pour comprendre comment les données circulent à travers celui-ci, comment il a été conçu et ce qu’il fait, bien avant même d’ouvrir l’artefact. N’est-ce pas ?
On peut également identifier les dépendances. Ainsi, si on rencontrait un problème avec cette tâche et qu’on devait la mettre hors ligne, on comprendrait immédiatement ce qui se trouve en amont et en aval, et ce qu’il faudrait faire au niveau de la planification. Je pense que cela ouvre une multitude de possibilités. Je pense que l’audit va s’avérer très utile dans ce contexte. Je voudrais disposer d’une sorte de… Je ne peux pas encore vous le montrer visuellement, mais je voudrais avoir une expérience proche du débogage, où l’on peut parcourir étape par étape et voir au fil du temps comment la solution a évolué. Au moment de son déploiement, elle était dans cet état, et aujourd’hui elle est dans cet état, et voici un aperçu de toutes les modifications, avec qui les a effectuées et ce qui a été fait tout au long de son cycle de vie. Ensuite, je voudrais vous montrer, à l’instar de ce que nous avons vu avec observabilité, mais cette fois-ci, nous avons ici une carte KPI qui nous indique que nous observons une tendance en matière d’IA, et qu’elle est négative.
Explorons donc cela. Ici, nous allons examiner les tendances en matière de qualité des données. Et tout comme précédemment, l’IA nous fournit un résumé indiquant que l’indice a baissé de 9 % au cours de la semaine dernière. Je peux donc cliquer sur « Afficher les indicateurs » et, une fois encore, utiliser notre visualisation pour valider ce que l’IA nous indique. Si les résultats ne concordent pas, je peux ignorer cette information et passer à autre chose. Si c’est le cas, j’ai la possibilité d’approfondir mes recherches pour en savoir plus et déterminer la marche à suivre. L’IA m’indique donc que mon indice de qualité des données a baissé.
D'accord, je comprends. Je vous crois. Passons donc à l'analyse des causes profondes. Je vous le rappelle, il s'agit d'une analyse à la demande qui permet de vous assurer que vous disposez d'informations à jour et de déterminer la marche à suivre. Le système a donc détecté une tendance différente. Le critère d'exhaustivité a baissé de 13 %, en raison d'une baisse du taux de remplissage des champs relatifs aux e-mails, qui est passé de 89 % à 68 %. Et le système m'indique ensuite quelle règle n'a pas été respectée.
Donc, encore une fois, avant toute chose, je consulte les indicateurs, et nous allons filtrer automatiquement tous ces graphiques. Ce premier graphique m'indique le score d'exhaustivité, et je peux observer la tendance. Le graphique suivant me montre le champ « e-mail », qui contient une règle associée à la dimension « exhaustivité ». Même tendance. Et enfin, cette règle, « n'est pas nul », est configurée pour le champ « e-mail ». N'est-ce pas ? Même tendance.
Les trois me montrent et m’indiquent donc la même chose. Et d’ailleurs, je comprends désormais la cause première de mon problème avant même d’avoir ouvert l’artefact. Et cette partie-là fonctionnera également sans IA. Mais comme nous disposons de l’historique et de ce journal des modifications, je peux voir que le problème provient de ma tâche en amont. Mappage de champ manquant pour le champ e-mail. Le champ source « source email » n’est pas mappé au champ cible « email ». Je peux voir l’impact en termes d’enregistrements concernés, et je peux également consulter l’historique des modifications que nous venons d’examiner.
Un certain Chris Gilson a supprimé le mappage. C'est bien ça ? On sait donc à qui s'en prendre, mais on sait aussi quel est notre problème. Et ci-dessous, vous pouvez voir la trace de la tâche. C'est donc la tâche que nous examinons actuellement. Voici la tâche en amont, et voici la tâche en aval. Et nous avons une liste d'actions suggérées.
Nous pouvons donc utiliser cette commande en langage naturel, comme je vous l’ai montré dans la section « Qualité des données », pour effectuer ces modifications. Je vais donc demander ici de mettre à jour la tâche en amont et de restaurer le mappage du champ « e-mail ». Lorsque je clique sur « Soumettre », ce qui se passe ici, c’est que nous allons vous montrer la partie exacte de l’interface utilisateur du job en amont où la modification est en cours, et vous avez la possibilité de l’approuver ou de l’annuler. Dans ce cas précis, je vais l’approuver. Une fois cela fait, vous verrez que cette action a été barrée, car nous l’avons déjà effectuée. Ensuite, nous allons apporter une modification à ce job et ajouter une règle de correction. Cela permettra de corriger toutes les valeurs nulles qui sont apparues en raison de l’absence de mappage.
Comme vous pouvez le voir, notre condition est ici vide, je vais donc l’approuver. Et enfin, nous allons mettre en place une mesure de sécurité afin d’être avertis si jamais un problème de ce type se reproduisait. Pour cela, nous allons ajouter une notification avec un seuil d’exhaustivité. Nous allons le fixer à 90 %, puis valider et déployer. D’accord ? C’est exactement ce dont je parlais : ajouter des fonctionnalités de conception à Integration Manager, pour que, chaque fois que vous rencontrez un problème, la première étape ne consiste pas simplement à tout télécharger dans votre dépôt local, à résoudre toutes les dépendances, puis à commencer à chercher ce qui n’a pas fonctionné. Et je trouve cela très efficace.
Et je suis le premier à l'admettre : si vous rencontrez des problèmes systémiques au sein d'un processus gigantesque comptant 1 500 étapes, ce n'est probablement pas la meilleure approche à adopter. N'est-ce pas ? Je préférerais ramener le tout dans l'IDE et commencer à chercher une solution là-bas. Mais je pense que pour la plupart des problèmes que vous rencontrez, nous pourrons vous aider à les résoudre rapidement et en toute confiance grâce à cet outil. Et enfin, nous avons ici une autre interface d’IA, mais dans ce cas précis, elle est un peu différente dans la mesure où vous pouvez lui poser des questions sur cette tâche, mais aussi effectuer des actions concrètes. Par exemple, télécharger et importer cela dans mon dépôt. Suggérer de meilleures options de planification.
Il y a une multitude de choses différentes que vous pouvez faire avec ça. Voilà donc un insight notre version 14.0 de Data Quality, ainsi qu’un insight la prochaine version, la 14.1. Il y a une chose que j’avais l’intention de mentionner dès le début de la réunion, mais que j’ai oubliée, et que j’ai laissée de côté dans ma précipitation et mon enthousiasme : je tenais à vous rassurer sur le fait qu’avec la version 14, nous conservons la même conception de l’espace de travail et du projet qu’Eclipse a ou avait, et nous prenons en charge cette approche et la renforçons avec la version 14. Ainsi, lorsque la version 14 sortira, tout ce que vous aurez à faire, c’est de configurer la version 14 pour qu’elle utilise votre espace de travail existant. Il n’y a ni mise à niveau, ni migration : il suffit de la configurer pour qu’elle utilise votre espace de travail existant et c’est parti. Bon, c’est tout pour moi. Merci.
Merci, Chris. Je sais que nous avons abordé beaucoup de sujets. J’espère que tous ceux qui nous écoutent partagent notre enthousiasme face aux nouveautés qui vont être intégrées au produit. Et j’espère que vous comprenez comment nous essayons d’aborder cela à la fois sous l’angle technique, mais aussi, encore une fois, en mettant l’accent sur la valeur ajoutée pour l’entreprise, n’est-ce pas ? L’objectif étant de rendre le produit plus facile à utiliser et plus efficace sur le plan opérationnel. Sur ce, nous allons passer à la séance de questions-réponses et aborder quelques questions qui ont été soulevées. La première question qui figure ici concerne les modifications apportées aux mesures correctives. La question est donc la suivante : « Ces modifications sont-elles répercutées dans le système source ? »
« Et sinon, où sont stockées les données de correction ? » La réponse a été donnée ici : la correction définit les règles permettant d’effectuer ces modifications, puis vous avez la possibilité de choisir d’appliquer cette correction à la source ou d’intervenir directement. Oui. Donc, la correction… C’est une bonne question. Nous ne modifions jamais le code source. Nous ne modifions jamais le code source dans aucun de nos outils, et nous ne le ferons jamais à l’avenir. La correction a lieu lorsque vous l’écrivez sur une cible, n’est-ce pas ? Donc, vous lisez les données à partir d’un emplacement et vous souhaitez les écrire sur un autre.
Et Data Connect vous permet de désactiver les cibles si vous le souhaitez, si vous voulez simplement qu'il génère des métriques. Vous pouvez également désactiver la correction si vous ne souhaitez pas que les problèmes soient corrigés. J'espère que cela répond à votre question. Oui. C'est parfaitement clair. Une autre question qui nous a été posée, et que vous venez d'évoquer, Chris, concerne le parcours de mise à niveau ; je ne pense donc pas qu'il soit nécessaire d'y revenir. Je dirai simplement que, comme je l'ai mentionné au début de ce webinaire, nous essayons vraiment de continuer à aller de l'avant, n'est-ce pas ?
Nous souhaitons que nos partenariats avec chacun d’entre vous se poursuivent et restent solides, et cela passe notamment par un dialogue régulier et des évaluations périodiques de la manière dont vous avez déployé l’outil, de son utilisation, ainsi que des aspects qui fonctionnent et de ceux qui ne fonctionnent pas. Ainsi, lorsque vous commencerez à évaluer la version 14, et que, je l’espère, vous serez aussi enthousiastes que nous à l’idée de l’utiliser, n’hésitez pas à nous faire savoir que nous devons venir à votre rencontre pour nous assurer que ce processus se déroule sans heurts pour vous. Encore une fois, je pense que nous l’avons conçue pour qu’il en soit ainsi, mais il y a également tous les autres axes stratégiques que nous pouvons vous aider à mettre en œuvre. As-tu quelque chose à ajouter à cela, Chris, ou un point que tu souhaites souligner en dehors de cela ? Oui. Nous sommes parfaitement conscients que ce qui compte le plus pour nos utilisateurs, ce sont toutes les ressources qu’ils ont développées, toutes ces années qu’ils ont consacrées à la création et à la maintenance de leurs solutions, et nous souhaitons bien sûr que vous continuiez à en tirer de la valeur. Nous ne voulons en aucun cas que ce processus soit pénible pour vous, sous quelque forme que ce soit. Nous voulons simplement nous montrer très arrangeants à cet égard.
Voyons voir. Encore une question par ici. Voyons voir. Je passe tout ça en revue. Il y a donc ici une question sur la disponibilité de la version 14. Ça va donc arriver… Évidemment, c’est ici que nous vous la présentons en avant-première, donc d’ici très peu. D’ici la fin du mois, nous allons procéder à un lancement plus officiel, ou à une « relance », si vous préférez.
Nous vous invitons donc à consulter notre site web à ce sujet. Une partie du contenu y est déjà disponible. Il sera régulièrement mis à jour. Et, encore une fois, nous tenons à nous investir pleinement dans ce projet. N’hésitez donc pas à nous faire part de vos commentaires. Nous voulons nous assurer que ce qui nous enthousiasme vous enthousiasme tout autant. Nous avons également mis en place plusieurs programmes en interne.
Nous mettons en place une section centrale. Nous espérons également en créer une à l'est et une à l'ouest. Tout cela vise à recueillir vos retours, n'est-ce pas ? Donc, encore une fois, alors que nous continuons à peaufiner la version 14, nous aimerions beaucoup que vous preniez le temps de consulter cette version, de nous faire part de vos retours lorsque c’est possible, et de contacter votre représentant local. Si vous ne savez pas de qui il s’agit, n’hésitez pas à me contacter ou même à contacter Chris. Je sais que l’un de nous deux se fera un plaisir de vous aider. Et je pense que c’est tout.
Je vais juste vérifier rapidement qu’il n’y a pas d’autres questions dans le chat. Une seconde. Oui. Je pense donc que c'est tout pour les questions, à moins que quelqu'un d'autre ne souhaite ajouter quelque chose à la dernière minute, dans ce cas n'hésitez pas. Lauren et Chris, nous avons reçu quelques questions. Y a-t-il des changements dans déploiement de la version 14 ? Oui, et cela s'accompagne de l'intégration d'Integration Manager.
Donc, Integration Manager peut être déployé n'importe où. Il peut être déployé sur site, sous forme de conteneur dans un VPC, ou encore dans le cloud. Vous pouvez installer nos moteurs n'importe où. Mais en ce qui concerne notre studio de conception, nous avons souhaité le conserver en mode privé, sur ordinateur de bureau et en mode mono-locataire. Pardon, Integration Manager est multi-locataire. D'un point de vue architectural, nous avons la possibilité de déployer le studio de conception dans le cloud, mais pour l'instant, nous nous concentrons exclusivement sur le déploiement sur site.
D'accord. Et il y avait encore une autre question. Beaucoup d'entreprises disposent de systèmes interne , donc quand vous avez mentionné qu'il était possible d'y utiliser l'IA, certaines questions ont été soulevées concernant les fonctionnalités prises en charge, etc. Oui, excellente question. Oui, vous pouvez intégrer votre propre modèle dans la version 14. Absolument. Parfait.
Sur ce, je ne vois pas d’autres questions qui nous sont parvenues. Très bien. Je pense donc que nous pouvons sans autre conclure. Encore une fois, je tiens à remercier chaleureusement toutes les personnes qui ont pris le temps de participer à cette réunion. J'ai l'impression que nous n'avons fait qu'effleurer le sujet. Il y a beaucoup de choses vraiment passionnantes dans ce que nous faisons avec la version 14. C'est la direction que nous prenons au sein même du produit, et tout revient toujours à la fiabilité de vos données, ce qui nous permet vraiment d'être proactifs, réactifs, d'adopter une approche globale, si vous voulez, et d'agir de manière plus efficace et plus performante.
J'espère donc que vous en prendrez bonne note, et nous avons hâte de vous retrouver en direct. Merci beaucoup. Merci à tous. Merci.