Vos ingénieurs savent ce qui ne fonctionne pas. Mais ils ne savent pas ce qui va tomber en panne ensuite.
Actian offre aux ingénieurs de données une vue en temps réel de l'état de santé du pipeline, de son impact en aval et du contexte métier, leur permettant ainsi d'apporter rapidement des modifications en toute sécurité.
Entreprise internationale spécialisée dans les sciences et les technologies dans les domaines de la santé, des sciences de la vie et de l'électronique
Objets répertoriés
.
Produits de données lancés
.
Utilisateurs d'Explorer enregistrés
.
Une entreprise internationale spécialisée dans les sciences et les technologies a remplacé Informatica sur un pipeline de 10 000 processus, sans avoir à le reconstruire.
Notre client est l'une des plus anciennes entreprises mondiales dans le domaine des sciences et des technologies, présente dans les secteurs de la santé, des sciences de la vie et de l'électronique. Fondée au XVIIe siècle. Chiffre d'affaires annuel de 21 milliards d'euros. 63 000 collaborateurs répartis dans 65 pays.
Leur problème lié aux données était bien précis : des modifications de schéma au sein d’un écosystème fragmenté regroupant Snowflake, Palantir, AWS et SAP provoquaient des défaillances en cascade dans les pipelines. Plus de 10 000 processus de traitement des données. Aucun moyen automatisé de déterminer ce qui avait cessé de fonctionner, pourquoi, ni quelles répercussions cela avait eues en aval.
Le défi
- Les anciens catalogues sur site stockaient les données en silo aucune visibilité inter-services.
- Des modifications inattendues du schéma ont provoqué des erreurs fatales qui se sont répercutées en aval avant que quiconque ne les détecte.
- En l'absence de suivi, les ingénieurs se contentaient d'analyser les défaillances a posteriori, sans chercher à les prévenir.
Ce qu'a fait Actian
- Smart Lineage, intégré sous le nom de « Data Central » dans l'écosystème UPTIMIZE, assure le suivi automatique de chaque transformation des données, depuis leur collecte jusqu'à leur stockage.
- Le graphe de connaissances fédéré reliait jeux de données physiques jeux de données un contexte métier réglementé, ce qui permettait aux ingénieurs de comprendre la signification d'un champ, d'identifier son propriétaire et de déterminer ce qui en dépendait avant même d'intervenir.
- Le pipeline observabilité des scores de santé automatisés dans le catalogue, mettant ainsi en évidence les dérives de schéma et les anomalies avant même que les utilisateurs en aval ne les détectent.
Ce qu'une entreprise de cette envergure a réussi à accomplir
3,4 millionsmétadonnées uniques ingérés dans plus de 30 000 jeux de données.
1 000 produits de données gérés issus de processus opérationnels distribués.
Plus de 13 000 utilisateurs Explorer enregistrés quelques mois après le lancement.
Conçu pour s'adapter aux méthodes de travail réelles des ingénieurs
Les ingénieurs en contexte sémantique peuvent utiliser
Le graphe de connaissances fédéré relie jeux de données physiques jeux de données une logique métier régie par des règles. Avant d'apporter la moindre modification, vous pouvez voir ce que signifie un champ, à qui il appartient et ce qui en dépend. Le contexte est à votre disposition quand vous en avez besoin, et n'est pas enfoui dans un wiki que personne ne met plus à jour.
métadonnées restent à jour sans intervention manuelle
Les connecteurs natifs collectent et synchronisent métadonnées dans les environnements cloud, sur site et hybrides. Les indicateurs d'état issus de observabilité automatiquement intégrés. métadonnées ensuite restituées via des API ouvertes. Votre pile reste automatiquement à jour.
Cartographie des répercussions en aval avant qu'un problème ne survienne
Smart Lineage permet de suivre simultanément deux éléments : la manière dont les données se transforment au fur et à mesure de leur progression dans les pipelines, et leur provenance à la source. La plupart des outils n’en assurent qu’un seul. Lorsqu’un schéma évolue, Actian cartographie ces deux aspects, ce qui permet aux ingénieurs d’identifier précisément les processus en aval qui sont menacés et de remonter à l’origine du problème en une seule opération.
Vous reconnaissez l'un de ces éléments ?
Si votre équipe est confrontée à cette situation… |
Actian y répond avec… |
|---|---|
Les défaillances des conduites sont identifiées manuellement a posteriori |
Smart Lineage vous indique ce qui ne fonctionne plus avant que vous ne validiez la modification |
Des outils de traçabilité qui suivent les transformations mais perdent la source, ou qui retracent les origines mais ne prennent pas en compte ce qui a changé en cours de route |
Smart Lineage permet de cartographier simultanément la traçabilité des transformations et celle des sources de données, en une seule étape automatisée. |
Les ingénieurs passent des heures à rechercher le contexte avant de pouvoir effectuer des modifications en toute sécurité |
Le graphe de connaissances fédéré expose la logique métier contrôlée au niveau des champs |
métadonnées qui accuse toujours un retard de trois sprints |
Les connecteurs natifs collectent et synchronisent les données en continu, sans qu'il soit nécessaire de les actualiser manuellement. |
Une dérive du schéma qui n'apparaît qu'après que les utilisateurs en aval se sont plaints |
observabilité les dérives et les met en évidence avant qu'elles ne se propagent |
Le rôle de l'ingénierie des données dans une perspective plus large
Prêt à ne plus avoir à rechercher les causes des défaillances après coup ?
Discutez de votre environnement de pipeline avec un ingénieur solutions. Nous identifierons les domaines de votre pile technique où les solutions Smart Lineage, Quality et observabilité .
Prendre rendez-vous pour un entretien sur les solutions
(par exemple : sales@..., support)
