Vos ingénieurs savent ce qui est défaillant. Pas toujours ce que cela risque de casser ensuite.
Actian offre aux data engineers une vue en temps réel de la santé de leurs pipelines, de l’impact en aval et du contexte métier nécessaire pour effectuer rapidement des changements en toute sécurité.
Entreprise mondiale spécialisée dans les sciences et technologies, active dans la santé, les sciences de la vie et l’électronique
objets catalogués
.
produits de données lancés
.
utilisateurs Explorer inscrits
.
Une entreprise mondiale spécialisée dans les sciences et technologies a remplacé Informatica sur un pipeline de 10 000 processus. Sans le reconstruire.
Notre client est l’une des plus anciennes entreprises scientifiques et technologiques au monde, active dans la santé, les sciences de la vie et l’électronique. Fondée au XVIIe siècle. 21 milliards d’euros de chiffre d’affaires annuel. 63 000 collaborateurs dans 65 pays.
Son problème data était très précis : dans un écosystème fragmenté entre Snowflake, Palantir, AWS et SAP, les changements de schéma déclenchaient des pannes de pipelines en cascade. Plus de 10 000 processus de données. Aucun moyen automatisé de retracer ce qui avait cassé, pourquoi, ni ce que cela affectait en aval.
Le défi
- Les catalogues legacy sur site maintenaient les données en silos, sans aucune visibilité entre les départements.
- Les changements de schéma inattendus déclenchaient des erreurs bloquantes qui se propageaient en aval avant même d’être détectées.
- Faute de lignage, les ingénieurs devaient enquêter après les pannes au lieu de les prévenir.
Ce qu’Actian a mis en place
- Smart Lineage a été intégré comme « Data Central » dans leur écosystème UPTIMIZE, afin de suivre automatiquement chaque transformation de données, de la collecte au stockage.
- Le graphe de connaissances fédéré a relié les jeux de données physiques à un contexte métier gouverné, pour permettre aux ingénieurs de voir ce que signifie un champ, qui en est responsable et ce qui en dépend avant d’y toucher.
- Pipeline Observability a intégré des scores de santé automatisés au catalogue, afin de faire remonter les dérives de schéma et les anomalies avant qu’elles ne soient visibles par les consommateurs en aval.
Ce qu’une entreprise de cette envergure a obtenu
3,4 millions d’objets de métadonnées uniques ingérés sur plus de 30 000 jeux de données.
1 000 produits de données gouvernés lancés à partir de processus opérationnels distribués.
Plus de 13 000 utilisateurs Explorer inscrits en quelques mois après le lancement.
Pensé pour la réalité du travail des ingénieurs
Un contexte sémantique exploitable par les ingénieurs
Le graphe de connaissances fédéré relie les jeux de données physiques à une logique métier gouvernée. Avant de modifier quoi que ce soit, vous pouvez voir ce que signifie un champ, qui en est responsable et ce qui en dépend. Le contexte est disponible quand vous en avez besoin, au lieu d’être enfoui dans un wiki que plus personne ne met à jour.
Des métadonnées qui restent à jour sans effort manuel
Les connecteurs natifs collectent et synchronisent les métadonnées en continu dans les environnements cloud, sur site et hybrides. Les signaux de santé issus de l’observabilité sont intégrés automatiquement. Les métadonnées ressortent ensuite via des API ouvertes. Votre stack reste automatiquement à jour.
Une cartographie de l’impact en aval avant que quelque chose ne casse
Smart Lineage suit deux éléments en même temps : la manière dont les données se transforment lorsqu’elles circulent dans les pipelines, et leur origine à la source. La plupart des outils ne font que l’un des deux. Lorsqu’un schéma change, Actian cartographie les deux, afin que les ingénieurs voient exactement quels processus en aval sont à risque et puissent remonter jusqu’à l’origine du problème dans le même mouvement.
Vous reconnaissez certaines de ces situations ?
Si votre équipe fait face à cela… |
Actian y répond avec… |
|---|---|
Des pannes de pipelines retracées manuellement après coup |
Smart Lineage vous montre ce qui risque de casser avant de pousser le changement |
Des outils de lignage qui suivent les transformations mais perdent la source, ou retracent l’origine mais passent à côté de ce qui a changé en transit |
Smart Lineage capture ensemble le lignage des transformations et le lignage des sources de données, dans un seul passage automatisé |
Des ingénieurs qui passent des heures à chercher le contexte avant d’effectuer des modifications en toute sécurité |
Le graphe de connaissances fédéré expose la logique métier gouvernée au niveau des champs |
Une documentation des métadonnées toujours en retard de trois sprints |
Les connecteurs natifs collectent et synchronisent les métadonnées en continu, sans rafraîchissement manuel |
Une dérive de schéma détectée seulement après les plaintes des consommateurs en aval |
L’observabilité détecte les dérives et les fait remonter avant qu’elles ne se propagent |
Comment le data engineering s’inscrit dans une vision plus large
Prêt à ne plus retracer les pannes après coup ?
Échangez avec un Solutions Engineer au sujet de votre environnement de pipelines. Nous identifierons où Smart Lineage, Quality et Observability peuvent s’appliquer à votre stack spécifique.
Réserver un échange avec un Solutions Engineer
(par exemple : sales@..., support)
