Qu'est-ce qu'une Data Mesh?
Un data mesh est une architecture informatique décentralisée qui délègue la propriété des actifs de données d'une entreprise aux départements et aux équipes qui sont les experts du domaine pour leurs données. La technologie fournit les outils nécessaires pour permettre aux experts du domaine de publier leurs données et les outils de connectivité nécessaires pour accéder aux data products publiés par d'autres. Le data mesh utilise un modèle de données fédéré dans lequel les domaines spécialisés sont les éditeurs de données pour les autres.
Pourquoi utiliser cette architecture ?
Le problème des entrepôts de données ou des lacs de données traditionnels gérés par l'IT est qu'ils reposent sur une équipe centrale qui n'est pas experte dans tous les domaines. L'avantage d'un data mesh est qu'il délègue la responsabilité de la publication des données aux experts du domaine. Les fonctions commerciales et financières sont celles qui comprennent le mieux leurs jeux de données respectifs. Elles ont besoin des outils de l'informatique pour leur permettre de conserver et de publier leurs données en tant que service afin que l'ensemble de l'organisation puisse avantage de données précises et de haute qualité provenant d'une source faisant autorité.
Les entrepôts et les marges de données traditionnels peuvent créer des silos de données qui sont utilisés de manière isolement par le département ou la ligne d'activité qu'ils desservent. Cette approche encourage la prolifération de pools de données non connectés que le reste de l'entreprise ne peut pas exploiter. Le data mesh décourage la duplication des données, en concentrant les ressources sur un nombre réduit de sources de données de meilleure qualité parce que des experts en la matière les gèrent.
Il exploite un bus d'interopérabilité universel sur lequel se branchent les différents domaines d'activité. L'entrepôt de données du département publie ses données en tant que produit en utilisant le bus d'interopérabilité commun.
La principale différence entre un tissu de données et un data mesh est que le tissu de données ne distribue pas la propriété des données, ce qui présente l'inconvénient de dépendre d'une équipe centrale qui peut être débordée.
La découvrabilité est un avantage essentiel d'un data mesh. Les consommateurs de données peuvent rapidement localiser les données dont ils ont besoin grâce à l'utilisation abondante de métadonnées dans un data mesh.
Les éléments constitutifs d'un Data Mesh
Les éléments essentiels sont les suivants :
- Des sources de données qui pourraient être des entrepôts de données traditionnels.
- data products données en tant que service spécifiques à un domaine.
- L'infrastructure de données, telle que les magasins de données et les scripts, pour construire et instancier un service de produit de données.
- Normes et règles de gouvernance données.
- Contrôles et politiques de sécurité.
- Lesplateformes streaming événements telles que Kafka ou Confluent Cloud peuvent faire partie de l'infrastructure de data mesh pour capturer et distribuer les changements de données en temps réel.
- Qualité des données et conventions de métadonnées .
- Code - y compris les pipelines de données, les contrôles de gouvernance , les politiques et les interfaces d'application.
Avantages de l'architecture de Data Mesh
Les avantages d'un data mesh sont notamment les suivants :
- Les experts du domaine partagent des données plus significatives sous la forme d'un service de produits de données.
- Le partage des sources de données existantes permet à l'entreprise d'en tirer davantage de valeur.
- La décentralisation des efforts de gestion des données permet de réduire les coûts de main-d'œuvre centralisés.
- La sécurité peut appliquer des politiques telles que le cryptage des données au repos et en mouvement.
- Les données sont plus faciles à trouver grâce aux métadonnées.
- De meilleurs data products libre-service.
- Moins de duplication des données.
- Moins de silos de données.
- Les projets de données peuvent être mis en place plus rapidement car il y a moins de données à déplacer et à transformer.
- Des outils, des normes et des processus partagés améliorent la maîtrise des données dans l'ensemble de l'organisation.
- Moins de retards dans les projets d'entrepôts de données grâce à la démocratisation des données.
- Les services modulaires de produits de données sont plus faciles à utiliser par les applications.
- Amélioration de la normalisation de la qualité des données et des pratiques de gouvernance données
- Les entreprises tirent davantage de valeur de leurs données, ce qui leur permet d'améliorer la prise de décision fondée sur les données.
Actian soutient les déploiements de Data Mesh
Actian Data Intelligence Platform est conçue pour aider les entreprises à unifier, gérer et comprendre leurs données dans des environnements hybrides. Elle rassemble la gestion des métadonnées , la gouvernance, le lignage, le contrôle de la qualité et l'automatisation en une seule plateforme. Les équipes peuvent ainsi savoir d'où viennent les données, comment elles sont utilisées et si elles répondent aux exigences internes et externes.
Grâce à son interface centralisée, Actian offre une insight en temps réel des structures et des flux de données, ce qui facilite l'application des politiques, la résolution des problèmes et la collaboration entre les services. La plateforme aide également à relier les données au contexte commercial, ce qui permet aux équipes d'utiliser les données de manière plus efficace et plus responsable. La plateforme d'Actian est conçue pour s'adapter à l'évolution des écosystèmes de données, favorisant une utilisation cohérente, intelligente et sécurisée des données dans l'ensemble de l'entreprise. Demandez votre démo personnalisée.
FAQ
Data mesh est une architecture de données décentralisée qui traite les données comme un produit et donne aux équipes de domaine la propriété de leurs propres données. Elle remplace les lacs de données centralisés traditionnels par une approche fédérée qui améliore l'évolutivité, la qualité et l'agilité dans la gestion des données.
Le Data mesh est important car il élimine les goulots d’étranglement causés par des équipes de données centralisées. En répartissant la propriété des données entre les différents domaines, les organisations peuvent obtenir des informations plus rapidement, une meilleure collaboration et une meilleure prise de décision fondée sur les données.
Les quatre principes clés du data mesh sont la propriété des données orientée vers le domaine, les données en tant que produit, l'infrastructure de données en libre-service et la gouvernance informatique fédérée. Ensemble, ces principes garantissent un partage des données évolutif, sécurisé et de haute qualité des partage des données au sein d'une organisation.
Contrairement aux architectures centralisées traditionnelles, un data mesh répartit les responsabilités en matière de données entre les équipes du domaine. Chaque équipe gère ses propres data products tout en respectant des normes communes, ce qui rend le système plus flexible, évolutif et aligné sur les besoins de l'entreprise.
Le Data mesh offre plusieurs avantages, notamment une meilleure qualité des données, des analyses plus rapides, une meilleure évolutivité et une plus grande responsabilité. Il permet également aux équipes d'innover de manière indépendante tout en maintenant une gouvernance et une sécurité cohérentes.
Les défis communs comprennent la résistance culturelle, le manque de connaissance des données du domaine et la complexité de l'établissement de normes de gouvernance . Une mise en œuvre réussie nécessite un leadership fort, une communication claire et une solide plateforme de données en libre-service.