Repenser l'architecture en médaillon pour les plateformes données modernes

L'architecture Medallion est un modèle de conception populaire pour l'organisation des données au sein d'une architecture Lakehouse. De nombreuses grandes entreprises utilisent ce modèle pour structurer logiquement leurs données. 

Dans cet article, je décrirai le fonctionnement de l'architecture, j'explorerai son adaptabilité dans les environnements d'entreprise modernes et je soulignerai pourquoi elle reste pertinente, en particulier lorsque les équipes de données s'agrandissent et se fédèrent.

Comprendre les trois couches

Couche de bronze

Cette couche sert de zone pour les données brutes collectées à partir de diverses sources. Les données de la couche Bronze sont stockées dans leur structure d'origine, sans aucune transformation, et servent d'enregistrement historique et de source unique de vérité. Elle garantit que les données sont capturées et stockées de manière fiable, ce qui les rend disponibles pour un traitement ultérieur. Ses principales caractéristiques sont le volume, la variété et la véracité. Les données sont immuables afin de maintenir l'intégrité de leur état d'origine.

Couche d'argent

Cette couche affine, nettoie et normalise les données brutes, les préparant à des tâches opérationnelles et analytiques plus complexes. Dans cette couche, les données subissent des contrôles de qualité, une normalisation, une déduplication et d'autres améliorations qui renforcent leur fiabilité et leur simplicité d'utilisation. La couche Silver est une étape de transition où les données sont encore granulaires mais ont été traitées pour en assurer la qualité et la cohérence. Ses principales caractéristiques sont que les données de la couche Silver sont plus structurées et requête, ce qui facilite le travail des analystes et des scientifiques des données.

Couche d'or

Cette couche fournit des données affinées, optimisées pour des aperçus commerciaux spécifiques et la prise de décision. La couche Gold comprend l'agrégation, la synthèse et l'enrichissement des données en vue de support création de rapports et d'analyses de haut niveau. Cette couche met l'accent sur la performance, la simplicité d'utilisation et l'évolutivité, en fournissant un accès rapide aux indicateurs clés et aux informations.

Pourquoi les couches sont logiques et non physiques

Il est essentiel de considérer ces couches comme logiques et non comme physiques. Ainsi, lorsque vous discutez, par exemple, de la couche Bronze, ne la considérez pas comme une seule couche physique. Considérez-la plutôt comme une couche logique qui pourrait s'étendre sur plusieurs couches physiques. Voici comment l'architecture Medallion pourrait se présenter dans la pratique :

Figure 1 - Architectures des médaillons de construction, O'Reilly (2025)

Cette flexibilité conceptuelle est vitale, en particulier dans les grandes organisations. Au fur et à mesure que ces organisations se développent, elles doivent relever le défi d'adapter la gestion des données afin de support volumes de données plus importants, d'accueillir davantage d'utilisateurs et de répondre à une plus grande variété de cas d'utilisation.

Architecture des médaillons fédérés

Dans ce contexte, il est important de comprendre que l'architecture en médaillon ne doit pas être considérée comme un concept rigide ; elle représente plutôt un éventail de possibilités qui peuvent être adaptées à des circonstances uniques, y compris l'option d'avoir plusieurs architectures en médaillon adaptées à des besoins différents, qui peuvent influencer la conception de l'architecture globale.

Prenons l'exemple de la gestion de deux architectures Medallion, l'une adaptée au système source et l'autre à la consommation. Dans ce cas, l'interaction entre les couches devient cruciale. On pourrait dire que la couche Gold ou produit de données dans l'architecture alignée sur la source agit en fait comme la couche Bronze dans l'architecture alignée sur la consommation. Cette approche crée une architecture plus rationnelle en éliminant la nécessité de dupliquer la couche de produit de données dans la couche Bronze de la configuration de consommation.

L'image ci-dessous illustre un style architectural qui utilise deux consommateurs de base : un fournisseur de données simple, un fournisseur complexe à usage unique et un consommateur distributeur.

Figure 2 - Architectures des médaillons de construction, O'Reilly (2025)

Gérer la complexité au sein des équipes

La mise en place d'architectures Medallion peut s'avérer difficile, en particulier lorsque de nombreuses équipes sont impliquées et que chacune d'entre elles a besoin d'accéder aux données des autres. Dans ce cas, vous pouvez envisager d'établir des architectures Medallion distinctes pour chaque équipe, avec leurs propres couches Bronze, Argent et Or.

Cependant, il est essentiel d'offrir de bonnes orientations pour éviter l'apparition d'un trop grand nombre de variantes, qui pourraient entraver l'interopérabilité entre les domaines et créer des silos qui compliquent le partage des données et la collaboration.

En conclusion, le modèle Medallion n'est pas une solution universelle. Cependant, il reste l'un des modèles de conception les plus pratiques et les plus adaptables pour structurer des pipelines de données de qualité analytique prêts pour l'IA, en particulier dans des environnements complexes, fédérés et en croissance continue.

Pour approfondir ces concepts, jetez un coup d'œil à mon livre :
Building Medallion Architectures : Designing With Delta Lake and Spark (O'Reilly, 2025).

Ou regardez la retransmission complète du webinaire :
Le débat sur l'architecture des grands médaillons
Avec Ole Olesen Bagneux, évangéliste en chef d'Actian

À propos de Piethein Strengholt

Piethein Strengholt est un expert chevronné en gestion des données Fort d'une solide expérience en tant que directeur des données (CDO) et architecte en chef des données, il possède une solide expérience enregistrement Collaborer avec les directeurs du développement de grandes entreprises est essentiel pour stimuler la croissance de la communauté et aligner les stratégies sur les objectifs commerciaux. Piethein est également un blogueur prolifique et un conférencier recherché qui aborde régulièrement les dernières tendances en matière de gestion des données , y compris les concepts de maillage de données, les données gouvernance et des stratégies de mise à l’échelle.