Die Medaillon-Architektur für moderne Datenplattformen überdenken

Die Medallion-Architektur ist ein beliebtes Entwurfsmuster für die Organisation von Daten in einer Lakehouse-Architektur. Viele große Unternehmen verwenden dieses Muster zur logischen Strukturierung ihrer Daten. 

In diesem Beitrag beschreibe ich die Funktionsweise der Architektur, untersuche ihre Anpassungsfähigkeit in modernen Unternehmensumgebungen und zeige auf, warum sie nach wie vor relevant ist, insbesondere wenn Datenteams skalieren und sich zusammenschließen.

Die drei Ebenen verstehen

Bronzeschicht

Diese Ebene dient als Zone für Rohdaten, die aus verschiedenen Quellen gesammelt wurden. Die Daten in der Bronzeschicht werden in ihrer ursprünglichen Struktur ohne jegliche Umwandlung gespeichert und dienen als historische Aufzeichnung und als einzige Quelle der Wahrheit. Sie stellt sicher, dass die Daten zuverlässig erfasst und gespeichert werden, so dass sie für die weitere Verarbeitung zur Verfügung stehen. Zu den wichtigsten Merkmalen gehören ein hohes Volumen, Vielfalt und Wahrhaftigkeit. Die Daten sind unveränderlich, um die Integrität ihres ursprünglichen Zustands zu erhalten.

Silberne Schicht

Diese Schicht verfeinert, bereinigt und standardisiert die Rohdaten und bereitet sie für komplexere operative und analytische Aufgaben vor. In dieser Schicht werden die Daten Qualitätsprüfungen, Standardisierung, Deduplizierung und anderen Verbesserungen unterzogen, die ihre Zuverlässigkeit und usability verbessern. Die Silver-Schicht fungiert als Übergangsstufe, in der die Daten zwar immer noch granular sind, aber bereits verarbeitet wurden, um Qualität und Beständigkeit zu gewährleisten. Die wichtigsten Merkmale sind, dass die Daten in der Silver-Schicht strukturierter und Anfrage sind, so dass Analysten und Datenwissenschaftler leichter mit ihnen arbeiten können.

Goldschicht

Diese Schicht liefert verfeinerte Daten, die für spezifische Geschäftseinblicke und Entscheidungsfindung optimiert sind. Die Gold-Schicht umfasst die Aggregation, Zusammenfassung und Anreicherung von Daten zur Unterstützung von Berichten und Analysen auf hoher Ebene. Diese Schicht konzentriert sich auf Leistung, usability und Scalability und bietet schnellen Zugriff auf zentrale Kennzahlen und Erkenntnisse.

Warum die Ebenen logisch und nicht physikalisch sind

Es ist wichtig, diese Schichten als logische und nicht als physische zu betrachten. Wenn Sie also z. B. über die Bronze-Schicht sprechen, sollten Sie sie nicht nur als eine physikalische Schicht betrachten. Betrachten Sie sie stattdessen als logische Schicht, die sich über mehrere physische Schichten erstrecken kann. Nachfolgend sehen Sie, wie die Medallion-Architektur in der Praxis aussehen könnte:

Abbildung 1 - Aufbau von Medaillon-Architekturen, O'Reilly (2025)

Diese konzeptionelle Flexibilität ist vor allem in größeren Unternehmen von entscheidender Bedeutung. Wenn diese Organisationen expandieren, stehen sie vor der Herausforderung, das Datenmanagement zu skalieren, um größere Datenmengen zu unterstützen, mehr Benutzer unterzubringen und eine größere Vielfalt von Anwendungsfällen zu adressieren.

Föderale Medaillon-Architektur

In diesem Zusammenhang ist es wichtig zu verstehen, dass die Medallion-Architektur nicht als starres Konzept betrachtet werden sollte, sondern vielmehr ein Spektrum von Möglichkeiten darstellt, das an einzigartige Umstände angepasst werden kann, einschließlich der Option, mehrere Medallion-Architekturen zu haben, die auf unterschiedliche Bedürfnisse zugeschnitten sind, was die Gestaltung der Gesamtarchitektur beeinflussen kann.

Denken Sie zum Beispiel an die Verwaltung von zwei Medallion-Architekturen - eine, die auf das Quellsystem zugeschnitten ist, und die andere, die auf den Verbraucher zugeschnitten ist. In diesem Fall wird die Interaktion zwischen den Schichten entscheidend. Man könnte argumentieren, dass die Gold- oder Datenproduktebene in der auf die Quelle ausgerichteten Architektur effektiv als Bronze-Ebene in der auf den Verbrauch ausgerichteten Architektur fungiert. Dieser Ansatz führt zu einer schlankeren Architektur, da die Datenproduktschicht in der Bronzeschicht der verbrauchsorientierten Architektur nicht mehr dupliziert werden muss.

Die folgende Abbildung zeigt eine Architektur mit zwei grundlegenden Verbrauchern: einem einfachen Datenanbieter, einem komplexen Anbieter für den einmaligen Gebrauch und einem Verteilerverbraucher.

Abbildung 2 - Aufbau von Medaillon-Architekturen, O'Reilly (2025)

Komplexität teamübergreifend managen

Der Aufbau von Medallion-Architekturen kann eine Herausforderung sein, insbesondere wenn viele Teams beteiligt sind, von denen jedes Zugriff auf die Daten anderer Teams benötigt. In solchen Szenarien könnten Sie in Erwägung ziehen, separate Medallion-Architekturen für jedes Team einzurichten, komplett mit ihren eigenen Bronze-, Silber- und Gold-Schichten.

Eine gute Anleitung ist jedoch wichtig, um das Entstehen zu vieler Varianten zu verhindern, die die Interoperabilität zwischen den Bereichen behindern und Silos schaffen könnten, die den data sharing und die Zusammenarbeit erschweren.

Zusammenfassend lässt sich sagen, dass das Medallion-Modell keine Einheitslösung darstellt. Es ist jedoch nach wie vor eines der praktischsten und anpassungsfähigsten Entwurfsmuster für die Strukturierung von KI-fähigen Datenpipelines mit Analysefunktionalität - insbesondere in komplexen, föderierten und ständig wachsenden Umgebungen.

Wenn Sie sich eingehender mit den Konzepten befassen möchten, lesen Sie mein Buch:
Aufbau von Medaillon-Architekturen: Entwerfen mit Delta Lake und Spark (O'Reilly, 2025)

Oder sehen Sie sich die vollständige Aufzeichnung des Webinars an:
Die große Medallion-Architektur-Debatte
Mit Ole Olesen Bagneux, Chef-Evangelist von Actian

Über Piethein Strengholt

Piethein Strengholt ist ein erfahrener Experte für Datenmanagement mit umfangreicher Erfahrung in den Rollen Chief Data Officer (CDO) und Chief Data Architect. Er arbeitet sehr erfolgreich mit CDO-Führungskräften großer Unternehmen. Dabei konzentriert er sich darauf, die Community auszubauen und Strategien an Geschäftszielen auszurichten. Piethein ist zudem sehr aktiver Blogger und ein gefragter Redner, der regelmäßig über die neuesten Trends im Datenmanagement, einschließlich Datennetzkonzepten, Data Governance und Skalierungsstrategien referiert.