Was ist ein Datenvertrag?
Ein Datenvertrag ist eine formelle Vereinbarung zwischen einem Datenproduzenten und einem Datenverbraucher, in der das Schema, die Qualitätsstandards, die Eigentumsverhältnisse, die SLAs für die Bereitstellung sowie die Nutzungsbedingungen für einen bestimmten Datensatz festgelegt werden Datensatz damit nachgelagerte Teams genau wissen, was sie erhalten werden, und die Produzenten genau wissen, wofür sie verantwortlich sind.
Stellen Sie sich das wie einen API-Vertrag vor, nur für Daten. So wie ein API-Vertrag regelt, wie Softwaresysteme miteinander kommunizieren, regelt ein Datenvertrag, wie Daten zwischen Teams, Pipelines und Systemen fließen.
Definition des Datenvertrags
Ein Datenvertrag ist ein maschinenlesbares Dokument – in der Regel in YAML unter Verwendung des Open Data Contract Standard (ODCS) verfasst –, das festlegt, wozu sich ein Datenanbieter verpflichtet und worauf sich ein Datennutzer verlassen kann. Dadurch werden Erwartungen klar definiert, versioniert und durchsetzbar, noch bevor Probleme in der Produktion auftreten.
Wenn ein Datenvertrag eingebettet eine Pipeline eingebettet ist, lösen Schemaänderungen Warnmeldungen aus, anstatt zu stillen Fehlern zu führen; Qualitätsverstöße werden bereits an der Quelle erkannt, anstatt erst in einem Quartalsbericht entdeckt zu werden; und die Zuständigkeiten werden dokumentiert, anstatt nur als institutionelles Gedächtnis weitergegeben zu werden.
Was ein Datenvertrag enthält
| Komponente | Was damit gemeint ist |
|---|---|
| Grundlagen | Vertrags-ID, Name, Versionsnummer und Status |
| Schema | Tabellenstruktur, Spaltennamen, Datentypen, Primärschlüssel und geschäftliche Semantik auf Feldebene |
| Regeln für die Datenqualität | Validierungsprüfungen, die bestanden werden müssen, bevor Daten als lieferbar gelten |
| Team | Wer ist der Vertragsinhaber und wer ist für die Vertragsabwicklung zuständig, und wie können Verbraucher diese erreichen? |
| SLAs | Lieferplan, Frischegarantie und Verfügbarkeitszusagen |
| Nutzungsbedingungen | Was Verbraucher mit den Daten tun dürfen und was nicht |
| Server | Wo sich die Daten befinden und wie man darauf zugreift |
Ein Minimalvertrag kann mit den Grundlagen, dem Schema und den Qualitätsregeln beginnen. SLAs, Nutzungsbedingungen und Serverdaten werden im Laufe der Weiterentwicklung des Programms hinzugefügt.
Warum Datenverträge wichtig sind
Ohne einen Datenvertrag führt eine Schemaänderung im Quellsystem dazu, dass nachgelagerte Berichte unbemerkt nicht mehr funktionieren. Ein Feld, auf das sich Analysten verlassen, verschwindet ohne Vorwarnung. Eine Maschinelles Lernen erhält Nullen für ein Merkmal, das sie als wichtigen Prädiktor verwendet, und niemand bemerkt dies, bis sich die Modellleistung im Produktivbetrieb verschlechtert.
Datenverträge verhindern solche Ausfälle, indem sie die Schnittstelle zwischen Produzenten und Konsumenten explizit festlegen und durchsetzbar machen. Sie wandeln die Datenzuverlässigkeit von einem reaktiven Problem – das erst entdeckt wird, wenn etwas nicht mehr funktioniert – in eine proaktive Verpflichtung um, die bereits vor der Datenübertragung festgelegt wird.
Unternehmen nutzen Datenverträge, um:
- Verhindern Sie unbemerkte Schemafehler. Die Vertragsvalidierung erkennt grundlegende Änderungen, bevor sie nachgelagerte Verbraucher erreichen.
- Sichern Sie die Datenqualität bereits an der Quelle.Die im Vertrag definierten Qualitätsregelnwerden bei der Ausführung der Pipeline automatisch angewendet.
- Verantwortlichkeit für Dokumente.Für jedenVertrag gibt es einen namentlich genannten Ersteller und Verantwortlichen, der für dessen Inhalt verantwortlich ist.
- Zuverlässigen Self-Service ermöglichen.Verbraucherkönnen Verträge im Datenkatalog finden Datenkatalog auf den Daten aufbauen, ohne das erstellende Team um Bestätigung bitten zu müssen.
- Unterstützung von Governance und Compliance. Verträge liefern die Dokumentation, die für behördliche Prüfungen hinsichtlich Datenherkunft, Datenqualität und Verarbeitungsstandards erforderlich ist.
Datenvertrag im Vergleich zu verwandten Konzepten
Datenvertrag vs. Datenqualitätsregel: Eine Datenqualitätsregel ist eine einzelne Validierungsprüfung. Ein Datenvertrag ist eine umfassendere Vereinbarung, die neben Qualitätsregeln auch Schemata, Eigentumsverhältnisse, SLAs und Nutzungsbedingungen enthält. Qualitätsregeln geben Auskunft darüber, ob Daten gut sind. Ein Datenvertrag enthält alle Informationen zu den Daten und legt fest, wozu sich der Datenlieferant verpflichtet.
Datenvertrag vs. SLA: Ein SLA Lieferverpflichtungen: wann die Daten eintreffen, wie aktuell sie sind und inwieweit sie verfügbar sind. Ein Datenvertrag umfasst das SLA das Schema, Qualitätsstandards, Eigentumsverhältnisse und Nutzungsbedingungen. Ein SLA ein Bestandteil eines Datenvertrags.
Datenvertrag vs. Datenkatalog: Ein Datenkatalog , welche Datenbestände vorhanden sind und deren Metadaten. Ein Datenvertrag formalisiert die Verpflichtungen, die ein Produzent in Bezug auf eine bestimmte Ressource eingeht. Ein Katalogeintrag beschreibt einen Datensatz; ein Datenvertrag regelt dessen Bereitstellung. Datenverträge werden häufig im Katalog veröffentlicht, damit Verbraucher sie finden können.
Datenvertrag vs. Data Governance : Eine Data Governance legt unternehmensweite Standards für die Verwaltung von Daten fest. Ein Datenvertrag wendet diese Standards auf einen bestimmten Datensatz an, der zwischen einem bestimmten Ersteller und einem bestimmten Verbraucher Datensatz . Richtlinien sind unternehmensweit gültig; Verträge beziehen sich auf Datensatz.
Datenverträge in der Praxis
Das Problem, das sie lösen:EinData-Engineering-Team benennt eine Spalte in der Auftragstabelle um. Drei nachgelagerte Pipelines fallen aus. Zwei Dashboards zeigen Nullwerte an. Eine Maschinelles Lernen hat 48 Stunden lang unbemerkt Nullen empfangen. Das Problem wird entdeckt, als ein Vizepräsident fragt, warum die Umsatzzahlen gesunken sind.
Bei bestehendem Datenvertrag: Löst dieselbe Umbenennung einen Fehler bei der Vertragsvalidierung aus, bevor die Änderung übernommen wird. Der Vertrag legt fest, dass der ursprüngliche Spaltenname erforderlich ist. Das System identifiziert jeden nachgelagerten Verbraucher, der davon abhängt. Das Team koordiniert die Änderung, aktualisiert die Vertragsversion und führt die Bereitstellung mit einem Migrationspfad durch. Es kommt zu keinen Unterbrechungen in den Pipelines.
FAQ
Eine formelle Vereinbarung zwischen dem Team, das einen Datensatz erstellt, Datensatz den Teams, die ihn nutzen, in der festgelegt wird, welche Inhalte die Daten umfassen, welche Qualitätsanforderungen sie erfüllen müssen, wann sie bereitgestellt werden und wer dafür verantwortlich ist.
In den meisten Fällen nicht. Datenvereinbarungen sind interne Governance-Dokumente, die dazu dienen, Standards zwischen Teams zu koordinieren und durchzusetzen. Es handelt sich dabei nicht um kommerzielle Rechtsverträge. Ihr Nutzen liegt im operativen Bereich: Sie machen Erwartungen explizit und ermöglichen eine automatisierte Durchsetzung.
Der Datenproduzent verfasst den ersten Entwurf in Zusammenarbeit mit den Datennutzern. Der Produzent legt fest, wozu er sich verpflichten kann; der Nutzer definiert, was er benötigt. Ein Datenverantwortlicher oder Governance-Beauftragter kann den Vertrag vor seiner Veröffentlichung prüfen und genehmigen.
Der Open Data Contract Standard (ODCS) ist ein Projekt der Linux Foundation, das ein maschinenlesbares YAML-Format für Datenverträge definiert. Er umfasst Grundlagen, Schemata, Qualitätsregeln, Teamverantwortung, SLAs, Nutzungsbedingungen und Serverkonfiguration. Er ist der sich etablierende Industriestandard für Datenverträge in modernen Datenstacks.
Indem die Schema- und Qualitätsvalidierung in die Pipeline integriert wird, die die Daten erzeugt. Wenn in einem Vertrag festgelegt ist, dass die Null-Rate eines Feldes unter 2 % liegen muss, die Pipeline jedoch Daten mit 15 % Nullwerten liefert, schlägt die Validierung fehl und der Verantwortliche wird benachrichtigt, bevor fehlerhafte Daten die nachgelagerten Verbraucher erreichen. Schemaänderungen, die die Pipelines der Verbraucher beeinträchtigen würden, werden bereits vor Deployment erkannt.
In einem Data Mesh sind die Fachteams für die Datenprodukte verantwortlich und veröffentlichen diese. Ein Datenvertrag ist die formale Schnittstelle, die ein Datenprodukt nutzbar macht: Er legt fest, was das Produkt liefert, nach welchem Standard und zu welchen Bedingungen. Ohne Datenverträge sind Data-Mesh-Produkte undokumentiert. Mit ihnen verfügt jedes Produkt über eine versionierte, durchsetzbare Schnittstelle.
