Was ist Datenqualität?
Die Datenqualität ist ein Maß dafür, inwieweit Daten den für ihren Verwendungszweck erforderlichen Standards entsprechen. Daten, die für einen bestimmten Zweck ausreichend genau sind, können für einen anderen Zweck unzureichend sein. Kundendaten, die für die Rechnungsstellung präzise genug sind, erfüllen möglicherweise nicht die Vollständigkeitsanforderungen für ein Modell zur Vorhersage der Kundenabwanderung. Finanzdaten, die für das interne Berichtswesen ausreichen, erfüllen möglicherweise nicht die Anforderungen an die Datenherkunft und Genauigkeit für eine behördliche Einreichung.
Qualität ist kein einzelnes Merkmal. Sie setzt sich aus sechs messbaren Dimensionen zusammen, von denen jede je nach use case Fachgebiet eine unterschiedliche Bedeutung hat.
Definition der Datenqualität
Unter Datenqualität versteht man den Grad, in dem Daten für ihren vorgesehenen Verwendungszweck geeignet sind, gemessen anhand von sechs Dimensionen: Genauigkeit, Vollständigkeit, Beständigkeit, Aktualität, Gültigkeit und Eindeutigkeit.
Hochwertige Daten sind die Grundlage für zuverlässige Analysen, vertrauenswürdige KI und fundierte Berichte für Aufsichtsbehörden. Daten von schlechter Qualität führen zu falschen Entscheidungen, gestörten Datenpipelines, Strafen wegen Nichteinhaltung von Vorschriften und KI-Modellen, die aufgrund fehlerhafter Training falsche Muster lernen.
Die sechs Dimensionen der Datenqualität
| Dimension | Definition | Beispiel für einen Fehler |
|---|---|---|
| Genauigkeit | Die Daten geben den realen Wert, den sie beschreiben, korrekt wieder | Die Adresse eines Kunden weist noch die alte Adresse auf, obwohl er vor zwei Jahren umgezogen ist |
| Vollständigkeit | Alle Pflichtfelder sind mit aussagekräftigen Werten ausgefüllt, die nicht null sind. | Bei 18 % der Kundendatensätze fehlt eine E-Mail-Adresse |
| Beständigkeit | Der gleiche Wert wird in allen Systemen, in denen er vorkommt, identisch dargestellt. | „Aktiver Kunde“ bedeutet 90 Tage im CRM und 180 Tage in der Finanzbuchhaltung – systemübergreifende Berichte weichen voneinander ab |
| Rechtzeitigkeit | Die Daten sind aktuell und stehen zur Verfügung, wenn sie für ihren Verwendungszweck benötigt werden. | Die gestrigen Bestandsdaten werden zur Erfüllung der heutigen Bestellungen herangezogen, was zu Überlieferungen führt. |
| Gültigkeit | Die Daten entsprechen den festgelegten Formaten, Bereichen und Geschäftsregeln | Ein Datumsfeld enthält „13/2026“ – kein gültiges Datum in einem Standardformat |
| Einzigartigkeit | Jede reale Entität wird genau einmal dargestellt, ohne doppelte Datensätze. | Derselbe Kunde taucht im CRM 23 Mal mit leicht unterschiedlichen Schreibweisen seines Namens auf. |
Jedes Datenqualitätsprogramm sollte für jede Dimension nach Datenbereich akzeptable Schwellenwerte festlegen. Ein Datensatz zu Finanztransaktionen erfordert Datensatz eine Genauigkeit von 99,9 % und eine Vollständigkeit von 100 % bei den Pflichtfeldern. Bei einer Marketing-Kontaktliste sind hingegen höhere Nullwerte bei den optionalen Feldern zulässig. Durch die nach Datenbereich festgelegten Schwellenwerte lässt sich die Qualität messen und nachweisen.
Warum Datenqualität wichtig ist
Entscheidungen: Jede geschäftliche Entscheidung ist nur so zuverlässig wie die Daten, auf denen sie basiert. Eine Umsatzprognose, die auf ungenauen Pipeline-Daten basiert, führt zu einer falschen Vorhersage. Ein Lieferkettenmodell, das auf veralteten Bestandsdaten basiert, verursacht Probleme bei der Auftragsabwicklung. Datenqualität ist eine Frage der Unternehmensleistung, keine technische Angelegenheit.
Compliance: Die DSGVO, HIPAA, SOX und BCBS 239 enthalten jeweils Anforderungen an die Richtigkeit und Vollständigkeit. BCBS 239 verlangt von Banken, dass sie nachweisen, dass Risikodaten korrekt und nachvollziehbar sind. HIPAA schreibt vor, dass Patientenakten korrekt und aktuell sein müssen. SOX verlangt, dass Daten in der Finanzberichterstattung zuverlässig sind. Verstöße gegen die Compliance aufgrund mangelhafter Datenqualität ziehen finanzielle Sanktionen und aufsichtsrechtliche Risiken nach sich.
KI und Maschinelles Lernen: KI-Modelle lernen aus Training . Ein Betrugserkennung , das auf Transaktionsdaten mit 15 % ungenauen Händlerkategoriecodes trainiert wurde, lernt falsche Muster. Ein Empfehlungsmodell, das auf veralteten Produktdaten trainiert wurde, zeigt Artikel an, die nicht vorrätig sind. Die Datenqualität ist die Grundlage, die darüber entscheidet, ob KI-Ergebnisse vertrauenswürdig oder unzuverlässig sind.
Betriebliche Effizienz: Mangelhafte Datenqualität führt zu Nacharbeit: Ingenieure, die Pipelines reparieren, die aufgrund unerwarteter Nullwerte ausfallen; Analysten, die Berichte erneut ausführen, nachdem sie Fehler in den Quellen entdeckt haben; Kundendienstteams, die Abrechnungsfehler korrigieren. Gartner schätzt, dass mangelhafte Datenqualität Unternehmen durchschnittlich 15 Millionen US-Dollar pro Jahr kostet – der größte Teil davon ist unsichtbar und eingebettet der Zeit, die dafür aufgewendet wird, mit Daten umzugehen, denen niemand vertraut.
Datenqualität im Vergleich zu verwandten Konzepten
Datenqualität vs. Datenqualitätsmanagement: Datenqualität ist ein Zustand: Wie gut Daten zu einem bestimmten Zeitpunkt definierte Standards erfüllen. Datenqualitätsmanagement (DQM) ist das Programm: die fortlaufenden Prozesse, Rollen, Werkzeuge und Steuerungsstrukturen, die diesen Zustand im Laufe der Zeit messen, überwachen und verbessern. Qualität einmal zu messen bedeutet nicht, sie zu verwalten.
Datenqualität vs. Data Governance: Data Governance legt die Qualitätsstandards fest – die Schwellenwerte, Dimensionen und Zertifizierungskriterien, die für jeden Bereich gelten – und weist die Verantwortung für deren Durchsetzung zu. Das Datenqualitätsmanagement setzt diese Standards durch Profiling, Überwachung und Korrekturmaßnahmen um. Governance ohne Qualitätsmanagement führt zu Standards, die nie gemessen werden. Qualitätsmanagement ohne Governance führt zu Kennzahlen, auf die niemand reagiert.
Datenqualität vs. Beobachtbarkeit: Beobachtbarkeit den Zustand von Datenpipelines in Echtzeit: Sie erkennt Anomalien bei der Zeilenanzahl, Schemaänderungen und Verschiebungen in der Verteilung. Die Datenqualität misst die Genauigkeit, Vollständigkeit, Beständigkeit, Aktualität, Gültigkeit und Eindeutigkeit der Daten selbst. Beobachtbarkeit Probleme im Zustand der Pipeline. Die Qualitätsmessung bewertet die Eignung der von der Pipeline erzeugten Daten. Beide ergänzen sich: Beobachtbarkeit das Signal, die Qualitätsmessung erklärt, was es bedeutet.
Datenqualität vs. Datenbereinigung: Datenbereinigung ist ein reaktiver Prozess: Dabei werden Qualitätsprobleme in bestehenden Daten aufgespürt und behoben. Datenqualitätsmanagement ist ein proaktives Programm: Es beugt Problemen durch Validierungsregeln vor, überwacht die Qualität kontinuierlich und bekämpft die Ursachen an der Quelle. Bei der Datenbereinigung werden die Symptome behandelt. Beim Qualitätsmanagement werden die Ursachen behandelt.
Wie sich gute Datenqualität in der Praxis zeigt
Ein Datenanalyst auf der Suche nach einem Datensatz: findet drei in Frage kommende Assets im Datenkatalog. Zu jedem werden ein Qualitätswert, der Zertifizierungsstatus, der Zeitstempel der letzten Aktualisierung und ein Validierungsverlauf angezeigt. Zwei davon sind über dem festgelegten Schwellenwert zertifiziert. Der Analyst wählt eine davon aus und verwendet sie, ohne das Datenteam einzuschalten. Der Qualitätsnachweis macht eine unabhängige Validierung überflüssig.
Ein Dateningenieur, der eine Schemaänderung vorbereitet: Überprüft im Datenkatalog Qualitätswert und die Herkunft der zu ändernden Tabelle. Stellt fest, dass drei nachgelagerte Berichte und eine ML-Feature-Pipeline von der zu ändernden Spalte abhängen. Die Koordination von Korrekturen vor der Freigabe verhindert Ausfälle in der Produktion.
Ein Compliance-Beauftragter, der einen Antrag auf Löschung gemäß DSGVO bearbeitet:Er ruftdie Aufzeichnung Aufzeichnung Aufzeichnung betroffenen Aufzeichnung dem Katalog ab. Anhand der Herkunftsdaten lassen sich alle nachgelagerten Systeme identifizieren, in denen Daten gespeichert sind, die aus diesen Aufzeichnung abgeleitet wurden. Qualitätsprotokolle bestätigen, dass die Datenkopien in jedem System zum Zeitpunkt der letzten Nutzung korrekt und aktuell waren. Die Löschung wird in allen sechs Systemen innerhalb von weniger als einer Stunde bestätigt.
Wie die Datenqualität gemessen wird
Datenprofilierung:Automatisierte Überprüfung von Datenbeständen zur Ermittlung aktueller Qualitätsmerkmale: Nullwerte, Werteverteilungen, Formatmuster, Duplikatrate und referenzielle Integrität. Die Profilierung dient zur Festlegung einer Ausgangsbasis und zur Ermittlung bestehender Lücken.
Validierungsregeln: Geschäftsregeln, die für jedes Feld festlegen, wie gültige Daten aussehen müssen: zulässige Wertebereiche, erforderliche Formate, Referenzbeschränkungen und feldübergreifende Abhängigkeiten. Validierungsregeln werden kontinuierlich bei der Datenerfassung und für gespeicherte Daten ausgeführt.
Qualitätsbewertung: Zusammenfassung der Profiling- und Validierungsergebnisse zu einer einzigen Bewertung pro Asset. Die Bewertungen ermöglichen einen Qualitätsvergleich zwischen den Assets und im Zeitverlauf und bilden die Grundlage für Zertifizierungsentscheidungen.
Kontinuierliche Überwachung: Automatisierte Überwachung der Qualitätswerte mit Warnmeldungen, sobald die Werte unter definierte Schwellenwerte fallen oder Anomalien auftreten. Durch die Überwachung werden Qualitätsprobleme erkannt, bevor sie in Produktionsberichte oder KI-Pipelines gelangen.
FAQ
Datenqualität beschreibt, wie gut Daten ihren Zweck erfüllen. Wenn Sie den Daten eine Frage stellen und die Antwort falsch ist, weil die Daten ungenau, unvollständig, veraltet oder inkonsistent sind, haben Sie ein Problem mit der Datenqualität. Hochwertige Daten liefern Ihnen zuverlässig korrekte Antworten.
Genauigkeit, Vollständigkeit, Beständigkeit, Aktualität, Gültigkeit und Eindeutigkeit. Die meisten Rahmenwerke zur Datenqualität stützen sich auf diese sechs Dimensionen. Je nach Fachgebiet werden manchmal noch Integrität (referenzielle Beständigkeit miteinander verbundenen Datensätzen) und Konformität (Einhaltung eines definierten Standards oder Schemas) als zusätzliche Dimensionen hinzugefügt.
Die häufigsten Ursachen sind: manuelle Dateneingabe ohne Validierung; Systemintegrationen, bei denen Datensätze ohne Deduplizierung oder Formatnormalisierung geladen werden; Schemaänderungen, die bestehende Validierungsregeln außer Kraft setzen; Batch-Pipelines mit einer Latenz, die die Anforderungen an die Aktualität nachgelagerter Anwendungsfälle übersteigt; sowie das Fehlen eines einheitlichen Geschäftsglossar dazu führt, dass ein und dasselbe Konzept in verschiedenen Systemen unterschiedlich definiert wird.
Eine numerische Angabe dafür, inwieweit ein Datenobjekt die festgelegten Qualitätsstandards erfüllt; diese wird in der Regel in Prozent ausgedrückt. Ein Wert von 96 % bedeutet, dass das Datenobjekt 96 % der festgelegten Qualitätsprüfungen besteht. Anhand dieser Werte lässt sich die Qualität verschiedener Datenobjekte sowie im Zeitverlauf vergleichen; sie bilden die Grundlage für Zertifizierungsentscheidungen.
Der formelle Prozess, bei dem ein Datenbestand als zur Nutzung freigegeben gekennzeichnet wird, nachdem er festgelegte Qualitätsschwellenwerte erfüllt und von einem Datenverantwortlichen geprüft wurde. Zertifizierte Datenbestände werden im Datenkatalog mit einem Verifizierungssymbol gekennzeichnet. Nutzer vertrauen zertifizierten Datenbeständen auch ohne unabhängige Validierung – und genau das macht Datenqualitätsprogramme für den operativen Einsatz so wertvoll.
KI-Modelle übernehmen alle Qualitätsprobleme ihrer Training . Ungenaue Daten vermitteln den Modellen falsche Muster. Unvollständige Daten führen dazu, dass Modelle Vorhersagesignale übersehen. Inkonsistente Daten führen dazu, dass Modelle widersprüchliche Muster aus unterschiedlichen Quelldefinitionen lernen. Die Zertifizierung der Datenqualität für Training ist die infrastrukturelle Voraussetzung, die KI-Ergebnisse vertrauenswürdig und KI-Governance-Programme vertretbar macht.
Die Genauigkeit ist eine der sechs Dimensionen der Datenqualität. Sie gibt an, ob Daten den von ihnen beschriebenen realen Wert korrekt wiedergeben. Die Datenqualität ist ein umfassenderer Maßstab, der neben der Genauigkeit auch die Vollständigkeit, Beständigkeit, Aktualität, Gültigkeit und Eindeutigkeit umfasst. Ein Datensatz zwar genau, aber unvollständig sein oder genau und vollständig, aber veraltet – die Datenqualität bewertet alle sechs Dimensionen gemeinsam.
Die Verantwortung wird gemeinsam getragen. Die Dateneigentümer tragen die oberste geschäftliche Verantwortung für die Qualität der Daten in ihrem Zuständigkeitsbereich. Datenverwalter verwalten im operativen Tagesgeschäftverwalten : Sie überwachen Bewertungen, beheben Störungen und zertifizieren Assets. Dateningenieure erstellen und warten die technische Infrastruktur, mit der Qualitätsstandards gemessen und durchgesetzt werden. Der CDO oder der Governance-Leiter legt die unternehmensweiten Qualitätsstandards fest und überwacht den Zustand des Programms.
