Data Intelligence

Der Unternehmensleitfaden zur Datenqualität

wie man die Datenqualität verbessert

Die Datenqualität ist ein Maß dafür, inwieweit Daten den für ihren Verwendungszweck erforderlichen Standards entsprechen – sei es bei der Entscheidungsfindung im Unternehmen, bei der Erstellung eines behördlichen Berichts, Training KI-Modells oder bei der Kundenbetreuung.

Hochwertige Daten sind genau, vollständig, konsistent, aktuell, gültig und eindeutig. Laut einer Gartner-Studie aus dem Jahr 2020 verursachen Daten von schlechter Qualität Unternehmen durchschnittlich mindestens 12,9 Millionen US-Dollar pro Jahr an Kosten durch betriebliche Ineffizienzen, Fehlentscheidungen, gescheiterte Projekte und Strafen wegen Nichteinhaltung von Vorschriften.

Dieser Leitfaden behandelt die Themen Datenqualität, die sechs Dimensionen zu ihrer Messung, die Funktionsweise des Qualitätsmanagements, die Verantwortlichkeiten, den Zusammenhang mit dem „ Data Governance “ und KI sowie den Aufbau eines Programms zur systematischen Verbesserung der Datenqualität. Anhand von Anwendungsbeispielen wird durchgehend veranschaulicht, wie Actian Data Beobachtbarkeit und die „ Actian Data Intelligence-Plattform “ die Messung, Überwachung und Korrektur der Datenqualität in hybriden, mit „Cloud “ verbundenen Datenlandschaften angehen.

Was ist Datenqualität?

Unter Datenqualität versteht man den Grad, in dem Daten für ihren beabsichtigten Verwendungszweck geeignet sind. Ein Datensatz für einen bestimmten Zweck von hoher Qualität ist, kann für einen anderen Zweck unzureichend sein. Kundendaten, die für die Rechnungsstellung genau genug sind, erfüllen möglicherweise nicht die Vollständigkeitsanforderungen für ein Modell zur Vorhersage der Kundenabwanderung. Finanztransaktionsdaten, die für das interne Berichtswesen ausreichen, erfüllen möglicherweise nicht die Anforderungen an die Datenherkunft und Genauigkeit für eine behördliche Einreichung.

Qualität ist kein einzelnes Merkmal – sie setzt sich aus sechs messbaren Dimensionen zusammen, von denen jede je nach use case eine unterschiedliche Bedeutung hat.


Die sechs Dimensionen der Datenqualität

Dimension Definition Beispiel für einen Fehler Wie wird dies gemessen?
Genauigkeit Die Daten geben den realen Wert, den sie beschreiben, korrekt wieder Die Adresse eines Kunden wird nach seinem Umzug als frühere Adresse gespeichert. Vergleich mit maßgeblichen Quellsystemen; Fehlerquote pro Feld
Vollständigkeit Alle Pflichtfelder sind mit Werten ausgefüllt, die weder null noch leer sind. Bei 15 % der Kundendatensätze fehlt eine E-Mail-Adresse Anteil der Nullwerte und der fehlenden Werte pro Pflichtfeld
Beständigkeit Der gleiche Datenwert wird in allen Systemen, in denen er vorkommt, identisch dargestellt. „Aktiv“ im CRM und „A“ im Abrechnungssystem bedeuten beide „aktiver Kunde“, doch die Systeme stimmen bei der Anzahl nicht überein Systemübergreifender Vergleich gemeinsamer Felder
Rechtzeitigkeit Die Daten sind aktuell und stehen bei Bedarf für den vorgesehenen Verwendungszweck zur Verfügung. Die Bestandsdaten von gestern werden zur Bearbeitung der heutigen Bestellungen herangezogen. Alter der Daten zum Zeitpunkt der Nutzung; Aktualisierungsverzögerung im Vergleich zur SLA
Gültigkeit Die Daten entsprechen den festgelegten Formaten, Bereichen und Geschäftsregeln Ein Datumsfeld enthält „13/2026“, was kein gültiges Datumsformat ist. Konformitätsrate im Vergleich zu festgelegten Validierungsregeln
Einzigartigkeit Jede reale Entität wird genau einmal dargestellt, ohne Duplikate. Derselbe Kunde taucht im CRM 47 Mal mit leicht unterschiedlichen Schreibweisen seines Namens auf. Doppelteintrag-Erkennungsrate; Übereinstimmungsrate bei der Entitätsauflösung

Jedes Datenqualitätsprogramm sollte für jede Dimension nach Datenbereich akzeptable Schwellenwerte festlegen. Ein Datensatz zu Finanztransaktionen erfordert Datensatz eine Genauigkeit von 99,9 % und eine Vollständigkeit von 100 % bei den Pflichtfeldern. Bei einer Marketing-Kontaktliste sind hingegen höhere Nullwerte bei den optionalen Feldern zulässig. Durch die nach Datenbereich festgelegten Schwellenwerte lässt sich die Qualität messen und nachweisen.


Warum Datenqualität wichtig ist

Entscheidungsfindung: Jede geschäftliche Entscheidung ist nur so zuverlässig wie die Daten, auf denen sie basiert. Prognosen, die auf ungenauen Umsatzdaten beruhen, führen zu falschen Vorhersagen. Marketingkampagnen, die auf unvollständigen Kundendaten basieren, verfehlen ihre Zielgruppen. Betriebsabläufe, die auf veralteten Bestandsdaten optimiert werden, führen zu Fehlern bei der Auftragsabwicklung. Datenqualität ist kein technisches Problem – sie ist ein Problem der Unternehmensleistung.

Einhaltung gesetzlicher Vorschriften: DSGVO, HIPAA, SOX, BCBS 239 und CCPA enthalten allesamt Anforderungen an die Richtigkeit und Vollständigkeit von Daten. BCBS 239 verlangt von Banken den Nachweis, dass Risikodaten korrekt und vollständig sind. HIPAA schreibt vor, dass Patientenakten korrekt und aktuell sein müssen. SOX verlangt, dass Daten der Finanzberichterstattung zuverlässig und nachvollziehbar sind. Verstöße gegen die Vorschriften aufgrund mangelhafter Datenqualität ziehen Strafen, das Risiko von Rechtsstreitigkeiten und Reputationsschäden nach sich.

KI und Maschinelles Lernen: KI-Modelle lernen aus Training . Ungenaue, unvollständige oder inkonsistente Training führen zu Modellen, die schlechte Vorhersagen treffen. Ein Betrugserkennung , das auf Daten mit 20 % doppelten Transaktionen trainiert wurde, lernt, Muster zu erkennen, die gar nicht existieren. Ein Empfehlungsmodell, das auf veralteten Produktdaten trainiert wurde, schlägt Artikel vor, die nicht vorrätig sind. Datenqualität ist die Grundlage für vertrauenswürdige KI.

Betriebliche Effizienz: Mangelhafte Datenqualität führt zu Nacharbeit: Ingenieure reparieren Rohrleitungen, die aufgrund unerwarteter Nullwerte ausfallen, Analysten führen Berichte erneut durch, nachdem sie Fehler in den Quelldaten entdeckt haben, und Kundendienstteams korrigieren Abrechnungsfehler, die durch inkonsistente Datensätze verursacht wurden. Eine Gartner-Studie aus dem Jahr 2020 beziffert die durchschnittlichen Kosten mangelhafter Datenqualität auf 12,9 Millionen US-Dollar pro Jahr. Der Großteil dieser Kosten ist unsichtbar – er liegt in der Zeit, die Mitarbeiter damit verbringen, Lösungen für Daten zu finden, denen sie nicht vertrauen ( eingebettet ).

Customer-Experience: Doppelte Kundendatensätze führen zu doppelter Kommunikation. Ungenaue Adressdaten verursachen fehlgeschlagene Zustellungen. Veraltete Präferenzdaten führen zu irrelevanten Empfehlungen. Das Customer-Experience eines Geschäftsprozesses wird von der Datenqualität am Anfang dieses Prozesses bestimmt.

Informationen zur kontinuierlichen Überwachung der Datenintegrität über alle Pipelines hinweg finden Sie in unserem Leitfaden zur Beobachtbarkeit.


Wie die Datenqualität gemessen wird

Um die Qualität zu messen, muss zunächst für jeden Bereich definiert werden, was unter „gut“ zu verstehen ist, bevor eine Bewertung anhand dieser Kriterien erfolgt. Der Messprozess umfasst vier Komponenten.

Datenprofilierung: Automatisiertes Scannen von Datenbeständen zur Bewertung aktueller Qualitätsmerkmale: Nullwerte, Werteverteilungen, Formatmuster, Duplikatrate und referenzielle Integrität. Durch die Profilierung wird eine Ausgangsbasis geschaffen und es werden Qualitätslücken identifiziert, ohne dass eine manuelle Überprüfung erforderlich ist.

Validierungsregeln: Geschäftsregeln, die für jedes Feld festlegen, wie gültige Daten aussehen müssen: zulässige Wertebereiche, erforderliche Formate, Referenzbeschränkungen und feldübergreifende Abhängigkeiten. Validierungsregeln werden kontinuierlich auf eingehende und gespeicherte Daten angewendet und kennzeichnen Datensätze, die die Validierung nicht bestehen.

Qualitätsbewertung: Zusammenfassung der Profiling-Ergebnisse und Validierungsergebnisse zu einem einzigen Qualitätswert pro Asset. Anhand dieser Werte lässt sich die Qualität zwischen verschiedenen Assets und im Zeitverlauf vergleichen. Ein Datensatz einem Qualitätswert von 94 % ist vertrauenswürdiger als einer mit einem Wert von 71 %, und ein Datensatz Wert innerhalb von zwei Wochen von 94 % auf 87 % gesunken ist, deutet auf ein Problem mit der Pipeline oder der Datenquelle hin, das untersucht werden muss.

Qualitätsüberwachung und Warnmeldungen: Kontinuierliche Überwachung der Qualitätswerte mit automatischen Warnmeldungen, wenn die Werte unter definierte Schwellenwerte fallen oder Anomalien auftreten: unerwartete Rückgänge der Zeilenanzahl, plötzliche Anstiege der Null-Rate, Schemaänderungen, die gegen Validierungsregeln verstoßen. Durch die Überwachung werden Qualitätsprobleme erkannt, bevor sie in Produktionsberichte oder Training gelangen.

Qualitätsbewertungen gehören zu den wichtigsten Bewertungskriterien bei Daten-Discovery. Nutzer, die prüfen, ob ein Datensatz für ihren use case geeignet Datensatz , use case auf die im Katalog angezeigten Profilergebnisse und Qualitätsdimensionen. Definitionen zu Qualität und anderen Konzepten, die eine zuverlässige Datensuche gewährleisten, finden Sie imDaten-Discovery .


Die Kosten schlechter Datenqualität

Unternehmen erfassen die Kosten schlechter Datenqualität selten direkt, weshalb dieses Problem weiterhin besteht. Die Kosten verteilen sich auf verschiedene Teams und Budgets, sodass die eigentliche Ursache nicht erkennbar ist.

Kostenkategorie Wie eine schlechte Datenqualität dazu führt
Technische Nachbesserung Pipelines fallen aufgrund unerwarteter Nullwerte, Formatverstöße oder Verletzungen der referenziellen Integrität aus. Entwickler verbringen ihre Zeit eher mit der Fehlersuche und Fehlerbehebung als mit der Entwicklung.
Überarbeitung durch den Analysten Berichte werden erneut ausgeführt, nachdem Qualitätsprobleme in den Quelldaten festgestellt wurden. Die Analysten verbringen ihre Zeit damit, die Daten zu validieren, anstatt sie zu analysieren.
Falsche Entscheidungen Strategien, die auf ungenauen Daten basieren, führen zu falschen Ergebnissen: verfehlte Umsatzziele, Überbestände, gescheiterte Produkteinführungen.
Strafen wegen Nichteinhaltung von Vorschriften Verstöße gegen die DSGVO, HIPAA und SOX, die auf ungenaue oder unvollständige Daten zurückzuführen sind, ziehen direkte Geldstrafen nach sich.
Kundenabwanderung Doppelte Mitteilungen, Abrechnungsfehler und fehlgeschlagene Zustellungen aufgrund mangelhafter Datenqualität schaden den Kundenbeziehungen.
Fehler der künstlichen Intelligenz Modelle, die auf Daten minderer Qualität trainiert wurden, liefern unzuverlässige Vorhersagen, was ein kostspieliges Nachtraining und eine Verzögerung bei Deployment zur Folge hat.
Vorbereitung auf die Prüfung Die manuelle Rekonstruktion von Nachweisen zur Datenqualität für Audits kostet das Compliance-Team mehrere Wochen Arbeitszeit, wenn die Qualitätsaufzeichnungen nicht automatisch gepflegt werden.

Wer ist für die Datenqualität verantwortlich?

Die Datenqualität ist eine gemeinsame Verantwortung, die auf verschiedene Rollen mit jeweils unterschiedlichen Zuständigkeiten verteilt ist.

Rolle Rechenschaftspflicht Tägliche Verantwortung
Dateneigentümer Letzte unternehmerische Verantwortung für die Qualität in ihrem Zuständigkeitsbereich Legt Qualitätsstandards für die Domain fest, genehmigt Zertifizierungskriterien und fördert die verantwortungsvolle Verwaltung
Datenverantwortlicher Operatives Qualitätsmanagement innerhalb des Bereichs Überwacht Qualitätswerte, behebt gemeldete Probleme, zertifiziert Assets, die die Schwellenwerte erfüllen, und verwaltet Ausnahmen
Dateningenieur Infrastruktur für technische Qualität Integriert Qualitätsprüfungen in Pipelines, implementiert Validierungsregeln und führt technische Korrekturmaßnahmen durch
Data Governance Unternehmensweite Qualitätsstandards Definiert die bereichsübergreifend geltenden Qualitätsdimensionen und Schwellenwerte und überwacht den Zustand des Programms
Datenanalyst Verantwortungsvoller Umgang mit Assets, deren Qualität bewertet wurde Meldet Qualitätsprobleme, die bei der analytischen Arbeit auftreten, und verwendet zertifizierte Ressourcen für die Produktionsberichterstattung
CDO Verantwortung der Führungskräfte für die Datenqualität Überprüft Qualitätskennzahlen, weist Ressourcen zur Behebung anhaltender Qualitätsmängel zu und informiert die Geschäftsleitung über den Zustand der Datenqualität

Der häufigste Fehler bei Datenqualitätsprogrammen besteht darin, Qualität als eine rein technische Aufgabe zu betrachten, die in den Zuständigkeitsbereich des Data Engineering fällt. Ingenieure können zwar Qualitätsprüfungen entwickeln und technische Probleme beheben, aber sie können nicht definieren, was „korrekt“ für einen bestimmten Geschäftsbereich bedeutet, nicht bestätigen, ob ein Datensatz für einen bestimmten Geschäftszweck geeignet Datensatz , und auch keine bereichsübergreifenden Inkonsistenzen bei Definitionen beheben. Dies erfordert die Eigenverantwortung des Geschäftsbereichs und die Rechenschaftspflicht der Verantwortlichen.


Die sechs Phasen des Datenqualitätsmanagements

1. Bewerten

Erstellen Sie für alle betroffenen Datenbestände ein Profil, um eine Basisqualität in den sechs Dimensionen zu ermitteln. Identifizieren Sie die Bereiche mit dem höchsten Geschäftsrisiko oder den größten regulatorischen Risiken und legen Sie für diese Bereiche als Erstes Qualitätsschwellenwerte fest.

2. Standards festlegen

Formulieren Sie die Qualitätsstandards, die für jeden Schwerpunktbereich gelten: die zulässigen Schwellenwerte für jede Dimension, die Validierungsregeln zu deren Durchsetzung sowie die Zertifizierungskriterien, die eine Ressource so vertrauenswürdig machen, dass sie in der Produktionsberichterstattung und Training verwendet werden kann.

3. Kontinuierlich überwachen

Führen Sie eine automatisierte Qualitätsüberwachung ein, die jedes Asset kontinuierlich anhand der festgelegten Standards überprüft. Richten Sie Warnmeldungen für Schwellenwertüberschreitungen und Anomalien ein. Verknüpfen Sie die Überwachung mit den Verwaltungsabläufen, damit Probleme automatisch an die richtige Person weitergeleitet werden, anstatt in einem dashboard zu verbleiben dashboard auf dashboard niemand reagiert.

4. Beheben

Beheben Sie Qualitätsprobleme nach Möglichkeit bereits an der Quelle. Eine nachgelagerte Bereinigung – also die Korrektur von Daten, nachdem diese bereits in das Data Warehouse gelangt sind – bekämpft lediglich die Symptome statt die Ursachen und verursacht einen anhaltenden Wartungsaufwand. Wenn eine Korrektur auf Quellenebene nicht sofort möglich ist, führen Sie nachgelagerte Prüfungen ein, die verhindern, dass Daten von schlechter Qualität in die Produktionsberichterstattung oder KI-Pipelines gelangen.

5. Bestätigen

Weisen Sie Assets, die definierte Qualitätsschwellenwerte erfüllen und von einem Verantwortlichen geprüft wurden, den Zertifizierungsstatus zu. Zertifizierte Assets werden mit einem Verifizierungssymbol im Datenkatalogmit einem Verifizierungssiegel an. Nutzer vertrauen zertifizierten Assets auch ohne unabhängige Validierung. Die Zertifizierung ist der Mechanismus, der Qualitätsmessungen in Nutzer umsetzt.

6. Verbessern

Verfolgen Sie die Entwicklung der Qualitätsbewertung im Zeitverlauf nach Domänen. Identifizieren Sie anhaltende Qualitätsmängel und beheben Sie deren Ursachen: Probleme im Quellsystem, Fehler in der Pipeline-Logik, Inkonsistenzen bei den Definitionen oder fehlende Validierungsregeln. Berichten Sie der Governance-Führung monatlich über die Qualitätskennzahlen. Programme, die im Laufe der Zeit keine Qualitätsverbesserung vorweisen können, verbessern sich nicht.


Auswahl von Datenqualitätssoftware für hybride Umgebungen und Live-Pipelines

Software zur Datenqualitätssicherung reicht von Regel-Engines, die Daten nach ihrer Einlesung überprüfen, bis hin zu Plattformen, die Datenpipelines kontinuierlich überwachen und Probleme an die zuständigen Verantwortlichen weiterleiten. Die richtige Wahl hängt davon ab, wo sich Ihre Daten befinden, wie schnell sie übertragen werden und wer Maßnahmen ergreifen muss, wenn eine Überprüfung fehlschlägt. Wählen Sie die Software passend zu der Aufgabe aus, die Sie erledigen möchten.

Worauf Sie achten sollten – je nach Bedarf

Falls Sie… Suchen Sie nach Fragen Sie den Verkäufer
Blockieren Sie fehlerhafte Daten, bevor sie sich verbreiten Validierungsregeln, die bei der Erfassung und innerhalb der Pipelines durchgesetzt werden, mit der Option, fehlerhafte Datensätze zurückzuweisen oder unter Quarantäne zu stellen Kann eine Überprüfung den Betrieb einer Pipeline unterbrechen, oder erfolgt die Meldung erst im Nachhinein?
Fehler in Kundendaten erkennen Profilierung, Duplikatserkennung sowie Format- und Vollständigkeitsprüfungen der Kundenfelder Wie werden Duplikate und Beinahe-Duplikate ermittelt, und wer prüft die Zusammenführung?
Live-Pipelines schützen Anomalie Erkennung von Aktualisierungen, Volumenänderungen, Schemaänderungen und Verschiebungen in der Verteilung Wie schnell wird eine Warnmeldung ausgelöst, und wer erhält sie?
Fehler erkennen, bevor sie in die Berichte gelangen Im Katalog angegebene Qualitätsbewertungen und Zertifizierungen, die für nachfolgende Berichte mit der Abstammung verknüpft sind Kann ich sehen, welche Dashboards von einem fehlerhaften „ Datensatz “ gespeist werden?
Den Aufwand für das Erstellen von Regeln reduzieren Automatisierte Profilerstellung, die Validierungsregeln zur Genehmigung durch den Verantwortlichen vorschlägt Wer genehmigt einen Regelvorschlag, bevor er in Kraft tritt?
Vorhandene Daten bereinigen Standardisierung und Abgleich, wobei Korrekturen nach Möglichkeit bereits an der Quelle vorgenommen werden Werden die Daten an der Quelle korrigiert oder erst im weiteren Verlauf?

Kosten und Nutzen im Vergleich

Der Lizenzpreis ist nur ein Teil der Kosten. Vergleichen Sie diese Punkte bei den verschiedenen Optionen:

  • Lizenzierung. Was die Software allein kostet und wie viel sie innerhalb einer größeren Plattform kostet.
  • Einrichtung.Konnektor Konfiguration, Regelerstellung und Zeitaufwand für die Administratoren zur Abdeckung der Bereiche mit höchster Priorität.
  • Integration. Ein eigenständiger Prüfer erfordert noch einige Anpassungen, um eine Anbindung an Ihre Katalog-, Herkunfts- und Verwaltungsabläufe herzustellen.
  • Wachstum. Wie sich die Preise ändern, wenn „ Datenvolumen “, Quellen und Nutzer zunehmen.
  • Wiederkehrende Kosten. Reinigungstools, die Daten erst im nachgelagerten Bereich korrigieren, müssen jedes Mal erneut ausgeführt werden, wenn der Fehler an der Quelle erneut auftritt. Tools, mit denen Sie die Ursache an der Quelle beheben können, verursachen auf lange Sicht geringere Kosten.

Bitten Sie jeden Anbieter um einen Kostenvoranschlag für drei Jahre, der die Implementierung und den Support umfasst. Praktische Hinweise zur Bereinigung vorhandener Daten finden Sie unter „So bereinigen Sie unübersichtliche oder inkonsistente Unternehmensdaten“.

Bewertung von Rezensionen und Korrekturabzügen

Bewertungen und Empfehlungen helfen Ihnen dabei, eine Auswahlliste zu erstellen. Sie geben jedoch keinen Aufschluss darüber, wie sich ein Tool bei der Verarbeitung Ihrer Daten bewährt. Bevor Sie sich entscheiden:

  • Fragen Sie nach Referenzkunden mit einer ähnlichen Umgebung und Datenvolumen.
  • Führen Sie einen Proof-of-Concept an einer echten Pipeline mit bekannten Problemen durch und zählen Sie, wie viele davon das Tool erkennt.
  • Prüfen Sie, wie schnell ein Problem den richtigen Verantwortlichen erreicht, und nicht nur, wie schnell es erkannt wird.
  • Berücksichtigen Sie die Analysen von Analysten als eine Informationsquelle neben Ihren eigenen Tests.

Datenqualität in hybriden Umgebungen

Qualitätsprüfungen verlieren an Wert, wenn sie nur einen Teil Ihrer Infrastruktur abdecken. Stellen Sie bei hybriden Umgebungen sicher, dass die Software:

  • Stellt eine Verbindung zu Ihren Quellen unter On-Premises und Cloud her.
  • Wendet in beiden Fällen dieselben Standards, Bewertungen und Arbeitsabläufe an.
  • Bietet „ Deployment “-Optionen, die Ihren Sicherheits- und Datenstandortvorschriften entsprechen.
  • Zeigt sowohl Qualität als auch Herkunft an, sodass eine fehlerhafte Quelle unter On-Premises auf die Berichte unter Cloud zurückgeführt werden kann, aus denen sie stammt.

Datenqualität nach Rollen: Was das in der Praxis bedeutet

Datenanalyst: Vor der Einführung des Qualitätsmanagements: Verbringt 30 bis 40 Prozent der Arbeitszeit damit, Daten zu suchen, zu validieren und mit den Ingenieuren abzustimmen, ob die gefundene Version die richtige ist. Nach der Einführung: Durchsucht den Katalog, überprüft den Qualitätswert und den Zertifizierungsstatus der in Frage kommenden Assets und verwendet zertifizierte Assets ohne weitere Rücksprache. Der Zeitaufwand für die Datenvalidierung sinkt auf unter 10 Prozent.

Dateningenieur: Vorher: Probleme mit der Datenqualität werden erst entdeckt, wenn Pipelines in der Produktion ausfallen. Die Ermittlung der Grundursache dauert Stunden. Korrekturen erfolgen reaktiv und sind oft unvollständig. Nachher: Qualitätsprüfungen werden in der Pipeline durchgeführt, bevor die Daten in die Produktion gelangen. Fehler werden automatisch an Stewardship-Workflows weitergeleitet. Ingenieure gehen Probleme proaktiv statt reaktiv an.

Datenverantwortlicher: Überwacht die Qualitätsbewertungen für jedes Asset in seinem Zuständigkeitsbereich über eine zentrale Katalogoberfläche. Wenn eine Bewertung unter den Schwellenwert fällt, wird eine Warnmeldung ausgelöst und das Problem zugewiesen. Der Verantwortliche untersucht den Fall, koordiniert die Behebung mit dem Dateningenieur und behebt das Problem entweder selbst oder entzieht dem Asset bis zur Behebung den zertifizierten Status.

Compliance-Beauftragter:Qualitätszertifizierungenund Validierungshistorien werden als Governance-Aufzeichnungen im Datenkatalog gepflegt. Prüfungsanfragen nach Qualitätsnachweisen werden anhand dieser Aufzeichnungen beantwortet und müssen nicht manuell zusammengestellt werden. BCBS 239-, HIPAA- und SOX-Prüfungen, die eine Dokumentation der Datenqualität erfordern, dauern nur noch Stunden statt Wochen.

Data-Scientist: Trainingsdatensätze sind mit Qualitätsbewertungen, Validierungshistorien und Zertifizierungsstatus versehen. Der Data-Scientist zertifizierte Datensätze mit Qualitätsbewertungen Data-Scientist , die über festgelegten Schwellenwerten liegen, und kann deren Qualitätsnachweise für die Reproduzierbarkeit des Modells sowie für regulatorische Zwecke ohne zusätzlichen manuellen Aufwand dokumentieren.


Datenqualität und Data Governance

Datenqualität und Data Governance eng miteinander verknüpft. Die Governance definiert die Qualitätsstandards, legt fest, wer für deren Durchsetzung verantwortlich ist, und erstellt Richtlinien, mit denen die Qualitätsanforderungen in die Praxis umgesetzt werden. Das Datenqualitätsmanagement setzt diese Richtlinien durch Profiling, Überwachung und Korrekturmaßnahmen um.

Governance bietet Das Datenqualitätsmanagement führt folgende Aufgaben aus
Qualitätsstandards und Schwellenwerte pro Bereich Kontinuierliche Überwachung anhand dieser Standards
Aufgaben im Bereich der verantwortungsvollen Verwaltung Behebung von Qualitätsproblemen im operativen Bereich und Zertifizierung
Zertifizierungskriterien Zertifizierungsstatus für Vermögenswerte, die die Kriterien erfüllen
Compliance-Anforderungen Für Prüfungszwecke aufbewahrte Belege
Verantwortlichkeit für das Eigentum an Daten Berichterstattung auf Eigentüberebene zum Zustand der Domainqualität

Ein Governance-Programm ohne Qualitätsmanagement führt zu Standards, die niemals überprüft werden. Ein Qualitätsmanagementprogramm ohne Governance führt zu Kennzahlen, auf die niemand reagiert, da die Verantwortlichkeiten unklar sind.

Hinweise zu Datenverträgen als Mechanismus zur Qualitätssicherung finden Sie in unseremLeitfaden zu Datenverträgen.


Datenqualität und KI

Die Datenqualität ist die wichtigste infrastrukturelle Voraussetzung für vertrauenswürdige KI. Jedes Datenqualitätsproblem, das in Training vorliegt, wird von dem Modell übernommen, das daraus lernt.

Genauigkeitsfehler in Training : Ein Betrugserkennung , das auf Transaktionsdatensätzen mit 5 % ungenauen Händlerkategoriecodes trainiert wurde, lernt, legitime Transaktionen mit Betrugsmustern in Verbindung zu bringen. Das Modell stuft einwandfreie Transaktionen als betrügerisch ein und übersieht tatsächliche Betrugsfälle.

Unvollständigkeit der Training : Ein Modell zur Vorhersage der Kundenabwanderung, das auf Datensätzen trainiert wurde, bei denen 20 % der Felder zur Vertragsdauer leer sind, lernt, die Abwanderung ohne eines der stärksten Vorhersagesignale vorherzusagen. Die Modellleistung ist systematisch geringer als sie sein sollte, und die Ursache ist ohne Rückverfolgung bis zu den Datensätzen zur Qualität Training nicht erkennbar.

Beständigkeit in Training : Ein Empfehlungsmodell, das auf Daten aus zwei Quellsystemen trainiert wurde, die den Begriff „aktiver Kunde“ unterschiedlich definieren, lernt gleichzeitig zwei widersprüchliche Muster. Empfehlungen für Kunden, die der einen Definition entsprechen, unterscheiden sich systematisch von Empfehlungen für Kunden, die der anderen Definition entsprechen, was zu inkonsistenten Nutzer führt, die sich nicht erklären lassen, ohne das Problem der Qualität Training aufzuspüren.

Was für eine KI-fähige Datenqualität erforderlich ist: Jeder für Training Datensatz Training über eine Qualitätszertifizierung verfügen: Profiling-Ergebnisse, die die aktuellen Qualitätswerte bestätigen, eine Validierungshistorie, die belegt, dass die Daten zum Zeitpunkt des Training die definierten Standards erfüllten, sowie eine Freigabe durch einen Datenverantwortlichen, die bestätigt, dass die Daten für den beabsichtigten Verwendungszweck des Modells geeignet sind. Ohne diese Zertifizierung Training gemäß den KI-Governance-Vorschriften Training geprüft, reproduziert oder verteidigt werden.


Datenqualität in regulierten Branchen

Finanzdienstleistungen: BCBS 239 verlangt von Banken den Nachweis, dass Risikodaten korrekt, vollständig und von der Quelle bis zur Einreichung bei den Aufsichtsbehörden nachvollziehbar sind. Qualitätszertifizierungen, die im Rahmen eines Governance-Programms aufrechterhalten werden, erfüllen diese Anforderung kontinuierlich und machen regelmäßige manuelle Bewertungen überflüssig. SOX verlangt zuverlässige Daten für die Finanzberichterstattung mit dokumentierten Qualitätskontrollen.

Gesundheitswesen: Die HIPAA schreibt vor, dass Patientenakten korrekt und aktuell sein müssen. Ungenaue Patientendaten führen zu klinischen Fehlern, Abrechnungsstreitigkeiten und Datenschutzverletzungen. Datenqualitätsprogramme im Gesundheitswesen müssen Datensätze mit geschützten Gesundheitsdaten (PHI) unter Einhaltung strengster Qualitätsstandards und einer besonders gründlichen Überwachung abdecken.

Arzneimittel: Die Vorschriften der FDA gemäß 21 CFR Part 11 sowie die GxP-Vorschriften verlangen Datenintegrität für klinische und herstellungsbezogene Daten. Qualitätsmanagementprogramme müssen vollständige Validierungshistorien für alle Daten führen, die in Zulassungsanträgen verwendet werden, um nachzuweisen, dass die Daten nicht ohne Dokumentation verändert wurden und dass alle Qualitätsprüfungen bestanden wurden.

Einzelhandel und E-Commerce: Die Qualität der Kundendaten wirkt sich direkt auf den Umsatz aus: Doppelte Datensätze führen zu doppelter Kommunikation, was das Vertrauen in die Marke beeinträchtigt; ungenaue Adressdaten verursachen fehlgeschlagene Lieferungen, und veraltete Präferenzdaten führen zu irrelevanten Empfehlungen. Die Qualität der Bestandsdaten wirkt sich auf die Auftragsabwicklung aus: Veraltete Bestandsdaten führen zu Überverkäufen und enttäuschten Kunden.


Wie Actian das Thema Datenqualität angeht

Actian Data Beobachtbarkeit bietet eine KI-basierte Erkennung von „Anomalie “, die für eine offene Architektur entwickelt wurde, sodass Teams Probleme in der Pipeline in hybriden und „Cloud “-Datenlandschaften frühzeitig erkennen können. Actian Data Intelligence-Plattform zeigt Qualitätsbewertungen und Zertifizierungen an Datenkatalog, verknüpft diese mit der Datenherkunft und leitet Probleme über Daten-Stewardship Workflows an die Verantwortlichen weiterleitet. Überwachungs-, Zuständigkeits- und Vertrauenssignale wirken zusammen, sodass ein Qualitätsproblem erkannt, bis zu seiner Quelle zurückverfolgt und der Person zugewiesen wird, die es beheben kann.

FAQ

Datenqualität beschreibt, wie gut Daten ihren Zweck erfüllen. Wenn Sie den Daten eine Frage stellen und die Antwort falsch ist, weil die Daten ungenau, unvollständig, veraltet oder inkonsistent sind, haben Sie ein Problem mit der Datenqualität. Hochwertige Daten liefern Ihnen zuverlässig korrekte Antworten.

Genauigkeit (die Daten geben den realen Wert korrekt wieder), Vollständigkeit (alle Pflichtfelder sind ausgefüllt), Beständigkeit derselbe Wert wird systemübergreifend identisch dargestellt), Aktualität (die Daten sind zum benötigten Zeitpunkt aktuell), Gültigkeit (die Daten entsprechen den definierten Formaten und Regeln) und Eindeutigkeit (jede reale Entität wird genau einmal und ohne Duplikate dargestellt).

Die häufigsten Ursachen sind: Fehler bei der manuellen Dateneingabe, Systemmigrationen, bei denen Daten falsch transformiert werden, Schemaänderungen, die bestehende Validierungsregeln außer Kraft setzen, Integrationsfehler, die zu einer fehlerhaften Synchronisierung von Datensätzen führen, inkonsistente Definitionen zwischen verschiedenen Systemen (zwei Systeme definieren den Begriff „aktiver Kunde“ unterschiedlich) sowie das Fehlen von Validierungsregeln, die Fehler erkennen würden, bevor sie in das System gelangen.

Über vier Mechanismen: Datenprofilierung (automatisiertes Scannen zur Bewertung aktueller Qualitätsmerkmale), Validierungsregeln (Geschäftsregeln, die festlegen, wie gültige Daten aussehen müssen), Qualitätsbewertung (Zusammenfassung der Profilierungs- und Validierungsergebnisse zu einer einzigen Bewertung pro Asset) und kontinuierliche Überwachung (automatische Warnmeldungen, wenn Bewertungen unter Schwellenwerte fallen oder Anomalien auftreten).

Die Datenzertifizierung ist der formelle Prozess, bei dem ein Datenbestand als zur Nutzung freigegeben gekennzeichnet wird, nachdem er festgelegte Qualitätsschwellenwerte erfüllt und von einem Datenverantwortlichen geprüft wurde. Zertifizierte Datenbestände werden im Datenkatalog mit einem Verifizierungssiegel gekennzeichnet. Nutzer vertrauen zertifizierten Datenbeständen auch ohne unabhängige Validierung – und genau das macht Datenqualitätsprogramme nicht nur bürokratisch korrekt, sondern auch operativ wertvoll.

Setzen Sie Validierungsregeln bei der Datenerfassung und innerhalb von Pipelines durch und konfigurieren Sie, dass fehlerhafte Datensätze abgelehnt oder unter Quarantäne gestellt werden, anstatt geladen zu werden. Fügen Sie eine kontinuierliche Überwachung hinzu, damit auch Probleme, die die Regeln umgehen – wie beispielsweise ein plötzlicher Rückgang des Volumens oder eine Schemaänderung –, dennoch eine Warnmeldung auslösen.

Suchen Sie nach einem Tool, das Kundenfelder profiliert, Duplikate und Beinahe-Duplikate erkennt, Formate und Vollständigkeit überprüft und Anomalien kennzeichnet, wobei ein Verantwortlicher die Zusammenführungen und Korrekturen überprüft. Qualitativ hochwertige Ergebnisse, die in Ihrem Katalog erscheinen und mit der Datenherkunft verknüpft sind, lassen sich leichter umsetzen als Ergebnisse, die in einem separaten Tool gespeichert werden.

Wählen Sie eine Software, die bei der Datenübertragung die Aktualität, das Volumen, Schemaänderungen und die „ Datendistribution “ überwacht und die Prüfungen innerhalb Ihrer „ Orchestrierung “-Tools durchführen kann. Warnmeldungen sollten an einen zugewiesenen Verantwortlichen gesendet werden, zusammen mit einem „ Aufzeichnung “, aus dem hervorgeht, wie das Problem behoben wurde.

Ja. Durch Profiling lassen sich typische Formate, Wertebereiche und Nullwerte ermitteln, und die Software kann auf dieser Grundlage Validierungsregeln vorschlagen. Ein Datenverantwortlicher oder Fachbereichsverantwortlicher sollte jede Regel genehmigen, bevor sie durchgesetzt wird, da nur der Fachbereich festlegen kann, was unter „gültig“ für ein Feld zu verstehen ist.

Die beste Software passt sich daran an, wo sich Ihre Daten befinden und was Sie tun müssen: fehlerhafte Daten bereits bei der Erfassung blockieren, Live-Pipelines überwachen, Fehler in Kundendatensätzen erkennen oder Daten für Berichte und KI zertifizieren. Wählen Sie eine Software, die Ihre Quellen aus den Bereichen „ On-Premises “ und „ Cloud “ abdeckt, Probleme den Verantwortlichen zuordnet und die Qualität mit der Datenherkunft und Ihrem Katalog verknüpft. Vergleichen Sie die Gesamtkosten, nicht nur die Lizenzkosten: Einrichtung, Regelerstellung, Integration, Zeitaufwand für die Datenverwaltung und Skalierbarkeit. Bevorzugen Sie Tools, die Probleme an der Quelle beheben, da eine nachgelagerte Bereinigung wiederholt werden muss. Testen Sie die Lösung in einer echten Pipeline, bevor Sie sich festlegen.