Datenqualitätsmanagement (DQM) ist der fortlaufende Prozess der Messung, Überwachung, Korrektur und Verbesserung der Datenqualität im gesamten Datenbestand eines Unternehmens, damit die Daten für ihre vorgesehenen Verwendungszwecke korrekt, vollständig, konsistent, aktuell, gültig und eindeutig bleiben.
Die Unterscheidung zwischen Datenqualität und Datenqualitätsmanagement ist wichtig. Datenqualität ist ein Zustand – also das Ausmaß, in dem Daten zu einem bestimmten Zeitpunkt festgelegte Standards erfüllen. Datenqualitätsmanagement ist das Programm – also die Prozesse, Rollen, Werkzeuge und Steuerungsstrukturen, die diesen Zustand im Laufe der Zeit aufrechterhalten und verbessern.
Unternehmen, die die Datenqualität einmalig messen und die festgestellten Probleme beheben, haben Datenbereinigung durchgeführt. Unternehmen, die eine kontinuierliche Überwachung, Verantwortlichkeit für die Datenverwaltung und kontinuierliche Verbesserung in ihre Datenprozesse integrieren, haben ein Datenqualitätsmanagement aufgebaut.
Datenqualität vs. Datenqualitätsmanagement
| Datenqualität | Datenqualitätsmanagement | |
|---|---|---|
| Was es ist | Der Zustand der Daten: Inwieweit entsprechen sie zu einem bestimmten Zeitpunkt den festgelegten Standards? | Das Programm: die Prozesse, Rollen, Werkzeuge und Steuerungsmechanismen, die diesen Zustand aufrechterhalten und verbessern |
| Hauptfrage | Wie genau, vollständig und konsistent sind diese Daten derzeit? | Wie stellen wir sicher, dass die Daten über einen längeren Zeitraum hinweg stets den Qualitätsstandards entsprechen? |
| Zeithorizont | Zeitpunkt | Laufend und kontinuierlich |
| Ergebnisse | Qualitätsbewertungen, Profilergebnisse, Validierungsergebnisse | Trends in der Qualitätsverbesserung, zertifizierte Datensätze, Stewardship-Workflows, Governance-Aufzeichnungen |
| Wer ist verantwortlich? | Erfasst von Dateningenieuren und Datenverwalter | Verwaltet durch ein Programm mit festgelegten Zuständigkeiten, Prozessen und Kennzahlen |
| Beziehung | DQM liefert Datenqualität als Ergebnis | DQM misst und verbessert die Datenqualität |
Der häufigste Fehler bei Datenprogrammen in Unternehmen besteht darin, Qualität als einmalige Maßnahme statt als fortlaufende Managementaufgabe zu betrachten. Ein Datenbereinigung , das die Qualitätswerte um 30 % verbessert, auf das jedoch kein fortlaufendes Management folgt, führt dazu, dass sich die Datenqualität innerhalb weniger Monate wieder auf den vorherigen Stand verschlechtert, da neue Datensätze hinzukommen, Pipelines sich ändern und Quellsysteme weiterentwickelt werden.
Was das Datenqualitätsmanagement umfasst
Ein umfassendes DQM-Programm umfasst sieben Fachbereiche.
Datenprofilierung
Automatisierte Überprüfung von Datenbeständen zur Bewertung aktueller Qualitätsmerkmale: Nullwerte, Werteverteilungen, Formatmuster, Duplikatrate und referenzielle Integrität. Die Profilerstellung legt die Ausgangsbasis für jeden Datenbereich fest, identifiziert Qualitätslücken und liefert die Nachweise, die Datenverwalter -eigentümer benötigen, um Korrekturmaßnahmen zu priorisieren.
Die Profilerstellung sollte kontinuierlich erfolgen und nicht nur beim Start des Programms. Die Qualitätsmerkmale ändern sich, wenn das Datenvolumen wächst, sich die Quellsysteme ändern und die Pipelines angepasst werden.
Datenvalidierung
Geschäftsregeln, die für jedes Feld festlegen, wie gültige Daten aussehen müssen: zulässige Wertebereiche, erforderliche Formate, Referenzbeschränkungen und feldübergreifende Abhängigkeiten. Validierungsregeln werden bei der Dateneingabe und -erfassung angewendet, um zu verhindern, dass ungültige Werte in das System gelangen, und sie werden kontinuierlich auf gespeicherte Daten angewendet, um Werte zu erkennen, die nicht mehr den aktuellen Standards entsprechen.
Eine effektive Validierung erfordert die Zusammenarbeit zwischen Dateningenieuren (die die Regeln technisch umsetzen) und Datenverwalter Fachbereichsverantwortlichen (die für jeden Geschäftsbereich definieren, was „gültig“ bedeutet). Eine technische Validierung ohne geschäftlichen Kontext führt zu Regeln, die falsche Daten durchlassen. Geschäftliche Anforderungen ohne technische Umsetzung führen zu Standards, die niemals durchgesetzt werden.
Datenbereinigung -korrektur
Der Prozess der Korrektur, Standardisierung und Anreicherung von Daten, die Qualitätsprüfungen nicht bestehen. Die Datenbereinigung kann bei großen Datenmengen und korrigierbaren Mustern automatisiert erfolgen – beispielsweise durch die Umformatierung von Telefonnummern in ein Standardformat, die Korrektur von Postleitzahlen anhand einer maßgeblichen Datenbank oder die Zusammenführung doppelter Datensätze oberhalb eines Konfidenzschwellenwerts – und in mehrdeutigen Fällen, die menschliches Urteilsvermögen erfordern, manuell durchgeführt werden.
Das wichtigste Prinzip bei der Datenbereinigung ist die Behebung an der Quelle statt der nachgelagerten Korrektur. Die Korrektur von Daten in einem nachgelagerten Data Warehouse, während das Quellsystem weiterhin dieselben Fehler erzeugt, führt zu einem unbefristeten Wartungsaufwand. Bei jeder Investition in die Datenbereinigung sollte geprüft werden, ob die Grundursache an der Quelle behoben werden kann.
Qualitätsüberwachung und Alarmierung
Kontinuierliche Überwachung der Qualitätswerte über alle Datenbestände hinweg mit automatischen Warnmeldungen, sobald die Werte unter festgelegte Schwellenwerte fallen oder Anomalien auftreten. Durch die Qualitätsüberwachung werden Probleme erkannt, bevor sie sich auf Produktionsberichte, Betriebssysteme oder Training auswirken.
Eine effektive Überwachung ist nicht nur mit einem dashboard verbunden, sondern auch mit den Arbeitsabläufen der Datenverwaltung. Eine Warnmeldung, die ausgelöst wird und in einer Warteschlange landet, für die niemand zuständig ist, trägt nicht zur Qualitätsverbesserung bei. Eine Warnmeldung, die ausgelöst wird, ein Datenverwaltungs-Ticket erstellt, das dem zuständigen Datenverwalter zugewiesen wird, die Bearbeitungszeit anhand eines SLA verfolgt und im Falle einer Nichtlösung eskaliert – das ist Qualitätsmanagement.
Datenzertifizierung
Der formelle Prozess, bei dem ein Datensatz als zur Nutzung freigegeben gekennzeichnet wird, nachdem er festgelegte Qualitätsschwellenwerte erfüllt und von einem Datenverantwortlichen geprüft wurde. Die Zertifizierung setzt Qualitätsmessungen in Nutzer um: Ein im Datenkatalog Datensatz zertifiziert Datensatz Datenkatalog den Nutzern, dass die Daten vertrauenswürdig sind, ohne dass sie diese eigenständig überprüfen müssen.
Die Zertifizierung ist der Punkt, an dem das Qualitätsmanagement seinen unmittelbarsten geschäftlichen Nutzen entfaltet. Wenn Analysten und Datenwissenschaftler zertifizierte Datensätze im Katalog finden und diese ohne Eskalation oder eigenständige Validierung nutzen können, zahlen sich der Zeit- und Arbeitsaufwand für das Qualitätsmanagement direkt aus.
Verantwortung und Eigentum
Das Datenqualitätsmanagement erfordert menschliche Verantwortung auf zwei Ebenen: Dateneigentümer, die Qualitätsstandards festlegen und die letztendliche Verantwortung für die Datenintegrität ihres Fachbereichs tragen, sowie Datenverwalter das Qualitätsmanagement operativ umsetzen – indem sie Bewertungen überwachen, Vorfälle beheben, Glossarbegriffe pflegen und Datenbestände zertifizieren.
Ohne eine festgelegte Zuständigkeit verfallen Qualitätsmanagementprogramme. Ingenieure können zwar eine Überwachungsinfrastruktur aufbauen, aber sie können nicht definieren, was „genau“ in einem bestimmten Geschäftsbereich bedeutet, oder bestätigen, ob ein Datensatz für einen bestimmten geschäftlichen Zweck geeignet Datensatz . Diese Entscheidungen erfordern Fachwissen und geschäftliche Verantwortung.
Qualitätsberichterstattung und Governance
Die Zusammenfassung von Qualitätskennzahlen in der Governance-Berichterstattung verschafft der Unternehmensleitung einen Überblick über den Zustand der Datenqualität im gesamten Unternehmen. Die Qualitätsberichte umfassen die Abdeckungsrate (Prozentsatz der Assets mit aktiver Qualitätsüberwachung), Trends bei den Qualitätsbewertungen nach Domänen, die durchschnittliche Zeit bis zur Behebung von Qualitätsvorfällen sowie die Zertifizierungsquoten.
Die Berichterstattung zur Unternehmensführung macht DQM zu einem nachhaltigen Programm und nicht nur zu einem Projekt. Wenn Qualitätskennzahlen regelmäßig an die Führungsspitze gemeldet werden und bei Qualitätsmängeln eine klare Verantwortlichkeit besteht, verbessert sich die Unternehmenskultur im Bereich der Datenqualität im Laufe der Zeit.
Der Lebenszyklus des Datenqualitätsmanagements
DQM funktioniert eher als kontinuierlicher Kreislauf als als linearer Prozess.
1. Erfassen: Erstellen Sie eine Bestandsaufnahme der betroffenen Datenbestände. Verbinden Sie Profiling-Tools mit jeder vorrangigen Datenquelle und führen Sie einen ersten Scan durch, um die aktuelle Qualität anhand der sechs Dimensionen zu bewerten: Genauigkeit, Vollständigkeit, Beständigkeit, Aktualität, Gültigkeit und Eindeutigkeit. Identifizieren Sie die Bereiche mit den größten Qualitätslücken und dem höchsten Geschäftsrisiko.
2. Standards festlegen: Arbeiten Sie mit den Dateneigentümern und Datenverwalter zusammen, Datenverwalter die für jeden Prioritätsbereich geltenden Qualitätsschwellenwerte festzulegen: akzeptable Nullwerte, erforderliche Vollständigkeitsprozentsätze, Regeln zur Formatvalidierung, SLAs zur Aktualität und Anforderungen an die Eindeutigkeit. Dokumentieren Sie diese Standards im Datenkatalog offizielle Qualitätsrichtlinie für jeden Bereich.
3. Validieren und bereinigen: Implementieren Sie Validierungsregeln, die definierte Standards bereits bei der Datenerfassung durchsetzen und kontinuierlich auf gespeicherte Daten angewendet werden. Führen Sie Bereinigungsprozesse für vorhandene Daten durch, die den aktuellen Standards nicht entsprechen. Geben Sie nach Möglichkeit der Korrektur auf Quelldatenebene Vorrang vor einer nachgelagerten Bereinigung.
4. Überwachung:Führen Sieeine kontinuierliche Qualitätsüberwachung mit automatisierten Warnmeldungen ein, die mit den Stewardship-Workflows verknüpft sind. Legen Sie auf Domänenebene Überwachungsschwellenwerte fest, die auf den in Schritt 2 definierten Standards basieren. Verfolgen Sie die Entwicklung der Qualitätswerte im Zeitverlauf.
5. Behebung: Beheben Sie Qualitätsvorfälle mithilfe des Stewardship-Workflows: Ermitteln Sie die Grundursache, führen Sie die Behebung nach Möglichkeit direkt an der Quelle durch, überprüfen Sie die Behebung mithilfe des Überwachungssystems und schließen Sie den Vorfall mit einer Dokumentation der durchgeführten Maßnahmen ab. Verfolgen Sie die SLAs für die Behebung, um den Zustand des Stewardship-Programms zu messen.
6. Zertifizieren:Überprüfen SieAssets, die festgelegte Qualitätsschwellenwerte erfüllen, und weisen Sie ihnen den Zertifizierungsstatus zu. Veröffentlichen Sie zertifizierte Assets im Datenkatalog die Qualitätsnachweise für die Nutzer sichtbar sind. Überprüfen und erneuern Sie die Zertifizierung in festgelegten Abständen.
7. Berichterstattung und Verbesserung: Erstellen Sie Qualitätsberichte zur Überprüfung durch die Führungskräfte. Identifizieren Sie wiederkehrende Qualitätsmängel und beheben Sie deren Ursachen. Passen Sie die Qualitätsstandards an, wenn sich die geschäftlichen Anforderungen ändern. Verfolgen Sie die Trends bei der Qualitätsverbesserung im Zeitverlauf. Ein DQM-Programm, das über einen Zeitraum von 12 Monaten keine Qualitätsverbesserung nachweisen kann, verwaltet die Qualität nicht – es dokumentiert sie lediglich.
DQM und Datenmanagement
Datenqualitätsmanagement und Datenmanagement MDM) sind eng miteinander verbundene, aber dennoch unterschiedliche Disziplinen.
Stamm Datenmanagement verwaltet einen einzigen maßgeblichen Aufzeichnung einen „Golden Aufzeichnung für wichtige Geschäftseinheiten: Kunden, Produkte, Lieferanten, Mitarbeiter. Es beseitigt Duplikate, gewährleistet Beständigkeit und regelt, wie die maßgebliche Version gepflegt und systemübergreifend verteilt wird.
Das Datenqualitätsmanagementsichertund verbessert die Qualität aller Datenbestände im gesamten System, einschließlich Stammdaten, aber auch Transaktionsdaten, Betriebsdaten, Referenzdaten und Analysedaten.
MDM hängt von DQM ab: Ein Stammdatenprogramm, das die Qualität seiner Golden Records nicht misst und überwacht, liefert verbindliche Datensätze von unbekannter Qualität. DQM hängt von MDM ab: Ein Qualitätsprogramm, das sich nicht mit den Beständigkeit der Entitätsauflösung und Beständigkeit befasst, die MDM löst, wird weiterhin bei Duplikaten und Inkonsistenzen versagen, unabhängig davon, wie viele Validierungsregeln eingesetzt werden.
In der Praxis betreiben etablierte Unternehmen DQM und MDM als sich ergänzende Programme mit gemeinsamer Steuerung: Dieselben Dateneigentümer und Datenverwalter für die Qualität in den MDM-Bereichen verantwortlich, Qualitätsstandards gelten für Stammdaten ebenso wie für alle anderen Daten, und MDM-Golden Records werden im Rahmen desselben DQM-Zertifizierungsprozesses zertifiziert wie andere Datenbestände.
DQM und Data Governance
Das Datenqualitätsmanagement ist einer der operativen Bereiche innerhalb einer Data Governance .
Im Rahmen der Governance werden die Qualitätsstandards festgelegt – also die Schwellenwerte, Dimensionen und Zertifizierungskriterien, die für jeden Bereich gelten. DQM setzt diese Standards durch Profilerstellung, Validierung, Überwachung und Korrekturmaßnahmen um.
| Governance definiert | DQM führt aus |
|---|---|
| Qualitätsschwellenwerte pro Bereich | Kontinuierliche Überwachung anhand dieser Schwellenwerte |
| Rechenschaftspflicht bei der Verwaltung | Behebung von Problemen im operativen Bereich |
| Zertifizierungskriterien | Zertifizierung für berechtigte Vermögenswerte |
| Compliance-Anforderungen | Für Prüfungszwecke aufbewahrte Belege |
| Eigentumsrechte an Daten | Verantwortung der Eigentümer für die Qualität der Domain |
Ein Governance-Programm ohne DQM-Umsetzung führt zu Qualitätsrichtlinien, die niemals überprüft werden. Ein DQM-Programm ohne Governance führt zu Qualitätskennzahlen, auf die niemand reagiert, da es an Strukturen zur Rechenschaftspflicht mangelt.
Tools zur Unterstützung des Datenqualitätsmanagements
Für DQM sind Werkzeuge aus drei Kategorien erforderlich. Dabei handelt es sich um funktionale Kategorien, nicht um Empfehlungen bestimmter Anbieter.
Plattformen zur Datenprofilierung und -überwachung: Tools, die eine Verbindung zu Datenquellen herstellen, automatisch nach Qualitätsmerkmalen suchen, Qualitätsbewertungen berechnen und Warnmeldungen ausgeben, wenn die Bewertungen unter Schwellenwerte fallen oder Anomalien auftreten. Moderne Plattformen verfügen über Anomalie automatisierte Anomalie , die ungewöhnliche Muster identifiziert, ohne dass für jeden möglichen Fehlerfall manuell Regeln definiert werden müssen.
Datenkataloge mit integrierten Qualitätsinformationen:Ein Datenkatalog, der neben den Definitionen der Datenobjekte und deren Herkunft auch Qualitätsbewertungen, den Zertifizierungsstatus und den Validierungsverlauf anzeigt, bietet den Nutzern den notwendigen Kontext, um Daten vor ihrer Verwendung zu bewerten. Im Katalog integrierte Qualitätsinformationen sind leichter zugänglich als solche, die in einem separaten dashboard verborgen sind.
Beobachtbarkeit :Beobachtbarkeit überwachen Datenpipelines durchgängig hinsichtlich Aktualität, Volumen, Schemaänderungen und Verteilungsanomalien. Sie ergänzen Profiling-Tools, indem sie Qualitätsprobleme auf Pipeline-Ebene erkennen – beispielsweise eine Pipeline, deren Laden unterbrochen wurde, oder eine Schemaänderung, die eine nachgelagerte Abhängigkeit beeinträchtigt hat –, anstatt sich ausschließlich auf Qualitätskennzahlen Datensatz zu beschränken.
Validierungs- und Test-Frameworks: Frameworks, die es Dateningenieuren ermöglichen, Qualitätstests als Code zu schreiben und auszuführen, integriert in CI/CD-Pipelines und Orchestrierung . Qualitätstests, die im Rahmen der Pipeline-Ausführung durchgeführt werden, erkennen Probleme bereits bei der Datenumwandlung und nicht erst, nachdem die Daten die Produktion erreicht haben.
Entity-Resolution- und MDM-Plattformen:Tools, die doppelte Datensätze identifizieren und zusammenführen, Golden Records für Schlüsselentitäten pflegen und verbindliche Versionen an verbundene Systeme verteilen. Unverzichtbar für jedes DQM-Programm, das die Beständigkeit „Eindeutigkeit“ und Beständigkeit in großem Maßstab abdecken muss.
Stewardship-Workflow-Management:Tools, die verwalten menschliche Seite des DQM verwalten : Weiterleitung von Qualitätsvorfällen an den zuständigen Steward, Nachverfolgung der Lösung im Hinblick auf SLAs, Protokollierung von Zertifizierungsentscheidungen und Erstellung der Protokolle für Governance und Compliance erforderlich sind.
Aufbau eines Programms zum Datenqualitätsmanagement
Beginnen Sie mit einer Qualitätsbewertung
Bevor Sie Tools einsetzen oder Richtlinien festlegen, führen Sie eine Qualitätsbewertung des aktuellen Zustands in allen vorrangigen Bereichen durch. Bewerten Sie jeden vorrangigen Datensatz der sechs Qualitätsdimensionen und legen Sie Basiswerte fest. Ermitteln Sie die Bereiche mit den größten Qualitätslücken und dem höchsten Geschäftsrisiko – diese bilden den Ausgangspunkt für das Programm.
Qualitätsstandards nach Bereich festlegen
Arbeiten Sie mit den Dateneigentümern und Datenverwalter zusammen, Datenverwalter für jede Qualitätsdimension in jedem Prioritätsbereich akzeptable Schwellenwerte festzulegen. Im Bereich „Finanztransaktionen“ sind beispielsweise möglicherweise eine Genauigkeit von 99,9 % und eine Vollständigkeit von 100 % bei den Pflichtfeldern erforderlich. Im Bereich „Marketingkontakte“ können hingegen höhere Nullraten bei den optionalen Feldern toleriert werden. Durch die für jeden Bereich festgelegten Schwellenwerte lässt sich die Qualität messen und nachweisen.
Verantwortung zuweisen
Legen Sie Datenverwalter jeden Prioritätsbereich vor der Einführung der Überwachung die Datenverantwortlichen und Datenverwalter fest. Eine Qualitätsüberwachung ohne klare Zuständigkeiten führt zu Warnmeldungen, auf die niemand reagiert. Die Verantwortungsstruktur bildet das Fundament des Programms; die Tools sorgen für dessen skalierbar.
Überwachung einrichten und mit Workflows verknüpfen
Führen Sie eine kontinuierliche Qualitätsüberwachung für vorrangige Bereiche ein. Verknüpfen Sie Überwachungswarnungen mit Verwaltungsabläufen und nicht nur mit einem dashboard. Legen Sie SLAs für die Reaktion auf Vorfälle fest und überwachen Sie deren Einhaltung. Eskalieren Sie anhaltende Verstöße an die Datenverantwortlichen.
Validierung bei der Erfassung implementieren
Führen Sie für vorrangige Bereiche Validierungsregeln bereits bei der Dateneingabe und der Datenübernahme in die Pipeline ein. Verhindern Sie, dass ungültige, unvollständige und doppelte Daten in das System gelangen, anstatt diese erst im Nachhinein zu korrigieren. Eine Prävention bereits an der Quelle führt im Laufe der Weiterentwicklung des Programms zu immer größeren Vorteilen.
Prioritäre Vermögenswerte zertifizieren
Arbeiten Sie die Liste der vorrangigen Datenbestände ab und zertifizieren Sie Datensätze, die die festgelegten Qualitätsschwellenwerte erfüllen. Veröffentlichen Sie den Zertifizierungsstatus im Datenkatalog. Legen Sie einen Überprüfungsrhythmus für die Erneuerung der Zertifizierung fest – in der Regel vierteljährlich für Bereiche mit hohem Risiko.
Messen und berichten
Definieren Sie das dashboard für das DQM-Programm: Katalogabdeckungsrate, Entwicklung der Qualitätsbewertung nach Domänen, durchschnittliche Zeit bis zur Behebung von Vorfällen, Zertifizierungsquote und SLA . Berichten Sie diese Kennzahlen monatlich an die Führungsspitze. Zeigen Sie die Verbesserungen im Zeitverlauf auf.
FAQ
Datenqualitätsmanagement ist der fortlaufende Prozess der Messung, Überwachung, Korrektur und Verbesserung der Datenqualität im gesamten Datenbestand eines Unternehmens. Es umfasst die Prozesse, Rollen, Werkzeuge und Governance-Strukturen, die dafür sorgen, dass Daten über einen längeren Zeitraum hinweg – und nicht nur zu einem bestimmten Zeitpunkt – für ihre vorgesehenen Verwendungszwecke korrekt, vollständig, konsistent, aktuell, gültig und eindeutig sind.
Datenqualität ist der Zustand von Daten zu einem bestimmten Zeitpunkt – also, inwieweit sie festgelegte Standards erfüllen. Datenqualitätsmanagement ist das Programm, das diesen Zustand im Laufe der Zeit durch Profilierung, Validierung, Überwachung, Datenverwaltung und Governance aufrechterhält und verbessert. Eine einmalige Datenbereinigung ist kein Datenqualitätsmanagement. Der Aufbau eines kontinuierlichen Programms, das die Daten sauber hält, ist es hingegen.
Datenprofilierung zur Festlegung von Referenzwerten, Validierungsregeln zur Durchsetzung von Standards, Datenbereinigung und -korrektur zur Behebung bestehender Probleme an der Quelle, kontinuierliche Überwachung mit an die Datenverantwortung gekoppelten Warnmeldungen, Datenzertifizierung zur Umsetzung von Qualitätsmessungen in Nutzer , Zuweisung von Datenverantwortung und -eigentum sowie Governance-Berichterstattung, die die Qualitätsverbesserung im Zeitverlauf nachverfolgt.
MDM verwaltet eine einzige, verbindliche „Golden Aufzeichnung wichtige Geschäftseinheiten – Kunden, Produkte, Lieferanten – und steuert deren Verteilung über die verschiedenen Systeme hinweg. DQM misst und verbessert die Qualität aller Datenbestände im gesamten Unternehmensbereich, einschließlich der Stammdaten. MDM befasst sich mit den Beständigkeit „Eindeutigkeit“ und Beständigkeit für wichtige Geschäftseinheiten. DQM deckt alle sechs Qualitätsdimensionen für alle Datenbestände ab. Etablierte Unternehmen setzen beide als sich ergänzende Programme ein.
Die wichtigsten Werkzeugkategorien sind: Plattformen zur Datenprofilierung und -überwachung, Datenkataloge mit integrierter Qualitätsbewertung, Beobachtbarkeit , Validierungs- und Test-Frameworks, die Qualitätsprüfungen als Code in Pipelines ausführen, Entitätsauflösungs- und MDM-Plattformen für das Duplikatsmanagement sowie Stewardship-Workflow-Tools, die verwalten menschlichen Aspekt der Behebung von Qualitätsvorfällen und der Zertifizierung verwalten .
Anhand von sechs im Zeitverlauf erfassten Kennzahlen: Katalogabdeckungsrate (Prozentsatz der Assets mit aktiver Qualitätsüberwachung), Entwicklung der Qualitätswerte nach Domäne (verbessern sich die Werte?), durchschnittliche Zeit bis zur Behebung von Qualitätsvorfällen, Zertifizierungsrate (Prozentsatz der prioritären Assets mit aktueller Zertifizierung), SLA (werden Vorfälle innerhalb der festgelegten Fristen behoben?) sowie Rückgang der Häufigkeit von Datenqualitätsvorfällen im Jahresvergleich.
Der ROI ergibt sich aus vier Quellen: geringerer Aufwand für technische Nachbesserungen aufgrund weniger durch Qualitätsprobleme verursachter Pipeline-Ausfälle, weniger Fehlentscheidungen aufgrund unzuverlässiger Daten, geringeres Risiko von Strafen wegen Nichteinhaltung von Vorschriften und schnellere Vorbereitung auf Audits. Gartner schätzt, dass schlechte Datenqualität Unternehmen durchschnittlich 15 Millionen US-Dollar pro Jahr kostet. Ein DQM-Programm, das die Häufigkeit und Schwere von Qualitätsmängeln um 50 Prozent reduziert, liefert selbst bei erheblichen Programminvestitionen einen beträchtlichen ROI. Die meisten Unternehmen erzielen innerhalb von 12 bis 18 Monaten nach Einführung eines funktionierenden DQM-Programms einen positiven ROI.
KI-Modelle übernehmen alle Qualitätsprobleme aus ihren Training . DQM stellt sicher, dass Training vor ihrer Einbindung in KI-Pipelines profiliert, validiert und zertifiziert werden; dass Qualitätsnachweise zur Gewährleistung der Reproduzierbarkeit der Modelle und für behördliche Prüfungen aufbewahrt werden; und dass die Produktionsdaten, mit denen die eingesetzten Modelle gespeist werden, kontinuierlich überwacht werden, damit Datenabweichungen erkannt werden, bevor sie die Modellleistung beeinträchtigen.
