Bewährte Verfahren für die Datenqualität im Rahmen Data Governance

Die Datenqualität verschlechtert sich nicht von heute auf morgen. Sie nimmt schrittweise ab – ein Feld, das nicht ausgefüllt wurde, eine Definition, die sich von System zu System unterscheidet, eine Pipeline, die ohne Validierung läuft. Wenn die nachgelagerten Nutzer bemerken, dass etwas nicht stimmt, hat sich das Problem in der Regel bereits seit Wochen verschlimmert.

Bei einem effektiven Datenqualitätsmanagement im Rahmen der Governance geht es nicht darum, Daten nachträglich zu bereinigen. Vielmehr geht es darum, Standards, Verantwortungsstrukturen und automatisierte Kontrollmechanismen zu etablieren, die verhindern, dass Qualitätsprobleme überhaupt erst in die Produktion gelangen.

Datenqualitätsdimensionen definieren – und sie den geschäftlichen Auswirkungen zuordnen

Bevor Sie die Datenqualität messen können, müssen Sie sich darauf einigen, was darunter zu verstehen ist. Das am weitesten verbreitete Framework sechs Kerndimensionen:

Indem jede Dimension einer konkreten geschäftlichen Auswirkung zugeordnet wird – einem fehlgeschlagenen Audit, einer schlechten Customer-Experience, einem fehlerhaften Bericht für die Geschäftsleitung –, wird Datenqualität von einem technischen Anliegen zu einer geschäftlichen Priorität. Diese Sichtweise ist es auch, die Data Governance die organisatorische Unterstützung, die sie benötigen, um zu funktionieren.

Klare Zuständigkeiten und Verantwortlichkeiten für die Datenverwaltung festlegen

Datenqualität ohne Verantwortlichkeit ist ein Grundsatzdokument, kein Programm. Für jeden Datenbereich müssen Rollen definiert werden:

Datenverantwortliche sind auf Geschäftsebene für die Qualität eines Datenbereichs verantwortlich. Sie legen Qualitätsstandards fest, genehmigen Ausnahmen und stellen sicher, dass die Daten ihres Bereichs den Anforderungen der nachgelagerten Nutzer entsprechen.

Datenverwalter übernehmen die täglichen operativen Aufgaben: Überwachung der Qualitätswerte, Untersuchung von Fehlern, Klärung von Definitionskonflikten und Pflege des Geschäftsglossar . Daten-Stewardship ist der Punkt, an dem Qualitätsrichtlinien auf die Umsetzung treffen.

Dateningenieure implementieren und warten die technischen Kontrollmechanismen – Validierungsregeln, Pipeline-Prüfungen, Schema-Durchsetzung –, die es ermöglichen, die Qualität in automatisierten Systemen zu messen.

Ohne diese Struktur treten Qualitätsprobleme zwar auf, es gibt jedoch keinen eindeutig Verantwortlichen. Untersuchungen kommen zum Stillstand. Die Behebung der Probleme wird zurückgestellt. Die gleichen Probleme treten immer wieder auf.

Legen Sie messbare Qualitätsschwellenwerte fest, bevor die Daten in die Produktion gelangen

Qualitätsstandards sollten bereits bei der Aufnahme eines Datenbestands festgelegt werden und nicht erst, nachdem dieser bereits seit Monaten im Einsatz ist. Für jeden kritischen Datensatz ist Folgendes zu dokumentieren:

• Welche Felder sind Pflichtfelder und welche sind optional?
• Zulässige Wertebereiche, Formate und Aufzählungslisten.
• Maximal zulässige Nullraten pro Spalte.
• Anforderungen an die Aktualität – wie alt dürfen diese Daten sein, bevor sie nicht mehr verwendbar sind?
• Regeln zur referenziellen Integrität – welche Fremdschlüssel müssen aufgelöst werden?

Diese Schwellenwerte bilden die Grundlage für die automatisierte Validierung. Sie sollten als Metadaten neben dem Datenobjekt gespeichert werden, damit die Qualitätsregeln die Daten bei ihrer Weiterleitung zwischen den Systemen begleiten.

Automatisierte Überwachung und Alarmierung über alle Pipelines hinweg implementieren

Manuelle Qualitätsprüfungen lassen sich nicht skalieren. Bei den Datenmengen in Unternehmen ist der einzige nachhaltige Ansatz eine kontinuierliche automatisierte Überwachung, die Anomalien aufdeckt, bevor sie in Dashboards, Modelle oder Betriebssysteme gelangen.

Eine effektive automatisierte Überwachung umfasst:

• Mengenprüfungen — Ist die erwartete Anzahl von Zeilen eingegangen?
• Schema-Prüfungen–Hat sich der Typ einer Spalte geändert, wurde sie umbenannt oder ist sie verschwunden?
• Verteilungsprüfungen — Ergeben die Werteverteilungen im Vergleich zu historischen Referenzwerten ein statistisch normales Bild?
• Überwachung der Nullwertquote — Hat sich die Rate der fehlenden Werte wesentlich verändert?
• Frischeprüfungen — Wurden die Daten innerhalb des vorgeschriebenen Zeitraums aktualisiert?

Wenn eine Prüfung fehlschlägt, sollten Warnmeldungen automatisch an den zuständigen Datenverantwortlichen weitergeleitet werden und nicht in einer Protokolldatei verbleiben. Hier kommtder Datenherkunftsnachweisins Spiel – eine Warnmeldung zu einer nachgelagerten Tabelle ist wesentlich besser verwertbar, wenn man sofort erkennen kann, welche vorgelagerte Quelle oder Transformation das Problem verursacht hat.

Datenqualität sollte in Governance-Richtlinien integriert werden – und nicht erst im Nachhinein berücksichtigt werden

Datenqualität und Data Governance sind am effektivsten, wenn sie gemeinsam konzipiert werden. In der Praxis bedeutet dies:

• Qualitätsvorgaben sollten Bestandteil von Datenverträgen sein – also formeller Vereinbarungen zwischen Datenproduzenten und -nutzern darüber, welchen Inhalt die Daten haben werden und wann sie bereitgestellt werden.
• Die im Rahmen der Governance vorgenommene Einstufung als sensible Daten sollte automatisch strengere Qualitätsanforderungen nach sich ziehen.
• Datenbestände, die die Qualitätsprüfungen nicht bestehen, sollten von der Zertifizierung im Datenkatalog , bis die Probleme behoben sind.
• Der Zugriff auf kritische Datensätze kann an bestimmte Qualitätsschwellenwerte geknüpft werden – wodurch verhindert wird, dass nachfolgende Entscheidungen auf der Grundlage von Daten getroffen werden, die die Mindeststandards nicht erfüllen.

Das Ziel ist eine automatische Qualitätssicherung, die eingebettet die normalen Datenabläufe eingebettet ist, und kein separater, vierteljährlich stattfindender Prüfzyklus.

Stellen Sie Stammdaten und Bereiche mit großer Auswirkung an erste Stelle

Der Versuch, Qualitätskontrollen Datensatz auf alle Datensatz anzuwenden, führt dazu, dass die Ressourcen zu dünn gestreut werden und die Ergebnisse zu langsam vorliegen, um das Vertrauen der Organisation zu stärken. Beginnen Sie mit:

• Stammdaten — Kunden, Produkte, Lieferanten, Mitarbeiter. Diese Entitäten durchlaufen jedes System. Qualitätsprobleme in diesem Bereich wirken sich auf die gesamte Datenlandschaft aus.
• Daten für die aufsichtsrechtliche Berichterstattung — Jeder Datensatz in einen Compliance-Bericht oder einen Jahresabschluss einfließt. Die Kosten für Qualitätsmängel sind hier direkt und messbar.
• Training KI und ML — Modelle, die auf Daten minderer Qualität trainiert wurden, liefern unzuverlässige Ergebnisse. Die Qualitätskontrolle von Training sollte mit derselben Sorgfalt behandelt werden wie die von Finanzdaten in der Produktion.

Sobald in besonders wichtigen Bereichen hochwertige Programme etabliert sind, lassen sich die Muster, Werkzeuge und organisatorischen Kapazitäten effizienter auf umfangreichere Datensätze übertragen.

Schaffung einer Rückkopplungsschleife zwischen Qualitätsmängeln und der Behebung der Grundursachen

Ein Qualitätsproblem zu erkennen, ist nur die halbe Arbeit. Die andere Hälfte besteht darin, sicherzustellen, dass die Abhilfe die eigentliche Ursache und nicht nur das Symptom behebt.

Ein strukturierter Sanierungszyklus sieht wie folgt aus:

1. Die automatisierte Überwachung erkennt eine Anomalie erstellt eine Stewardship Aufgabe.
2. Der Verwalter untersucht die Angelegenheit anhandder Abstammungslinie, um den Ursprung des Problems zurückzuverfolgen.
3. Die Grundursache wurde ermittelt – eine Änderung am Quellsystem, ein Fehler in der Pipeline-Logik, eine Inkonsistenz in den Definitionen.
4. Die Korrektur wurde direkt im Quellcode implementiert und nicht nachträglich eingepflegt.
5. Die Qualitätsregel bzw. der Schwellenwert, durch den das Problem zuvor nicht erkannt wurde, wird aktualisiert.
6. Die Auflösung ist wie folgt dokumentiert: Metadaten des betroffenen Assets dokumentiert.

Ohne Schritt 6 tritt das gleiche Problem erneut auf. Ohne Schritt 4 entsteht durch die nachgelagerte Korrektur eine versteckte Abhängigkeit, die bei der nächsten Änderung der Quelle zu Fehlern führt.

Datenqualität als Unternehmenskennzahl messen und ausweisen

Datenqualitätsprogramme, deren Wirkung sich nicht nachweisen lässt, überstehen die Haushaltszyklen nicht. Legen Sie eine kleine Auswahl an Kennzahlen fest, die die Qualitätsleistung mit den Geschäftsergebnissen verknüpfen, und berichten Sie regelmäßig darüber:

• Gesamtqualitätswert — Ein gewichteter Durchschnitt über alle Dimensionen hinweg für jeden kritischen Bereich.
• Zeit bis zur Erkennung — Wie viel Zeit vergeht zwischen dem Auftreten eines Qualitätsproblems und dessen Erkennung?
• Zeit bis zur Behebung — Wie lange dauert es von der Erkennung bis zur bestätigten Behebung?
• Rate der qualitätsbezogenen Vorfälle — Wie viele nachgelagerte Fehler (falsche Berichte, ausgefallene Pipelines, Fehlentscheidungen) sind pro Quartal auf Datenqualitätsprobleme zurückzuführen?
• Erfassungsgrad — Wie viel Prozent der kritischen Datenbestände verfügen über festgelegte Qualitätsschwellenwerte und werden aktiv überwacht?

Durch die Berichterstattung dieser Kennzahlen an die Datenverantwortlichen und die federführenden Entscheidungsträger wird die Datenqualität von einem rein technischen Anliegen zu einemGovernance-KPImit klarer Verantwortlichkeit.

Zusammenfassung

Datenqualität im Rahmen der Governance ist kein einmaliges Korrekturprojekt. Es handelt sich vielmehr um eine fortlaufende operative Disziplin, die auf klaren Standards, festgelegten Verantwortlichkeiten, automatisierter Überwachung und kontinuierlicher Verbesserung basiert.

Unternehmen, die dies gut umsetzen, betrachten Qualität als eine Eigenschaft jedes Datenbestands – die bereits bei der Erfassung definiert, kontinuierlich überwacht, durch Richtlinien durchgesetzt und als Geschäftsergebnis gemessen wird. Das Ergebnis sind Daten, die nachgelagerte Teams – Analysten, KI-Systeme, Compliance-Beauftragte – nutzen können, ohne zuvor prüfen zu müssen, ob sie vertrauenswürdig sind.

Informationen zu den Grundlagen der Governance undMetadaten , die die Sicherstellung der Datenqualität ermöglichen, finden Sie im„Enterprise Guide to Data Governance“ und im„Enterprise Guide to Metadaten “.

Über den Autor

Über Actian Germany GmbH

Actian ermöglicht es Unternehmen, Daten in großem Umfang sicher verwalten zu steuern. Unternehmen vertrauen auf Datenmanagement Data-Intelligence-Lösungen von Actian, um komplexe Datenumgebungen zu optimieren und die Bereitstellung von KI-fähigen Daten zu beschleunigen. Die auf Flexibilität ausgelegten Lösungen von Actian lassen sich nahtlos integrieren und arbeiten zuverlässig in On-Premises, Cloud und Hybridumgebungen. Erfahren Sie mehr über Actian, den Daten- und KI-Geschäftsbereich von HCL Software, unter actian.com.