Haben Sie einen Framework die Datenqualität?

Wir haben in mehreren Blogs über die Notwendigkeit von Datenqualität berichtet und darüber, wie man Probleme mit der Datenqualität bereits im Keim ersticken kann. In diesem Beitrag befassen wir uns mit einer weiteren Möglichkeit, wie Sie sicherstellen können, dass Ihre Daten kontinuierlich Ihren Qualitätsstandards entsprechen, indem Sie ein Framework implementieren und nutzen. Verfügen Sie in Ihrem Unternehmen über ein solches Framework ? Wenn nicht, müssen Sie eines einführen. Und wenn Sie eines haben, gibt es vielleicht Möglichkeiten, es zu verbessern.

Ein Framework unterstützt die Protokolle, bewährten Verfahren und Qualitätsmaßnahmen zur Überwachung des Zustands Ihrer Daten. So können Sie sicherstellen, dass Ihre Daten die Qualitätsschwellen für die Nutzung erfüllen und das Vertrauen in Ihre Daten stärken. Ein Framework erstellt fortlaufend Datenprofile mit systematischen Prozessen, um Probleme zu erkennen und zu beheben, bevor die Daten an ihren Zielort gesendet werden.

Da Sie nun wissen, dass ein Framework für eine sichere, data driven Entscheidungsfindung und Datenprozesse erforderlich ist, müssen Sie wissen, wie Sie ein solches Framework erstellen.

Etablieren Sie Qualitätsstandards für Ihre Use Cases

Nicht jedes Unternehmen hat die gleichen Probleme mit der Datenqualität, aber die meisten Unternehmen haben mit irgendeiner Art von Datenqualitätsproblem zu kämpfen. Gartner schätzt, dass schlechte Datenqualität Unternehmen jedes Jahr durchschnittlich 12,9 Millionen Dollarkostet .

Da das Datenvolumen und die Anzahl der Datenquellen zunehmen und die Datenökosysteme immer komplexer werden, kann man davon ausgehen, dass die Kosten und die geschäftlichen Auswirkungen einer schlechten Datenqualität nur noch größer werden. Dies beweist, dass es einen wachsenden Bedarf an einem robusten Framework gibt.

Das Framework ermöglicht es Ihnen:

• Bewertung der Datenqualität anhand festgelegter Maßstäbe für Genauigkeit, Vollständigkeit und anderer Kriterien.
• Erstellen Sie eine Datenpipeline , die etablierten Datenqualitätsprozessen folgt.
• Lassen Sie die Daten durch die Pipeline laufen, um sicherzustellen, dass sie Ihrem Qualitätsstandard entsprechen.
• Überwachen Sie die Daten laufend, um die Qualität zu überprüfen.

Das Framework soll sicherstellen, dass Ihre Daten für den Zweck geeignet sind, d. h., dass sie den Standard für den beabsichtigten use case erfüllen. Für verschiedene Verwendungszwecke können unterschiedliche Qualitätsstandards gelten (z. B. muss die Kontonummer eines Kunden zu 100 % korrekt sein, während das Alter oder das Gehalt eines Kunden innerhalb eines Bereichs angegeben werden kann und daher nicht zu 100 % korrekt ist). Es ist jedoch gängige Praxis, einen Datenqualitätsstandard für das gesamte Unternehmen festzulegen. Dadurch wird sichergestellt, dass Ihre Daten den Mindeststandard erfüllen.

Schlüsselkomponenten eines Framework

Auch wenn jedes Unternehmen mit seinen eigenen Herausforderungen in Bezug auf die Datenqualität konfrontiert ist, sind die wesentlichen Komponenten, die für ein Framework benötigt werden, die gleichen. Sie umfassen:

• Data Governance: Data governance stellt sicher, dass die Prozesse, Richtlinien und Rollen, die für die Sicherheit, Integrität und Qualität der Daten verwendet werden, auf kontrollierte und verantwortungsvolle Weise durchgeführt werden. Dazu gehört auch die Regelung, wie Daten integriert, gehandhabt, verwendet, gemeinsam genutzt und gespeichert werden, was sie zu einer wichtigen Komponente Ihres Framework macht.
• Daten-Profilierung: Actian definiert Data Profiling als den Prozess der Datenanalyse, bei dem der Kontext, die Struktur und der Inhalt der Daten untersucht werden, um besser zu verstehen, inwieweit sie relevant und nützlich sind, was ihnen fehlt und wie sie ergänzt oder verbessert werden können. Die Profilerstellung hilft Ihnen, Probleme mit den Daten zu erkennen, z. B. Inkonsistenzen oder Ungenauigkeiten.
• Regeln zur Datenqualität: Diese Regeln bestimmen, ob die Daten Ihrem Qualitätsstandard entsprechen oder ob sie verbessert oder umgewandelt werden müssen, bevor sie integriert oder verwendet werden können. Die Festlegung von Regeln hilft Ihnen dabei, zu überprüfen, ob Ihre Daten korrekt, gültig und vollständig sind und den von Ihnen festgelegten Schwellenwert für die Verwendung erfüllen.
• Datenbereinigung: Das Ergänzen fehlender Informationen, das Herausfiltern nicht benötigter oder fehlerhafter Daten, das Formatieren von Daten, um Ihren Standard kennenlernen , und das Sicherstellen der Datenintegrität sind für das Erreichen und Aufrechterhalten der Datenqualität unerlässlich. Datenbereinigung hilft bei diesen Prozessen.
• Datenberichterstattung. Diese Berichte geben Ihnen Auskunft über die Qualität Ihrer Daten. Bei den Berichten kann es sich um Dokumente oder Dashboards handeln, die Datenqualitätsmetriken, Probleme, Trends, Empfehlungen oder andere Informationen zeigen.

Diese Komponenten arbeiten zusammen, um den für die Aufrechterhaltung der Datenqualität erforderlichen Framework zu schaffen.

Festlegung von Zuständigkeiten und Metriken

Wenn Sie mit Ihrem Framework vorankommen, müssen Sie den Mitarbeitern bestimmte Rollen und Verantwortlichkeiten zuweisen. Diese Mitarbeiter werden das Framework verwalten und sicherstellen, dass die Daten den definierten Standards und Geschäftszielen entsprechen. Darüber hinaus werden sie die Richtlinien und Prozesse Framework umsetzen und festlegen, welche Technologien und Tools für den Erfolg erforderlich sind.

Die Verantwortlichen für den Framework müssen auch festlegen, welche Metriken zur Messung der Datenqualität verwendet werden sollen. Die Verwendung von Kennzahlen ermöglicht es Ihnen, die Datenqualität anhand von Attributen wie Vollständigkeit, Aktualität und Genauigkeit zu quantifizieren. Ebenso müssen diese Mitarbeiter definieren, wie gute Daten für Ihre Anwendungsfälle aussehen.

Viele Prozesse können automatisiert werden, was das Framework skalierbar macht. Wenn sich Ihre Daten und Geschäftsanforderungen ändern und neue Daten verfügbar werden, müssen Sie Ihr Framework weiterentwickeln, um neue Anforderungen kennenlernen .

Expertenhilfe zur Sicherstellung von Qualitätsdaten

Ihr Framework kann Probleme während des gesamten Lebenszyklus Ihrer Daten überwachen und beheben. Das Framework kann für Daten in Data Warehouses, Data Lakes oder anderen Repositories verwendet werden, um wiederholbare Strategien, Prozesse und Verfahren für die Datenqualität bereitzustellen.

Ein effektives Framework reduziert das Risiko mangelhafter Daten - und die Probleme, die schlechte Qualität für Ihr gesamtes Unternehmen mit sich bringt. Das Framework stellt sicher, dass vertrauenswürdige Daten für den Betrieb, die Entscheidungsfindung und andere wichtige Geschäftsanforderungen verfügbar sind. Wenn Sie Hilfe bei der Verbesserung Ihrer Datenqualität oder beim Aufbau eines Framework benötigen, stehen wir Ihnen gernezur Verfügung.

Über Emma McGrattan

Als Chief Technology Officer bei Actian ist Emma McGrattan verantwortlich für die IT-Strategie, Innovation und Produktentwicklung des Unternehmens. Sie unterstützt Actians Mission, die Art und Weise zu vereinfachen, wie Unternehmen Daten verbinden, verwalten, steuern und analysieren, um Unternehmen zu transformieren. Seit ihrem Eintritt in das Unternehmen vor drei Jahrzehnten hat Emma Rattan eine entscheidende Rolle bei der Entwicklung und Weiterentwicklung der Analytics-, Datenintegrations- und Datenmanagement-Lösungen von Actian gespielt, einschließlich der Actian Data Platform. Emma hat einen Abschluss in Elektrotechnik von der Dublin City University in Irland.