Metadaten

Was sind Metadaten?

Metadaten liefern Informationen über Daten.

Warum sind Metadaten wichtig?

Sie bieten Informationen, die den Verbrauchern helfen, die Daten zu finden, zu nutzen und zu verstehen, welche Qualität sie haben und woher sie stammen. Metadaten zeigt auch, wie Daten zusammenhängen, um den Nutzern einen Kontext zu bieten.

Arten von Metadaten

Sie können in die folgenden Kategorien eingeteilt werden:

• Deskriptive Metadaten enthalten Informationen wie Autor, Erstellungsdatum, Änderungsdatum und Größe.
• Strukturelle Metadaten beschreiben, wie zusammengesetzte Daten strukturiert sind. Eine einzelne Zeichenkette kann zum Beispiel mehrere Felder enthalten, einschließlich variabler Feldlängeninformationen und Datentypen.
• Administrative Metadaten liefern Verwaltungsinformationen, z. B. darüber, wie oft sie aktualisiert werden müssen, um nützlich zu bleiben.
• Metadaten enthalten Informationen über die Qualität der Daten und die Quelle.
• In den juristischen Metadaten werden der Inhaber des Urheberrechts, die Nutzungsbeschränkungen und die Lizenzierungsanforderungen erfasst.

Wie es verwendet wird

Metadaten erfüllen mehrere Funktionen. Die Katalogisierung der Daten ist wichtig, da sie die Nutzer über ihre Qualität, Vollständigkeit, Herkunft und Autorität informiert. Bilder können mit Metadaten versehen werden, darunter digitale Signaturen, Erstellungsdaten, geografische Standorte, Größe und Farbtiefe. Exchangeable Image File (EXIF)-Daten sind standardbasierte Metadaten , die in die Bilddateieingebettet .

Das Daten-Lakehouse stellt Metadaten zur Verfügung, die den Wert der von ihm gepflegten Datensätze erheblich steigern, indem sie die Datenqualität und die Beziehungen zwischen verschiedenen Datenbeständen dokumentieren.

Datenbankmanagementsysteme pflegen in Systemkatalogen die Aufzeichnung der Anzahl von Datensätzen in einer Tabelle, die Kardinalität der Datenfelder, Hoch- und Niedrigwassermarken, die Selektivität von Indizes, und die Clusterung von Daten zu Indizes.

Moderne webbasierte Anwendungen verwenden Anwendungsprogrammierschnittstellen (APIs), um auf Tools von Drittanbietern zuzugreifen und Daten unter Verwendung von Metadaten Datentypen wie JSON und XML zu übergeben. Herkömmliche Anwendungen übermittelten Daten zwischen ihnen, aber sie waren nicht selbstbeschreibend, und man konnte sie nicht abfragen, um zu erfahren, welche Daten sie erwarteten, wie man es bei einem modernen Webdienst kann. Mit der zunehmenden Komponentisierung von Anwendungen zur einfacheren Erstellung neuer Anwendungen wird ihre Zahl steigen und damit auch die Notwendigkeit, ihre Funktionen und Datenanforderungen selbst zu dokumentieren.

Vorteile von Metadaten

Der Bedarf an Metadaten wächst vor allem aufgrund der folgenden Vorteile:

• Sie erhöht den Nutzen der vorhandenen Datenquellen.
• Sie macht Daten nützlich, indem sie ihre Qualität und ihren Nutzen dokumentiert.
• Sie enthält Kennzeichnungen, die das Auffinden von Daten mit Hilfe von Suchmaschinen ermöglichen.
• Es fördert die data governance , indem es die Dateneigentümer oder deren Abwesenheit dokumentiert.
• Je größer die Datenmengen und -quellen werden, desto wertvoller werden sie.
• Die Nutzung von Daten ist eine Best Practice des Datenmanagement , von der der Dateneigentümer und die Geschäftspartner, die Daten gemeinsam nutzen, profitieren. Der Erfolg der Data sharing hängt von guten Metadaten ab. Daten, die nicht gut dokumentiert sind, werden wahrscheinlich nicht genutzt oder sind nicht vertrauenswürdig.
• Sie ist ein Grundpfeiler fortschrittlicher Datenmodelle wie Data Warehouses, Data Lakes und Data Mesh.
• Es unterstützt den Prozess der Auffindbarkeit von Unterlagen für die Prüfung der Einhaltung von Vorschriften.
• Die durch die Dokumentation der Datenbestände eines Unternehmens gewonnene Transparenz ist der erste Schritt zur Rationalisierung der Datennutzung, so dass doppelte Daten überprüft, zusammengeführt oder entfernt werden können.

Actian

Die Actian Data Platform macht es einfach, High-Performance Data Warehouses zu erstellen. Die integrierte spaltenbasierte, vektorisierte Datenbank nutzt eine überragende parallele Anfrage für schnellere Anfrage . Externe Daten können im Data Warehouse registriert werden, um so einfach wie ein internes Objekt darauf zugreifen zu können. Datenkonnektoren umfassen Hadoop Spark. Auf mehrere verteilte Datenbankinstanzen kann mit einer einzigen Anfrage zugegriffen werden, um föderierte Datenmodelle zu unterstützen.

Die integrierte Datenintegration-as-a-Service stellt eine Verbindung zu Hunderten von Datenquellen her und kann zum Dokumentieren, Extrahieren und Laden sowohl dateibasierter als auch gestreamter Daten verwendet werden. Mit Actian können Sie sich mit REST- und SOAP-APIs verbinden, um Integrationen zu erstellen und zu verwalten .

Die Actian Data Platform arbeitet mit gängigen Datenspeicherstrukturen wie S3-Buckets, Google Drive-Ordnern und Azure Blob Storage. Instanzen können über eine Nutzer und eine Verwaltungskonsole auf mehreren Cloud bereitgestellt werden.