Smart Datenkatalog: 5 Fähigkeiten , die Datenverantwortliche benötigen

Ein intelligentes „ Datenkatalog “ ist ein Datenkatalog System, das auch bei wachsenden Datenmengen eines Unternehmens präzise, zuverlässig und leicht durchsuchbar bleibt. Dies wird durch fünf Fähigkeiten erreicht: intelligentes Design, Nutzer Benutzererfahrung, Bestandsverwaltung, Suche und Metadaten Management. Maschinelles Lernen unterstützt einige dieser Aspekte, deckt jedoch nicht alle Bereiche ab.

Dieser Artikel basiert auf dem Vortrag von Guillaume Bodet mit dem Titel „Smart Data Catalogs, A Must-Have for Leaders“ auf dem Data Innovation Summit 2020 und erläutert die einzelnen Funktionen sowie die Aspekte, auf die Datenverantwortliche achten sollten.

Wir glauben nicht, dass ein intelligenter Datenkatalog nur auf ML-Funktionen beschränkt ist.

Es gibt viele verschiedene Möglichkeiten, "intelligent" zu sein. Dieser Artikel konzentriert sich auf die Konferenz, die Guillaume Bodet auf dem Data Innovation Summit 2020 hielt: "Intelligente Datenkataloge, ein Muss für Führungskräfte".

Was ist ein Datenkatalog?

Wir definieren einen Datenkatalog wie folgt:

Ein detailliertes Inventar aller Datenbestände in einem Unternehmen und ihrer Metadaten, das Datenexperten helfen soll, schnell die am besten geeigneten Daten für jeden analytischen Geschäftszweck zu finden.

Ein Datenkatalog soll verschiedenen Personen oder Endnutzern. All diese Endnutzer haben unterschiedliche Erwartungen, Bedürfnisse, Profile und Arten, Daten zu verstehen. Zu diesen Endnutzern gehören Datenanalysten, Datenverwalter, Datenwissenschaftler, Geschäftsanalysten und viele mehr. Da immer mehr Menschen Daten nutzen und mit ihnen arbeiten, Datenkatalog ein Datenkatalog für alle Endnutzer intelligent sein.

Was versteht man unter einem "Datenbestand"?

Ein Vermögenswert wird in der Regel mit einem geschätzten Wert in der Bilanz ausgewiesen. Wenn es um Datenwerte geht, sind sie genauso wichtig, in manchen Fällen sogar noch wichtiger als andere Vermögenswerte des Unternehmens. Das Problem ist, dass der Wert von Datenbeständen nicht immer bekannt ist.

Es gibt jedoch viele Möglichkeiten, den Wert Ihrer Daten zu nutzen. Es gibt die Möglichkeit für Unternehmen, den Wert ihrer Daten direkt zu nutzen, z. B. durch den Verkauf oder den Handel mit ihren Daten. Viele Unternehmen tun dies: Sie bereinigen die Daten, strukturieren sie und verkaufen sie dann.

Unternehmen können auch indirekt aus ihren Daten Wert schöpfen. Datenbestände ermöglichen es Organisationen,:

• Innovation für neue Produkte/Dienstleistungen.
• Verbesserung der Gesamtleistung.
• Verbesserung der Produktpositionierung.
• Märkte/Kunden besser verstehen.
• Steigerung der betrieblichen Effizienz.

Leistungsstarke Unternehmen sind diejenigen, die ihre Datenlandschaft beherrschen und ihre Datenbestände in jedem Aspekt ihrer Tätigkeit nutzen.

Warum ist es so schwierig, ein „ Datenkatalog “ in großem Maßstab zu betreiben?

Wenn Ihr Unternehmen mit Tausenden von Daten zu tun hat, bedeutet das in der Regel, dass Sie möglicherweise mit Daten zu tun haben:

• Hunderte von Systemen, die sowohl interne Daten (Data Warehouses, Anwendungen, Data Lakes, Datenspeicher, APIs usw.) als auch externe Daten von Partnern speichern.
• 1.000 Datensätze, Modelle und Visualisierungen (Datenbestände), die sich aus Tausenden von Feldern zusammensetzen.
• Und diese Felder enthalten Millionen von Attributen (oder Metadaten)!

Ganz zu schweigen von den Hunderten von Nutzern, die sie verwenden...

Dies wirft zwei verschiedene Fragen auf:

Was macht einen „ Datenkatalog “ so besonders?

Wir glauben, dass es fünf Kernbereiche der "Smartness" für einen Datenkatalog gibt. Er muss intelligent sein in seiner:

• Gestaltung: Die Art und Weise, wie Benutzer den Katalog erkunden und Informationen konsumieren.
• Nutzer Erfahrung: Wie es sich an verschiedene Profile anpasst.
• Vorräte: Bietet eine intelligente und automatische Art der Inventarisierung.
• Suchmaschine: Unterstützt die verschiedenen Erwartungen und gibt intelligente Vorschläge.
• Metadaten : Ein Katalog, der Daten durch ML-Funktionen kennzeichnet und miteinander verknüpft.

Gehen wir auf jeden dieser Bereiche im Detail ein:

Was macht das Design eines „ Datenkatalog“ so clever?

Wissensgraph

Ein Datenkatalog mit intelligentem Design verwendet Wissensgraphen anstelle von statischen Ontologien (eine Methode zur Klassifizierung von Informationen, die meist als Hierarchie aufgebaut ist). Das Problem mit Ontologien ist, dass sie sehr schwer zu erstellenund zu pflegen sind, und in der Regel nur bestimmte Arten von Profilen die verschiedenen Klassifizierungen wirklich verstehen.

Ein Wissensgraph hingegen repräsentiert verschiedene Konzepte in einem Datenkatalog und verbindet Objekte durch semantische oder statische Links miteinander. Die Idee eines Wissensgraphen ist es, ein Netzwerk von Objekten aufzubauen und, was noch wichtiger ist, semantische oder funktionale Beziehungen zwischen den verschiedenen Assets in Ihrem Katalog herzustellen.

Grundsätzlich bietet ein intelligenter Datenkatalog den Benutzern eine Möglichkeit, verwandte Objekte zu finden und zu verstehen.

Adaptive Metamodelle

In einem Datenkatalog finden die Benutzer Hunderte von verschiedenen Eigenschaften, von denen einige für manche Benutzer nicht relevant sind. Typischerweise werden zwei Arten von Informationen verwaltet:

• Entitäten: Einfache Objekte, Glossareinträge, Definitionen, Modelle, Richtlinien, Beschreibungen usw.
• Eigenschaften: Die Attribute, die Sie den Entitäten zuordnen (alle zusätzlichen Informationen wie Erstellungsdatum, Datum der letzten Aktualisierung usw.)

Das Design des Metamodells muss dem Datenkonsumenten dienen. Es muss an neue Geschäftsfälle angepasst werden können und so einfach zu verwalten sein, dass die Benutzer es pflegen und verstehen können. Bonuspunkte, wenn es einfach ist, neue Objekttypen und Attributgruppen zu erstellen!

Semantische Attribute

In einem Datenkatalog handelt es sich bei den Attributen des Metamodells meist um technische Eigenschaften. Einige der Attribute eines Objekts umfassen generische Typen wie Text, Zahl, Datum, Werteliste usw. Diese Informationen sind zwar notwendig, aber nicht völlig ausreichend, da sie keine Informationen über die Semantik, also die Bedeutung, enthalten. Dies ist deshalb so wichtig, weil der Katalog mit diesen Informationen die Visualisierung des Attributs anpassen und die Vorschläge für die Benutzer verbessern kann.

Zusammenfassend lässt sich sagen, dass es kein einheitliches Design für ein „ Datenkatalog “ gibt. Es muss sich im Laufe der Zeit weiterentwickeln, um neue Datenbereiche und Anwendungsfälle zu unterstützen.

Wie passt sich ein Smart- Datenkatalog an jeden Nutzer an?

Wie bereits erwähnt, enthält ein Datenkatalog eine Vielzahl von Informationen, und die Endnutzer haben oft Mühe, die für sie interessanten Informationen zu finden. Die Erwartungen sind je nach Profil unterschiedlich. Ein Data-Scientist wird statistische Informationen erwarten, während ein Compliance-Beauftragter Informationen über verschiedene gesetzliche Regelungen erwartet.

Mit einer intelligenten und adaptiven Nutzer wird ein Datenkatalog die relevantesten Informationen für bestimmte Endnutzer präsentieren. Die Informationshierarchie und die angepassten Suchergebnisse in einem intelligenten Datenkatalog basieren auf:

• Statische Präferenzen: Bereits im Datenkatalog bekannt, wenn das Profil eher auf data science, IT, etc. ausgerichtet ist.
• Dynamisches Profiling: Um zu erfahren, was der Nutzer normalerweise sucht, welche Interessen er hat und wie er den Katalog in der Vergangenheit genutzt hat.

Wie hält ein Smart- Datenkatalog -System seinen Bestand auf dem neuesten Stand?

Die Akzeptanz eines Datenkatalogberuht auf Vertrauen - und Vertrauen kann nur entstehen, wenn sein Inhalt korrekt ist. Da sich die Datenlandschaft in rasantem Tempo bewegt, muss sie mit den operativen Systemen verbunden sein, um die erste Informationsebene der Metadaten über Ihre Datenbestände zu erhalten.

Der Katalog muss seinen Inhalt mit dem tatsächlichen Inhalt der operativen Systeme synchronisieren.

Die typische Architektur eines Katalogs besteht aus Scannern, die Ihre operativen Systeme scannen und Informationen aus verschiedenen QuellenBig Data, noSQL, Cloud, Data Warehouse, etc.) zusammenführen und synchronisieren. Die Idee ist, eine universelle Konnektivität zu haben, damit Unternehmen jede Art von System automatisch scannen und in den Wissensgraphen einfügen können.

Die Actian Data Intelligence-Plattform verfügt über eine Automatisierungsebene, die die Informationen aus den Systemen in den Katalog zurückführt. Sie kann:

• Aktualisieren Sie die Anlagen, um physische Veränderungen zu berücksichtigen.
• Erkennen Sie gelöschte oder verschobene Assets.
• Auflösen von Verbindungen zwischen Objekten.
• Wenden Sie Regeln an, um den geeigneten Satz von Attributen auszuwählen und Attributwerte zu definieren.

Was macht die Suche bei „ Datenkatalog “ so intelligent?

In einem Datenkatalog ist die Suchmaschine eines der wichtigsten Merkmale. Wir unterscheiden zwischen zwei Arten von Suchen:

• Suchanfragen mithoher Kaufabsicht: Der EndNutzer weiß bereits, wonach er sucht, und verfügt über genaue Informationen auf seiner abfragen. Er kennt entweder bereits den Namen des Datensatz oder weiß bereits, wo dieser zu finden ist. Suchanfragen mit hoher Kaufabsicht werden in der Regel von datenversierten Personen genutzt.
• Suche mit geringer Intention: Der Nutzer weiß nicht genau, wonach er sucht, möchte aber herausfinden, was er in seinem Kontext gebrauchen könnte. Die Suche erfolgt über Schlüsselwörter, und die Nutzer erwarten, dass die relevantesten Ergebnisse angezeigt werden.

 Ein intelligenter Datenkatalog muss beide Arten der Suche unterstützen

Sie muss auch eine intelligente Filterung bieten. Sie ist eine notwendige Ergänzung zum Sucherlebnis des Nutzer(insbesondere bei der Low-Intent-Recherche) und ermöglicht es ihm, seine Suchergebnisse einzugrenzen, indem er Attribute ausschließt, die nicht relevant sind. Genau wie bei vielen großen Unternehmen wie Google, Booking.com und Amazon müssen die Filteroptionen an den Inhalt der Suche und das Profil des Nutzerangepasst werden, damit die relevantesten Ergebnisse angezeigt werden.

Wie funktioniert das intelligente „ Metadaten “-Management?

Intelligente Metadaten ist in der Regel das, was wir als "erweiterten Datenkatalog" bezeichnen, d. h. einen Katalog, der über Maschinelles Lernen Fähigkeiten verfügt, die es ihm ermöglichen, bestimmte Datentypen zu erkennen, Tags oder statistische Regeln auf Daten anzuwenden.

Eine Möglichkeit, Metadaten intelligent zu verwalten, ist die Anwendung der Datenmustererkennung. Die Erkennung von Datenmustern bezieht sich auf die Fähigkeit, ähnliche Assets zu identifizieren, und stützt sich auf statistische Algorithmen und Fähigkeiten , die von anderen Mustererkennungssystemen abgeleitet sind.

Dieses System zur Erkennung von Datenmustern hilft Datenverwalter dabei, ihre Metadaten Datenverwalter :

• Identifizieren Sie Duplikate und kopieren Sie Metadaten.
• Erkennen Sie logische Datentypen (E-Mails, Städte, Adressen usw.).
• Vorschlagen von Attributwerten (Erkennen von Dokumentationsmustern, die auf ein ähnliches oder ein neues Objekt angewendet werden können).
• Links vorschlagen - semantische oder Abstammungslinks.
• Erkennen Sie potenzielle Fehler, um die Qualität und Relevanz des Katalogs zu verbessern.

Außerdem hilft es den Datenkonsumenten, ihre Assets zu finden. Die Idee ist, einige Techniken zu verwenden, die von inhaltsbasierten Empfehlungen abgeleitet sind, die in allgemeinen Katalogen zu finden sind. Wenn der Nutzer etwas gefunden hat, schlägt der Katalog Alternativen vor, die sowohl auf seinem Profil als auch auf der Mustererkennung basieren.

So fängst du mit einem Smart an Datenkatalog

Actian Data Intelligence-Plattform vereint einen einheitlichen Datenkatalog und Datenmarktplatz mit einem föderierten Wissensgraphen. Es ist nativ in die „ Cloud “ integriert, weltweit mit nur wenigen Klicks verfügbar und nutzt integrierte Konnektoren sowie die automatisierte Erfassung von „ Metadaten “-Daten, um den manuellen Aufwand für die Aktualisierung eines Katalogs zu reduzieren.

Die automatischen Einpflegemechanismen senken in Verbindung mit den Vorschlags- und Korrekturalgorithmen die Gesamtkosten eines Katalogs und liefern Ihren Datenteams qualitativ hochwertige Informationen in Echt Aufzeichnung . Nutzen Sie die obige Checkliste, um einen beliebigen Katalog anhand der fünf Fähigkeiten zu bewerten.

Über den Autor

Über Actian Germany GmbH

Actian ermöglicht es Unternehmen, Daten in großem Umfang sicher verwalten zu steuern. Unternehmen vertrauen auf Datenmanagement Data-Intelligence-Lösungen von Actian, um komplexe Datenumgebungen zu optimieren und die Bereitstellung von KI-fähigen Daten zu beschleunigen. Die auf Flexibilität ausgelegten Lösungen von Actian lassen sich nahtlos integrieren und arbeiten zuverlässig in On-Premises, Cloud und Hybridumgebungen. Erfahren Sie mehr über Actian, den Daten- und KI-Geschäftsbereich von HCL Software, unter actian.com.