Was ist ein intelligenter Datenkatalog?
Die Idee eines intelligenten Datenkatalog ist seit einigen Jahren in der Literatur zum Metadaten zu finden, obwohl es keine offizielle Definition gibt. Der allgemeine Konsens ist, dass ein moderner Datenkatalog über Maschinelles Lernen und KI verfügen muss, um sein Potenzial auszuschöpfen.
- Metamodellierung
- Datenbestand
- Verwaltung von Metadaten
- Die Suchmaschine
- Erfahrungen Nutzer
MetamodellierungHolen Sie sich Ihr eBook
(d.h. sales@..., support@...)
Übersicht
Unabhängig von seiner Größe enthält ein Informationssystem mehrere Dutzend Systeme und Anwendungen, die Daten über eine Vielzahl von Quellen (relationale und nicht-relationale Datenbanken, verteilte Dateisysteme, APIs, Cloud usw.) speichern, und zwar nach bestimmten Protokollen, Formaten und Regeln. Jedes System verwaltet Hunderte oder Tausende von Datensätzen - in der Regel Tabellen oder Dateien - die wiederum aus Dutzenden von Feldern (oder Spalten) bestehen. Und jeder Datensatz und jedes Feld fließt in ein Metamodell ein (mit anderen Worten, ein Ensemble von strukturierten Metadaten), das die Datenexploration ermöglicht.
Letztendlich wird ein Datenkatalog enorme Mengen unterschiedlichster Informationen verarbeiten müssen - und sein Volumen wird exponentiell wachsen, genau wie das Volumen der nutzbaren Daten. Diese Menge an Informationen wird 2 große Probleme aufwerfen:
- Wie kann man das Informationsvolumen einspeisen und pflegen, ohne die Kosten für das Metadaten zu verdreifachen (oder mehr)?
- Wie man die relevantesten Datensätze für einen bestimmten use case findet.
Für uns sollte ein intelligenter Datenkatalog weit über die Integration von KI-Algorithmen hinausgehen und eine Reihe von intelligenten technologischen und konzeptionellen Funktionen umfassen, die Antworten auf die beiden obigen Fragen liefern.