Datenvirtualisierung: Virtuelles Data Warehouse - ein Déjà Vu?

In den 1990er Jahren war ich Branchenanalyst für Data Warehousing und business intelligence bei der Giga Information Group (die später von Forrester Research übernommen wurde). Es überrascht mich immer wieder, wie wenig sich diese Technologien seither verändert haben. Unternehmen kämpfen heute immer noch mit einigen der gleichen Schwierigkeiten beim Aufbau eines Data Warehouse und finden die Verlockung einer Abkürzung wie der Datenvirtualisierung nach wie vor sehr verlockend.

Was ist Datenvirtualisierung?

Was die Datenvirtualisierung zu erreichen versucht, ist nicht neu. Genau wie das Konzept des virtuellen Data Warehouse, das vor etwa dreißig Jahren aufkam, ermöglicht die Datenvirtualisierung die Durchführung von Abfragen direkt auf dem/den Quellsystem(en), anstatt die Daten in ein physisches Data Warehouse zu verschieben.

Die Software erleichtert die Entwicklung, den Betrieb und die Verwaltung der Datenvirtualisierung, indem sie zumindest einige der folgenden Funktionen bietet:

Abstraktion

Abstrahieren Sie die technischen Aspekte gespeicherter Daten, wie Speicherort, Speicherstruktur, API, Zugriffssprache und Speichertechnologie.

Virtualisierter Datenzugriff

Verbinden Sie verschiedene Datenquellen und machen Sie sie über einen gemeinsamen logischen Datenzugangspunkt zugänglich.

Umwandlung

Umwandlung, Qualitätsverbesserung, Neuformatierung, Aggregation usw. von Quelldaten für die Nutzung durch die Verbraucher.

Datenverbund

Kombinieren Sie Ergebnismengen aus mehreren Quellsystemen.

Datenlieferung

Veröffentlichen Sie Ergebnismengen als Ansichten und/oder Datendienste, die von Client-Anwendungen oder Benutzern auf Anfrage ausgeführt werden.

Warum Sie immer noch ein Data Warehouse brauchen

Obwohl Softwarelösungen die Datenvirtualisierung im Vergleich zu früher vereinfacht haben, stößt die Datenvirtualisierung auf einige der gleichen Probleme wie die virtuellen Data Warehouses von früher - vor allem, wenn Sie versuchen, diesen Ansatz als Ersatz für ein Data Warehouse zu verwenden, anstatt als Ergänzung zu einem Data Warehouse für bestimmte Anwendungsfälle.

Hier sind einige der wichtigsten Gründe, warum Sie wirklich ein Data Warehouse benötigen:

• In einem Data Warehouse können Berichte und Analysen erstellt werden, ohne die Leistung Ihrer operativen Systeme zu beeinträchtigen. Stellen Sie sich zum Beispiel vor, wie sich eine Verlangsamung Ihrer Anwendungen für den elektronischen Handel auf den Umsatz auswirken könnte.
• Ein Data Warehouse bietet eine bessere Leistung für analytische Abfragen als transaktionale Datenbanken, die auf das effiziente Lesen und Schreiben einzelner Zeilen ausgelegt sind. Hinzu kommt, dass es fast unmöglich ist, eine akzeptable Leistung zu erzielen, wenn Abfragen komplexe, hochkardinale Verknüpfungen und Aggregationen über Quellsysteme hinweg beinhalten.
• Ein Data Warehouse unterstützt die Langzeitarchivierung von Transaktionsdaten. Dies bietet zwei Vorteile: Erstens können die Quellsysteme von alten Daten bereinigt werden, um weiterhin eine hohe Leistung zu gewährleisten; zweitens dienen historische Daten als Grundlage für viele analytische Anforderungen, insbesondere in Szenarien der künstlichen Intelligenz und des Maschinelles Lernen , in denen historische Daten häufig für valide Ergebnisse erforderlich sind.
• Im Gegensatz zur Datenvirtualisierung kann ein Data Warehouse auch dann Erkenntnisse liefern, wenn die Quellsysteme offline oder nicht verfügbar sind. Bei der Datenvirtualisierung wird versucht, das Problem der Nichtverfügbarkeit von Quellsystemen durch Daten-Caching-Mechanismen zu lösen, aber es ist einfach nicht möglich, alles zu cachen, was möglicherweise benötigt wird.
• ETL- (Extract, Transform, and Load) und Datenqualitäts-Tools, die im Data Warehousing eingesetzt werden, helfen bei der Bewältigung komplexer Transformationsanforderungen und bei der Lösung von Datenqualitätsproblemen, die durch die Datenvirtualisierung nicht gelöst werden können.

Die Rolle der Datenvirtualisierung

Obwohl sie kein Ersatz für ein Data Warehouse ist, stellt die Datenvirtualisierung eine wertvolle Ergänzung dar, um viele Hindernisse zu überwinden, einschließlich Situationen, in denen:

• Sie können Ihre Daten aufgrund von Compliance-Beschränkungen nicht in ein Data Warehouse verschieben.
• Sie haben zu viele Daten am Rande, um sie in das Data Warehouse zu verschieben.
• Sie müssen ungeplante Abfragen berücksichtigen, die Zugriff auf Daten erfordern, die nicht im Data Warehouse gespeichert sind.
• Sie benötigen mehrere Durchläufe über in-memory , um iterative Verarbeitungsanforderungen zu unterstützen.

Zusammenfassung

Die Datenvirtualisierung kann als Ergänzung zu einem echten Data Warehouse dienen, ist aber kein Ersatz für ein solches. Wenn Sie mehr über die Vorteile eines Data Warehouse erfahren möchten, empfehle ich Ihnen Data Warehouse vs. Datenbank - Wofür sollten Sie sich entscheiden? Auch wenn es beim Data Warehousing keine Abkürzungen gibt, helfen diese Best Practices.

Über Teresa Wingfield

Teresa Wingfield ist Director of Product Marketing bei Actian und sorgt für die Bekanntheit der Integrations-, Management- und Funktionen der Actian Data Platform. Sie verfügt über mehr als 20 Jahre Erfahrung im Marketing für Analyse-, Sicherheits- und Cloud bei Branchenführern wie Cisco, McAfee und VMware. Teresa konzentriert sich darauf, Kunden dabei zu helfen, mit Daten ein neues Innovations- und Umsatzniveau zu erreichen. Im Actian-Blog hebt Teresa den Wert von analytischen Lösungen in verschiedenen Branchen hervor. In ihren Beiträgen finden Sie Geschichten aus der Praxis.