Die Auswirkungen von Aktualisierungen auf die Leistung des Data Warehouse

Wenn Unternehmen das Wachstum ihres Data Warehouse projizieren, gehen sie oft von einer Kurve aus, die das Wachstum der Daten in den Quellsystemen nachahmt. Dieser Ansatz funktioniert, wenn es Ihnen nur um das Speicherwachstum geht. Was häufig übersehen wird, ist die Wachstumskurve für die Verarbeitung von Aktualisierungen Ihrer Daten. Da IT-Systeme immer stärker miteinander verbunden sind, haben Datenaktualisierungen an einem Ort einen Welleneffekt, da sie an anderer Stelle repliziert werden. Ihr Data Warehouse erhält dann Aktualisierungen von allen betroffenen Datenquellen, nicht nur von dem Ort, an dem die Änderung initiiert wurde. Wenn das berechnete Wachstum nicht eingeplant und in Ihrer Data-Warehouse-Architektur und -Infrastruktur berücksichtigt wird, leidet die Leistung wahrscheinlich.

Der Schneeballeffekt bei den Wartezeiten

Die Leistung des Data Warehouse ist ein wichtiger Faktor, den man im Auge behalten muss. Wenn Sie bei der Verarbeitung von Datenaktualisierungen in Rückstand geraten, wird das Problem immer schlimmer. Denken Sie daran, dass Aktualisierungen Streaming sind. Wenn Ihr Data Warehouse nur in der Lage ist, 9 von 10 angeforderten Einheiten pro Sekunde zu verarbeiten, bedeutet dies, dass 1 Einheit in eine Warteschlange gestellt wird. Das scheint keine große Sache zu sein, aber wenn die Situation 2 Minuten lang anhält, haben Sie 120 Einheiten in der Warteschlange und eine Verzögerungszeit von 13 Sekunden. Hält die Situation eine Stunde lang an, befinden sich 3600 Einheiten in der Warteschlange und die Bearbeitungszeit beträgt 6,6 Minuten. Wenn Sie dies über einen ganzen Arbeitstag hinweg durchspielen, werden Sie sehen, dass dies sehr schnell zu einem überwältigenden Problem wird.

Warum ist das wichtig?

Die Leistung von Data Warehouses mag im Zusammenhang mit geplanten Berichten und Batch-Abfragen nicht als großes Problem erscheinen. Problematisch wird es im Zusammenhang mit modernen "digital transformierten" Geschäftsprozessen, die sich auf Data Warehouses als Aggregationspunkt für betriebliche Echtzeit-Metriken verlassen, die mehrere Quellsysteme umfassen. Nehmen wir zum Beispiel eine Fertigungsanlage mit verschiedenen Produktionslinien. Diese Anlage verfügt über eine Vielzahl von Sensoren und intelligenten Maschinen, die Daten sammeln und an ein Data Warehouse Streaming , wo sie mit Informationen über die Materialversorgung, Produktqualitätsdaten (aus Tests) und ausgehenden Logistikdaten kombiniert werden. Das Data Warehouse ermöglicht es, Daten aus allen intelligenten Systemen zu einer Reihe von End-to-End-Datensätzen zusammenzufassen, die die Dashboards speisen können, mit denen die Anlagenbetreiber für einen reibungslosen Ablauf sorgen. Wenn Leistungsprobleme im Data Warehouse dazu führen, dass Aktualisierungen aus den Quellsystemen verzögert werden, können Probleme nicht in Echtzeit erkannt und behoben werden, und das Unternehmen verliert die Flexibilität, die es für einen optimalen Betrieb benötigt.

Actian stellt sich der Herausforderung der Data Warehouse Performance

Das hybride Cloud von Actian löst die Leistungsherausforderung und minimiert das Risiko von Aktualisierungsverzögerungen auf 3 wichtige Arten.

1. Dynamische Cloud. Actian nutzt die Flexibilität der Cloud , um die Rechenressourcen nach Bedarf an die Verarbeitungsanforderungen anzupassen. Wenn Sie einen Anstieg der Datenaktualisierungen aufgrund eines Datenwachstums oder einer Spitzenbelastung feststellen, kann Actian die Infrastrukturressourcen anpassen, um die erforderliche Kapazität bereitzustellen. Mit einer On-Premises , die durch feste Hardwarekapazitäten eingeschränkt ist, ist dies nicht möglich.
2. Vektorielle Verarbeitung. Mit der Vektorverarbeitung können große Datensätze effizienter verarbeitet werden, wodurch die gesamte Rechenlast des Systems gesenkt wird.
3. Maximierung der Hardware-Auslastung. Actian ist darauf ausgelegt, den CPU für die Ausführungsverarbeitung und jeden verfügbaren CPU zu nutzen, um die Verschwendung von Infrastruktur zu minimieren. Die meisten Data-Warehouse-Systeme nutzen nicht die gesamte verfügbare CPU und nutzen den RAM-Speicher für die Ausführungsverarbeitung - beides reduziert die Kapazität für High-Performance .

Letztendlich hängt die Fähigkeit Ihres Data Warehouse, bei der Verarbeitung von Aktualisierungen eine hohe Leistung aufrechtzuerhalten, von Angebot und Nachfrage nach Rechenkapazität ab. Sie können die Nachfrage nach Aktualisierungen nicht wirklich kontrollieren (es sei denn, Sie wollen einige Quellsysteme abschalten oder Ihr Unternehmen verlangsamen). Was Sie jedoch kontrollieren können, ist die Kapazität Ihres Data Warehouse für die Verarbeitung dieser Aktualisierungen. Actian bietet die leistungsstärkste Lösung auf dem Markt mit einer Kombination aus Cloud, effizienter Nutzung von Hardware-Ressourcen und vektorisierter Array-at-a-Time-Verarbeitung. Mit Actian haben Sie mehr Zeit, sich auf das Wachstum Ihres Unternehmens zu konzentrieren und müssen sich weniger Gedanken darüber machen, ob Ihr Data Warehouse mithalten kann.

Weitere Informationen finden Sie unter www.actian.com/data-platform.

Über Actian Corporation

Actian macht Daten einfach. Unsere Datenplattform vereinfacht die Verbindung, Verwaltung und Analyse von Daten in Cloud-, Hybrid- und lokalen Umgebungen. Mit jahrzehntelanger Erfahrung in den Bereichen Datenmanagement und -analyse liefert Actian leistungsstarke Lösungen, die es Unternehmen ermöglichen, datengesteuerte Entscheidungen zu treffen. Actian wird von führenden Analysten anerkannt und wurde für seine Leistung und Innovation mit Branchenpreisen ausgezeichnet. Unsere Teams präsentieren bewährte Anwendungsfälle auf Konferenzen (z. B. Strata Data) und tragen zu Open-Source-Projekten bei. Im ActianBlog behandeln wir Themen wie Echtzeit-Dateneingabe, Datenanalyse, Data Governance, Datenmanagement, Datenqualität, Datenintelligenz und KI-gesteuerte Analysen.