Wie ich 165 Millionen Flugdaten in Sekundenschnelle auf meinem Laptop analysierte

Es war erstaunlich einfach, 165 Millionen Flugaufzeichnungen auf meinem Laptop zu analysieren. Ich habe nur einen Nachmittag gebraucht, um die ActianAuswertungsanleitung zu befolgen, die Sie hier herunterladen können.

Wissenschaftler bei Intel mussten im Laufe der Jahre die Kosten für High-Performance senken. Die wichtigste Funktion der Vektorverarbeitungstechnologie, die sie benötigten, war die Analyse großer Datenfelder in einem einzigen CPU . Actian hat Standard-SQL-Datenbankabfragen beschleunigt, um die Vorteile der Vektorisierung zu nutzen. Actian Vector übersetzt Standard-SQL in relationale Algebra, so dass Ihre Abfragen oft in einem Hundertstel der Zeit beantwortet werden können, die mit einer relationalen Standarddatenbank erforderlich wäre. Seitdem ich bei Actian bin, habe ich Demonstrationen gesehen und gehört, wie Kunden von Actian Vector schwärmen, so dass ich auf die Idee kam, es selbst auszuprobieren, um ein How-to-Video zu erstellen. Der Evaluierungsleitfaden führte mich schrittweise durch die Datenbankinstallation, das Laden von Beispieldaten und stellte Abfragen zur Verfügung, die gegen den 165 Millionen Zeilen umfassenden Datensatz mit historischen Flugaufzeichnungen laufen sollten.

Mein Laptop hat einen Multi-Core 64-Bit Intel-Prozessor und einen verfügbaren 106 GB großen Festplattenspeicher, den ich brauchte, um Vector selbst auszuprobieren. Ich brauchte nur einen Nachmittag, um die Software mit den Rohflugdaten herunterzuladen, die Datenbank zu erstellen, zu installieren, zu laden und die sechs mitgelieferten Abfragen auszuführen. Das Entpacken der mehr als 300 CSV-Dateien für die Rohdaten war der längste Schritt. Die mitgelieferten Ladeskripte erstellen eine Faktentabelle und eine eindimensionale Tabelle. Ich habe keine Indizes erstellt und keine Anpassungen vorgenommen. Ich habe die Tabellen erstellt und Statistiken generiert, um den Anfrage über die Daten zu informieren.

Ich habe Datenbanken installiert, darunter die relationalen Datenbanken Oracle, DB/2 und SQL/DS. Noch nie war es so einfach, eine solche Leistung zu erzielen. Ich habe den gesamten Prozess aufgezeichnet und zu einem siebenminütigen Video zusammengeschnitten, so dass Sie sich jeden Schritt selbst ansehen können, indem Sie hier klicken.

Über Actian Corporation

Actian versetzt Unternehmen in die Lage, Daten in großem Umfang sicher zu verwalten und zu steuern. Die Data-Intelligence-Lösungen von Actian helfen beim Optimieren komplexer Datenumgebungen und einer beschleunigten Bereitstellung von KI-fähigen Daten. Actian-Lösungen sind flexibel, lassen sich nahtlos integrieren und arbeiten zuverlässig in On-Premises-, Cloud- und Hybrid-Umgebungen. Erfahren Sie mehr über Actian, die Datenabteilung von HCLSoftware, unter actian.com.