Wie ich 165 Millionen Flugdaten in Sekundenschnelle auf meinem Laptop analysierte

Es war erstaunlich einfach, 165 Millionen Flugaufzeichnungen auf meinem Laptop zu analysieren. Ich habe nur einen Nachmittag gebraucht, um die ActianAuswertungsanleitung zu befolgen, die Sie hier herunterladen können.

Wissenschaftler bei Intel mussten im Laufe der Jahre die Kosten für High-Performance senken. Die wichtigste Funktion der Vektorverarbeitungstechnologie, die sie benötigten, war die Analyse großer Datenfelder in einem einzigen CPU . Actian hat Standard-SQL-Datenbankabfragen beschleunigt, um die Vorteile der Vektorisierung zu nutzen. Actian Vector übersetzt Standard-SQL in relationale Algebra, so dass Ihre Abfragen oft in einem Hundertstel der Zeit beantwortet werden können, die mit einer relationalen Standarddatenbank erforderlich wäre. Seitdem ich bei Actian bin, habe ich Demonstrationen gesehen und gehört, wie Kunden von Actian Vector schwärmen, so dass ich auf die Idee kam, es selbst auszuprobieren, um ein How-to-Video zu erstellen. Der Evaluierungsleitfaden führte mich schrittweise durch die Datenbankinstallation, das Laden von Beispieldaten und stellte Abfragen zur Verfügung, die gegen den 165 Millionen Zeilen umfassenden Datensatz mit historischen Flugaufzeichnungen laufen sollten.

Mein Laptop hat einen Multi-Core 64-Bit Intel-Prozessor und einen verfügbaren 106 GB großen Festplattenspeicher, den ich brauchte, um Vector selbst auszuprobieren. Ich brauchte nur einen Nachmittag, um die Software mit den Rohflugdaten herunterzuladen, die Datenbank zu erstellen, zu installieren, zu laden und die sechs mitgelieferten Abfragen auszuführen. Das Entpacken der mehr als 300 CSV-Dateien für die Rohdaten war der längste Schritt. Die mitgelieferten Ladeskripte erstellen eine Faktentabelle und eine eindimensionale Tabelle. Ich habe keine Indizes erstellt und keine Anpassungen vorgenommen. Ich habe die Tabellen erstellt und Statistiken generiert, um den Anfrage über die Daten zu informieren.

Ich habe Datenbanken installiert, darunter die relationalen Datenbanken Oracle, DB/2 und SQL/DS. Noch nie war es so einfach, eine solche Leistung zu erzielen. Ich habe den gesamten Prozess aufgezeichnet und zu einem siebenminütigen Video zusammengeschnitten, so dass Sie sich jeden Schritt selbst ansehen können, indem Sie hier klicken.

Über Actian Corporation

Actian macht Daten einfach. Unsere Datenplattform vereinfacht die Verbindung, Verwaltung und Analyse von Daten in Cloud-, Hybrid- und lokalen Umgebungen. Mit jahrzehntelanger Erfahrung in den Bereichen Datenmanagement und -analyse liefert Actian leistungsstarke Lösungen, die es Unternehmen ermöglichen, datengesteuerte Entscheidungen zu treffen. Actian wird von führenden Analysten anerkannt und wurde für seine Leistung und Innovation mit Branchenpreisen ausgezeichnet. Unsere Teams präsentieren bewährte Anwendungsfälle auf Konferenzen (z. B. Strata Data) und tragen zu Open-Source-Projekten bei. Im ActianBlog behandeln wir Themen wie Echtzeit-Dateneingabe, Datenanalyse, Data Governance, Datenmanagement, Datenqualität, Datenintelligenz und KI-gesteuerte Analysen.