Comment j'ai analysé 165 millions d'enregistrements de vols en quelques secondes sur mon ordinateur portable

Il a été étonnamment facile d'analyser 165 millions d'enregistrements de vols sur mon ordinateur portable. Il m'a suffi d'un après-midi pour suivre le guide d'évaluation d'Actian que vous pouvez télécharger ici.

Au fil des ans, les scientifiques d'Intel ont cherché à réduire le coût de l'informatique de de haute performance . La principale caractéristique de la technologie de traitement vectoriel dont ils avaient besoin était d'analyser de grands tableaux de données en un seul cycle d'instruction du processeur . Actian a accéléré les requêtes de base de données SQL standard pour tirer parti de la vectorisation. Actian Vector traduit le SQL standard en algèbre relationnelle, de sorte que vos requêtes peuvent répondre souvent en un centième du temps qu'elles auraient pris avec une base de données relationnelle standard. Depuis que je me suis joint à Actian, j'ai assisté à des démonstrations et entendu des clients vanter les mérites d'Actian Vector, alors j'ai sauté sur l'idée de l'essayer moi-même afin de créer une vidéo pratique. Le guide d'évaluation m'a guidé dans l'installation de la base de données, le chargement d'un échantillon de données et m'a fourni des requêtes à exécuter sur l'ensemble de données de 165 millions de lignes contenant des enregistrements historiques de vols de compagnies aériennes.

Mon ordinateur portable est équipé d'un processeur Intel 64 bits multi-cœur et dispose de 106 Go d'espace disque, ce qui m'a permis d'essayer Vector. Il ne m'a fallu qu'un après-midi pour télécharger le logiciel avec les données de vol brutes, créer la base de données, l'installer, la charger et exécuter les six requêtes fournies. L'étape la plus longue a consisté à décompresser les plus de 300 fichiers CSV contenant les données brutes. Les scripts de chargement fournis créent une table de faits et une table unidimensionnelle. Je n'ai pas créé d'index ni effectué de réglages. J'ai créé les tables et généré des statistiques pour informer l'optimiseur de requête sur les données.

J'ai installé des bases de données, notamment des bases de données relationnelles Oracle, DB/2 et SQL/DS. Jamais il n'a été aussi facile d'atteindre de telles performances. J'ai enregistré l'ensemble du processus et je l'ai édité en une vidéo de sept minutes afin que vous puissiez voir chaque étape par vous-même en cliquant ici.

À propos d'Actian Corporation

Actian facilite l'accès aux données. Notre plateforme de données simplifie la façon dont les gens connectent, gèrent et analysent les données dans les environnements cloud, hybrides et sur site . Avec des décennies d'expérience dans la gestion des données et l'analyse, Actian fournit des solutions de de haute performance qui permettent aux entreprises de prendre des décisions basées sur les données. Actian est reconnu par les principaux analystes et a reçu des prix de l'industrie pour sa performance et son innovation. Nos équipes partagent des cas d'utilisation éprouvés lors de conférences (par exemple, Strata Data) et contribuent à des projets à code source ouvert. Sur le blog d'Actian, nous abordons des sujets tels que l'ingestion de données en temps réel, l'analyse de données, la gouvernance données, la gestion des données, la qualité des données, l'intelligence des données et l'analyse pilotée par l'IA.