Cómo analicé 165 millones de registros de vuelos en segundos en mi portátil

Fue sorprendentemente fácil analizar 165 millones de registros de vuelo en mi portátil. Solo me llevó una tarde seguir la guía de evaluación de Actian que puedes descargar desde aquí.

A lo largo de los años, los científicos de Intel han necesitado reducir el coste de la informática de haute performance . La característica clave de la tecnología de procesamiento vectorial que necesitaban era analizar grandes matrices de datos en un solo ciclo de instrucciones processeur . Actian ha acelerado las peticiones de bases de datos SQL estándar para aprovechar las ventajas de la vectorización. Actian Vector traduce SQL estándar a álgebra relacional para que sus consultas puedan responder a menudo en una centésima parte del tiempo que lo harían con una base de datos relacional estándar. Desde que me uní a Actian, he visto demostraciones y he oído a clientes hablar maravillas de Actian Vector, así que me lancé a la idea de probarlo por mí mismo para poder crear un vídeo explicativo. La guía de evaluación me guió a través de la instalación de la base de datos, la carga de datos de muestra y me proporcionó consultas para ejecutar en el conjunto de datos de 165 millones de filas que contiene registros históricos de vuelos de aerolíneas.

Mi portátil tiene un procesador Intel multi-cœur de 64 bits y una disponibilidad de 106 GB de espacio en disco necesario para probar Vector por mí mismo. Me llevó sólo una tarde realizar el proceso de descarga del software con los datos de vuelo en bruto, crear la base de datos, instalar, cargar y ejecutar las seis consultas suministradas. Descomprimir los más de 300 archivos CSV de los datos en bruto fue el paso más largo. Los scripts de carga suministrados crean una tabla de hechos y una tabla unidimensional. No creé ningún índice ni realicé ningún ajuste. Creé las tablas y generé estadísticas para informar al optimizador de consultas sobre los datos.

He instalado bases de datos relacionales como Oracle, DB/2 y SQL/DS. Nunca ha sido tan fácil conseguir este tipo de rendimiento. He grabado todo el proceso y lo he editado en un vídeo de siete minutos para que puedas ver cada paso por ti mismo haciendo clic aquí.

Acerca de Actian Corporation

Actian hace que los datos sean fáciles. Nuestra plataforma de datos simplifica el modo en que las personas conectan, gestionan y analizan los datos en entornos en la nube, híbridos y locales. Con décadas de experiencia en gestión de datos y análisis, Actian ofrece soluciones de alto rendimiento que permiten a las empresas tomar decisiones basadas en datos. Actian cuenta con el reconocimiento de los principales analistas y ha recibido premios del sector por su rendimiento e innovación. Nuestros equipos comparten casos de uso probados en conferencias (por ejemplo, Strata Data) y contribuyen a proyectos de código abierto. En el blog de Actian, cubrimos temas que van desde la ingestión de datos en tiempo real hasta el análisis impulsado por IA.