Intégration des données

Quelles sont les nouveautés de la version 6.6.1 d'Actian DataFlow ?

Actian Corporation

26 novembre 2018

actian dataflow

Actian DataFlow est une plateforme de flux de travail parallèle pour l'accès aux données de bout en bout, la transformation, la préparation et l'analyse prédictive qui élimine les goulots d'étranglement de performance dans vos applications à forte intensité de données. Complémentaire de la base de données analytique Actian Vector, DataFlow tire parti de la simultanéité, du parallélisme et du pipelining pour accélérer le mouvement des données entre les différents emplacements de votre architecture de données, afin d'obtenir des résultats plus rapides. DataFlow élimine les contraintes de mémoire, ainsi que la nécessité de déplacer les données dans des magasins de données spécifiques avant l'exécution des analyses. DataFlow comprend les ressources disponibles avant de diviser l'exécution en plus petits morceaux qui peuvent être exécutés en parallèle pour tirer le meilleur parti de la mise à l'échelle horizontale et verticale.

DataFlow combine l'environnement visuel de flux de travail par glisser-déposer KNIME (plateforme open source d'exploration de données ) avec la plateforme Actian DataFlow sous-jacente afin d'offrir un meilleur contrôle sur l'ensemble du processus de lecture des données, d'exécution des fonctions de transformation et d'analyse et d'écriture des résultats.

Quelles sont les nouveautés de la version 6.6.1 ?

Cette mise à jour de DataFlow certifie les nouvelles versions des distributions Hadoop les plus populaires d'Apache, Cloudera, Hortonworks et MapR, et améliore les fonctionnalités de chargement parallèle avec les versions les plus récentes de Vector pour Linux, Windows et Hadoop. Cinq nouveaux types de données sont également support par DataFlow afin de gérer une plus grande variété de formats de données. En voici la liste :

  • Ajout de la support d'Apache Hadoop 3.0.1+.
  • Ajout de la support de MapR 6.0.1.
  • Support vérifié pour MapR 5.2.2.
  • Mise à jour de la support Hortonworks HDP 2.6.
  • Mise à jour de la support Cloudera CDH 5.15.
  • Mise à jour du chargeur direct de vecteurs pour fonctionner avec les dernières versions de Vector & VectorH (5.0 & 5.1).
  • support 5 nouveaux types de base : Money, ip4, ip6, uuid et Intervals (périodes et durées).
  • support la dernière bibliothèque d'authentification AWS (1.11 précédemment 1.3).
  • Ajout de la support des chemins logiques dans Hadoop.

Résultats du flux de données :

Pour la préparation des données, l'intégration des données et les cas d'utilisation ETL, DataFlow peut accélérer le processus par des facteurs de 20X ou plus. Pour un client qui avait besoin de 17 heures pour préparer et nettoyer les données afin d'intégrer de nouveaux clients, DataFlow a réduit le temps à 43 minutes, soit près de 24 fois plus vite. Un autre client a utilisé DataFlow pour paralléliser et canaliser son processus de transfert de données afin de réduire ses délais de traitement des demandes de remboursement de plus de 30 heures à seulement 20 minutes, soit 90 fois plus vite. Dans un troisième exemple, DataFlow a démontré qu'il pouvait charger 500 000 enregistrements dans une base de données Oracle en sept secondes, alors que le temps d'exécution précédent était de plus de trois minutes. Contactez results@actian.com si vous souhaitez assister à une démonstration.

logo avatar actian

À propos d'Actian Corporation

Actian facilite l'accès aux données. Notre plateforme de données simplifie la façon dont les gens connectent, gèrent et analysent les données dans les environnements cloud, hybrides et sur site . Avec des décennies d'expérience dans la gestion des données et l'analyse, Actian fournit des solutions de de haute performance qui permettent aux entreprises de prendre des décisions basées sur les données. Actian est reconnu par les principaux analystes et a reçu des prix de l'industrie pour sa performance et son innovation. Nos équipes partagent des cas d'utilisation éprouvés lors de conférences (par exemple, Strata Data) et contribuent à des projets à code source ouvert. Sur le blog d'Actian, nous abordons des sujets tels que l'ingestion de données en temps réel, l'analyse de données, la gouvernance données, la gestion des données, la qualité des données, l'intelligence des données et l'analyse pilotée par l'IA.