Blog | Data Strategy & Insights | November 26, 2018 | 2 min read

Quelles sont les nouveautés de la version 6.6.1 d'Actian DataFlow ?

Par Actian Corporation

#Analytique #Mégadonnées #Flux de données #ETL #Analyses Hadoop
Logo Actian

Par Actian Corporation

#Analytique #Mégadonnées #Flux de données #ETL #Analyses Hadoop
Dans cet article :

Actian DataFlow est une workflow parallèles permettant l'accès, la transformation, la préparation et l'analyse prédictive des données de bout en bout, qui élimine goulots d’étranglement au niveau des performances goulots d’étranglement vos applications gourmandes en données. Complémentaire du moteur analytique Actian, DataFlow exploite simultanéité, le parallélisme et le pipelining pour accélérer le transfert des données entre les différents nœuds de votre architecture, ce qui permet d'obtenir des résultats plus rapides. DataFlow élimine les contraintes de mémoire, ainsi que la nécessité de transférer les données vers des magasins de données spécifiques avant l'exécution des analyses. DataFlow évalue les ressources disponibles avant de diviser l'exécution en segments plus petits pouvant être exécutés en parallèle afin de tirer pleinement parti de la scalabilité horizontale et verticale.

DataFlow combine l'environnement visuel de workflow par glisser-déposer KNIME (plateforme open source d'exploration de données ) avec la plateforme Actian DataFlow sous-jacente afin d'offrir un meilleur contrôle sur l'ensemble du processus de lecture des données, d'exécution des fonctions de transformation et d'analyse et d'écriture des résultats.

Quelles sont les nouveautés de la version 6.6.1 ?

Cette mise à jour de DataFlow certifie les nouvelles versions des distributions Hadoop les plus populaires d'Apache, Cloudera, Hortonworks et MapR, et améliore les fonctionnalités de chargement parallèle avec les versions les plus récentes de Vector pour Linux, Windows et Hadoop. Cinq nouveaux types de données sont également support par DataFlow afin de gérer une plus grande variété de formats de données. En voici la liste :

  • Ajout de la support d'Apache Hadoop 3.0.1+.
  • Ajout de la support de MapR 6.0.1.
  • Support vérifié pour MapR 5.2.2.
  • Mise à jour de la support Hortonworks HDP 2.6.
  • Mise à jour de la support Cloudera CDH 5.15.
  • Mise à jour du chargeur direct de fichiers Vector pour qu'il soit compatible avec les dernières versions de Vector et VectorH (5.0 et 5.1).*
  • support 5 nouveaux types de base : Money, ip4, ip6, uuid et Intervals (périodes et durées).
  • support la dernière bibliothèque d'authentification AWS (1.11 précédemment 1.3).
  • Ajout de la support des chemins logiques dans Hadoop.

*Actian Vector a été rebaptisé Actian Analytics Engine en 2026.

Résultats du flux de données :

For data preparation, data onboarding, and ETL use cases, DataFlow can accelerate the process by factors of 20X or more. For one customer who previously required 17 hours to prepare and cleanse data to onboard new customers, DataFlow reduced the time to 43 minutes, almost 24 times faster. Another customer used DataFlow to parallelize and pipeline their data transfer process to reduce their claims processing times from more than 30 hours to just 20 minutes, which is 90 times faster. In a third example DataFlow demonstrated that it could load 500,000 records into an Oracle database in seven seconds, versus a previous runtime of more than 3 minutes. Contact [email protected] if you are interested in seeing a demonstration.