Qu'est-ce que l'orchestration et pourquoi est-elle importante ?
En informatique, le terme "orchestration" désigne l'allocation et la coordination de ressources et de données en vue d'atteindre un objectif, tel que le déplacement et la transformation de données brutes en une forme analysable. Cette forme d'orchestration est connue sous le nom de pipeline de données.
Dans le domaine des opérations informatiques et de l'informatique dans le cloud, l'orchestration peut être utilisée pour décrire la configuration de l'infrastructure destinée à support tests et l'exécution des applications.
Pourquoi l'orchestration est-elle importante ?
L'orchestration désigne l'automatisation et l'enchaînement d'une série d'opérations pour mener à bien une activité et gagner en efficacité opérationnelle. L'exécution manuelle de ces tâches est plus sujette aux erreurs. Les premiers systèmes informatiques reposaient sur des opérateurs pour approvisionner le matériel, charger les données et lancer les logiciels pour support applications. Cela pouvait prendre des heures. Aujourd'hui, les machines virtuelles, la conteneurisation et la technologie d'intégration des données permettent de créer des applications et des plateformes donnéesà la demande et de manière fiable. Les pipelines de données peuvent automatiquement extraire, transformer et charger (ETL) les données dans un dépôt données de destination au fur et à mesure qu'elles sont créées pour fournir des analyses des données en temps réel.
Exemple d'étapes d'orchestration pour un pipeline de données
Les pipelines de données offrent une visibilité et un contrôle de bout en bout sur le flux de données. Voici quelques-unes des étapes typiques d'un pipeline de données :
Connexion des données
Les données opérationnelles brutes sont collectées à partir de sources de données multiples, telles que les systèmes transactionnels, les fichiers de données de journal et les systèmes de vente et de marketing. La technologie d'intégration des données fournit des interfaces de programmation d'applications (API) et des pilotes logiciels qui se connectent à diverses sources de données.
Profilage des données
Le profilage des ensembles de données fournit des statistiques sur les données, y compris les volumes de données, la cardinalité, les types de données, les moyennes, les totaux et les valeurs de variance.
Extraction des données
Les fichiers structurés et semi-structurés peuvent être enregistrement ou des documents. Les données peuvent être extraites dans les formats JSON ou XML pour un accès en aval basé sur une API.
Préparation des données
Cette étape permet de trier les données, de filtrer les données non pertinentes et de combler les lacunes. Les formats des champs peuvent être uniformisés pour un traitement plus efficace des requête .
Fusionner des ensembles de données
L'orchestration devient plus intéressante lorsque plusieurs flux de données doivent être fusionnés, en particulier si la fusion des données est conditionnelle et dictée par le moteur d'une règle.
Chargement
L'étape finale d'un processus de pipeline de données est le chargement des données. Il peut s'agir d'une opération aussi simple que la création et l'alimentation d'une seule table d'entrepôt de données ou aussi compliquée que la création d'un objet partitionné qui doit support accès parallèle en raison de sa taille excessive.
Opérations informatiques
Les solutions d'orchestration permettent de tester et de déployer des applications sur une infrastructure définie par logiciel. Cela est particulièrement utile pour soutenir les fonctions de développement, d'assurance qualité, de test et de DevOps. Les applications basées sur des composants dépendent des outils d'orchestration pour provisionner rapidement les fonctions d'application conteneurisées basées sur le cloud qui doivent support charges d'utilisateur dynamiques.
Orchestration parallèle
Il est souvent nécessaire d'accélérer les opérations critiques en divisant une tâche en plusieurs sous-tâches parallèles exécutées simultanément pour traiter un sous-ensemble de données qui sont ensuite combinées. Les systèmes en grappe et les serveurs multi-cœur fournissent le matériel nécessaire aux opérations parallèles. Ces systèmes ont besoin d'un logiciel tel qu'Apache Hadoop pour assurer le partitionnement des données et la coordination des sous-tâches nécessaires à un traitement parallèle efficace. L'utilisation d'hyperscalers dans le nuage est également une méthode efficace pour l'orchestration parallèle, car elle offre l'élasticité nécessaire à la mise à l'échelle.
Avantages des logiciels d'orchestration
Ce sont là quelques-uns des avantages de l'utilisation d'un logiciel d'orchestration :
- Fournit une répétabilité fiable pour les tâches d'automatisation des processus.
- Il permet de réutiliser les fonctions opérationnelles dans les flux de travail, ce qui accélère le développement de nouveaux flux et réduit les coûts de développement.
- L'automatisation permet de gagner en efficacité et de réduire les risques liés aux opérations manuelles.
- la cohérence permet d'obtenir la fiabilité.
- Les coûts de gestion peuvent être réduits car les opérateurs peuvent se concentrer sur les exceptions plutôt que sur les tâches d'orchestration opérationnelle.
Orchestration dans la plateforme de données Actian
La plateforme de données Actian facilite l'automatisation des pipelines de données afin de stocker et d'analyser les données sur les plateformes sur site et dans le nuage. En associant une technologie d'entrepôt de données de premier plan à une solution d'intégration de données complète, les données opérationnelles peuvent contribuer à la compréhension de l'activité dès leur création.
Vector est une base de données analytique en colonnes qui accélère les requêtes à l'aide d'une requête parallèle au niveau de la puce et d'une technologie de cache sur n'importe quel serveur. La plateforme de données Actian possède son gestionnaire de requête et ses capacités de visualisation et se connecte à des solutions informatique décisionnelle (BI) sophistiquées qui fournissent une analytique avancée et des tableaux de bord.
