Blog | Intégration des données | 22 août 2019 | 4 min de lecture

Si l'ETL est l'enfer de l'intégration, comment l'éviter et aller au paradis ?

Par Actian Corporation

#Données #Entrepôt de données #ETL #Intégration
ETL

Par Actian Corporation

#Données #Entrepôt de données #ETL #Intégration
Dans cet article :

L'ETL (Extract, Transform, Load ) est le processus utilisé depuis des décennies pour partager des données entre les applications, les systèmes transactionnels et les entrepôts de données. Son fonctionnement est essentiellement le suivant : vous définissez une intégration, vous extrayez les données du système source, vous appliquez des règles de mappage et d'agrégation pour transformer les données au format requis par le système cible, puis vous chargez (enregistrez) les données dans la base de données du système cible.

L'enfer de l'ETL

Bien que ce processus semble simple et intuitif, il présente quelques problèmes qui amènent de nombreuses entreprises à s'interroger sur la viabilité de cette pratique. Pour les architectes de solutions et de données, l'ETL peut rapidement se transformer en véritable cauchemar en matière d'intégration.

  1. Il est nécessaire de définir au préalable quelles données doivent être transférées entre les systèmes et quelles transformations doivent être effectuées.
  2. Transférer plus de données que nécessaire.
  3. La complexité liée au suivi des données à travers plusieurs systèmes.
  4. L'effort et le coût liés à la mise à jour des processus ETL à mesure que les systèmes source et cible évoluent.
  5. Les failles de sécurité mises en évidence au cours du processus ETL lui-même.

L'ETL fonctionne très bien dans les situations où l'on définit un système ou un ensemble d'intégrations appelés à rester stables pendant longtemps. Ce n'est toutefois pas le cas dans la plupart des écosystèmes informatiques d'entreprise modernes. La recherche d'agilité opérationnelle a entraîné une évolution rapide des applications et des processus métier, ce qui a accru le coût de l'intégration entre les applications. Les solutions ETL ont du mal à support cette évolution constante de l'intégration des données applicatives.

Réduisez considérablement votre charge de travail liée à l'ETL

La bonne nouvelle pour le secteur informatique, c'est qu'il existe désormais des moyens de réduire votre recours à l'ETL et d'aider vos collaborateurs à sortir de l'enfer de l'ETL. Pour y parvenir, vous pouvez vous appuyer sur trois principes clés :

  1. Si vous pouvez utiliser les données directement depuis le système source, ne les copiez pas. La plupart des intégrations de systèmes et des configurations ETL mises en place au cours des dernières décennies ont été développées pour pallier les limites de capacité de calcul et de performance des applications individuelles. Les données transactionnelles étaient transférées des systèmes sources vers des entrepôts de données à des fins de reporting, afin d'éviter que les processus d'analyse ne ralentissent les flux de travail transactionnels. Le calcul étant désormais à la fois rapide et peu coûteux, vos systèmes transactionnels sont souvent capables de traiter simultanément les analyses et les nouvelles transactions sans impact mesurable sur les performances.
  2. Ne transférez que les données dont vous avez besoin, au moment où vous en avez besoin. Passez d'un modèle où les données sont poussées en aval à un modèle où elles sont extraites au moment de leur utilisation. Cela permet non seulement de réduire la quantité de données copiées entre les systèmes, mais aussi de garantir que les données utilisées par vos utilisateurs et vos processus métier sont aussi à jour que possible. Lorsque vous transférez des données via un système, vous devez relever le défi de maintenir les données cibles à jour par rapport aux modifications apportées au système source. En récupérant les données lorsque vous en avez besoin, toutes les modifications ont déjà été appliquées.
  3. Anticipez le changement. Alors que l'ETL a été conçu pour garantir la stabilité, les environnements informatiques modernes sont conçus pour favoriser l'agilité. Cela signifie que vous devez passer d'intégrations fixes et prédéfinies et de définitions ETL à une solution qui centralise la gestion de vos connexions et met les données à disposition dans toute l'entreprise. Il peut s'agir d'un entrepôt de données opérationnel ou simplement d'un bus de données d'entreprise. Ce que vous recherchez, c'est la flexibilité et la capacité de reconfigurer vos flux de données dès que les besoins de l'entreprise ou les systèmes évoluent.

Pour sortir de l’enfer de l’ETL et trouver une solution qui s’apparente davantage à un paradis des données, il faut commencer par adopter une approche plus agile quant à la manière dont les données circulent au sein de votre organisation. Ne partez pas du principe que vous saurez à l’avance ce dont votre entreprise aura besoin, ni que les systèmes dont vous disposez aujourd’hui seront ceux qui composeront votre environnement informatique de demain. Recherchez plateformes modernes gestion des données, plateformes qu'Actian, qui vous permettront de gérer vos connexions de manière cohérente, d'agréger vos données pour une utilisation à l'échelle de l'entreprise et de disposer des outils d'analyse nécessaires pour obtenir les informations dont vous avez besoin aujourd'hui et un nouvel ensemble d'informations demain.