La capture des données de changement (CDC) est un processus qui permet de suivre toutes les modifications apportées aux données d'une base de données. Il capture essentiellement les "deltas", tels que les insertions, les mises à jour et les suppressions, afin que vous puissiez prendre des mesures en fonction de ces changements spécifiques.
Pourquoi la saisie des données de changement est-elle importante ?
La capture des données de changement (CDC) joue un rôle crucial dans la reprise après sinistre (DR) en permettant aux organisations de récupérer efficacement les données perdues ou les pannes de système sur le système principal. Voici comment :
Réduction du temps de récupération
CDC ne capture que les modifications apportées aux données après une synchronisation complète initiale, ce qui réduit considérablement la quantité de données à restaurer en cas de sinistre. Cela se traduit par des temps de récupération beaucoup plus rapides que les sauvegardes complètes traditionnelles.
Synchronisation continue
CDC suit et réplique en permanence les modifications du système primaire vers un système secondaire. Cela permet de s'assurer que le système secondaire dispose toujours des données les plus récentes, minimisant ainsi la perte de données en cas de panne.
évolutivité et efficacité
CDC réduit la charge de travail sur le système primaire en se concentrant uniquement sur les changements, au lieu de transférer de grandes quantités de données pendant les sauvegardes. Cela le rend plus évolutif et plus efficace, en particulier pour les grands ensembles de données.
Modifier l'architecture de saisie des données
Il existe plusieurs types d'architecture CDC. Le besoin de CDC est né de la demande de flux de données en temps quasi réel à partir de bases de données transactionnelles opérationnelles. Ces bases de données sont conçues pour maximiser le débit des transactions, de sorte qu'une approche non invasive est nécessaire pour obtenir des changements de données vers une base de données de reporting ou d'analyse avec une dégradation minimale des performances.
CDC basé sur un journal
Capture les modifications à partir des journaux de transactions de la base de données source. Il s'agit d'un moyen très efficace de capturer les modifications, mais il peut être complexe à mettre en œuvre et à maintenir.
CDC basé sur des déclencheurs
Implémente des déclencheurs sur la base de données source pour capturer les changements. Il s'agit d'un moyen plus simple d'implémenter le CDC que le CDC basé sur les journaux, mais il peut être moins efficace et avoir un impact sur les performances de la base de données source.
CDC basé sur l'horodatage
Utilise les horodatages des données sources pour suivre les modifications. Il s'agit d'un moyen simple et efficace de saisir les modifications, mais il peut être moins fiable que d'autres méthodes, car il est possible que les horodatages ne soient pas synchronisés.
requête CDC
Utilise des requêtes vers la base de données source pour capturer les modifications. Il s'agit d'une méthode souple pour capturer les modifications, mais elle peut s'avérer moins efficace que d'autres méthodes.
Cas d'utilisation de la capture des données de changement
La capture des données de changement (Change Data Capture - CDC) présente un large éventail de cas d'utilisation, chacun offrant des avantages uniques dans le cadre de différents scénarios de gestion des données . Voici quelques-unes des applications les plus courantes :
Réplication et synchronisation des données
Mises à jour de l'entrepôt de données
Envoyez en continu les modifications de vos bases de données transactionnelles vers les entrepôts de données pour une analyse en temps quasi réel. Cela permet de réduire le traitement par lots et d'améliorer la fraîcheur des données pour l'analyse et le reporting.
Migration des bases de données
Migrer efficacement les données entre les bases de données en capturant les changements dans la source et en les répliquant dans la cible.
Migration dans le nuage
Transférer les données du sur site vers le nuage de manière transparente en capturant les changements et en les répliquant vers des bases de données en nuage ou des lacs de données.
Applications et analyses en temps réel :
axé sur des événements Architectures
Power axé sur des événements architectures en capturant les changements de données et en déclenchant des actions en aval en temps réel. Les applications peuvent ainsi réagir instantanément aux événements et aux mises à jour.
Analyse de la Streaming
Alimenter en continu les plateformes analyse de streaming pour les informations en temps réel et la détection d'anomalie .
Tableaux de bord et rapports en temps réel
Mettez à jour les tableaux de bord et les rapports avec les données les plus récentes automatiquement au fur et à mesure que des changements se produisent, offrant ainsi des informations en temps réel proches informations en temps réel.
Avantages de la saisie des données de changement
Le Change Data Capture (CDC) offre un large éventail d'avantages aux entreprises qui souhaitent améliorer la gestion des données et l'analyse. Voici quelques avantages clés :
- Plus de fenêtres de traitement par lots : CDC saisit les changements au fur et à mesure qu'ils se produisent, éliminant ainsi le besoin d'un traitement par lots volumineux et fastidieux. Cela signifie des mises à jour de données plus rapides et des informations en temps réel plus proches informations en temps réel.
- Amélioration de la fraîcheur des données : Grâce au flux continu de données, vous pouvez accéder aux informations les plus récentes et les analyser sans délai, ce qui vous permet de prise de décision plus précises et plus opportunes.
- Migrations de bases de données plus rapides : CDC peut faciliter des migrations avec un temps d'arrêt proche de zéro, minimisant ainsi les interruptions d'activité pendant les transitions.
Comment choisir une architecture de CDC
Le type d'architecture CDC qui vous convient le mieux dépend de vos besoins et exigences spécifiques. Voici quelques facteurs à prendre en compte lors du choix d'une architecture CDC :
- Le volume des modifications de données: Si le volume de données modifiées est important, vous aurez besoin d'une architecture CDC capable de gérer la charge. Le CDC basé sur les journaux est généralement le meilleur choix pour les changements de données en grande quantité.
- Les exigences en matière de latence: Si vous devez capturer des changements en temps quasi réel, vous aurez besoin d'une architecture CDC à faible latence. Le CDC basé sur le déclenchement est généralement le meilleur choix pour les exigences de faible latence .
- La complexité de la mise en œuvre: Si vos ressources sont limitées, vous pouvez opter pour une architecture CDC plus simple, telle que le CDC basé sur l'horodatage.
- Le coût: Certaines architectures CDC sont plus coûteuses à mettre en œuvre et à entretenir que d'autres.
La plateforme de données Actian
La plateforme de données Actian offre une expérience unifiée pour l'acquisition, la transformation, l'analyse et le stockage des données.
La plateforme de données Actian comprend une technologie d'intégration de données qui offre de multiples façons de connecter et de transférer des données dans des approches point à point, basées sur un hub et basées sur un bus. DataConnect dispose de connecteurs prédéfinis pour support connectivité avec des centaines de sources de données, y compris des applications d'entreprise basées sur le cloud telles que ServiceNow, NetSuite et Salesforce.