Qu'est-ce que les données synthétiques ? Définition, génération, gouvernance, cas d'utilisation

Présentation — Qu'est-ce que les données synthétiques ?

Les données synthétiques sont des informations générées artificiellement afin de reproduire les propriétés statistiques, la structure et les relations des données réelles provenir d'individus ou d'événements concrets. Elles sont utilisées pour enrichir jeux de données limités, protéger la vie privée, tester des systèmes et entraîner des modèles entraîner lorsque les données réelles sont rares, sensibles ou coûteuses à collecter.

Principales différences : données synthétiques et données réelles

Représentativité

Les données réelles reflètent directement les événements observés et permettent de mettre en évidence des tendances rares et inattendues. Les données synthétiques sont conçues pour reproduire ces tendances, mais elles ne permettent pas toujours de rendre compte pleinement de toute la complexité du monde réel.

Confidentialité et risque de réidentification

Les données synthétiques peuvent réduire les risques liés à la vie privée, car elles ne contiennent pas d'enregistrements originaux. Cependant, elles peuvent tout de même entraîner des fuites d'informations si les méthodes de génération mémorisent ou reproduisent des enregistrements identifiables ; une évaluation des risques liés à la vie privée est donc nécessaire.

Disponibilité et prix

jeux de données synthétiques jeux de données être générés à la demande adaptés à la taille souhaitée, ce qui réduit le recours à des opérations de collecte et d'étiquetage de données coûteuses ou chronophages.

Comment sont générées les données synthétiques ?

Les approches de génération se répartissent en plusieurs catégories. Le choix de la méthode appropriée dépend du type de données (tableaux, images, texte, séries chronologiques), des exigences en matière de fidélité, des exigences de confidentialité et de l'utilisation en aval.

Méthodes statistiques et méthodes fondées sur des règles

• Utilisation : Données tabulaires, scénarios simples ou simulations spécifiques à un domaine.
• Comment : Effectuer un échantillonnage à partir de distributions de probabilité ajustées ou appliquer des règles et des contraintes de domaine (modèles basés sur des agents, simulateurs).
• Avantages : Interprétable, rapide, facile à valider ; adapté aux tests de scénarios.
• Inconvénients : Réaliste à part en ce qui concerne les dépendances complexes.

Approches traditionnelles d'apprentissage automatique pour les données tabulaires

• Techniques : SMOTE et ses variantes, copules, réseaux bayésiens.
• Utilisation : Équilibrage des classes, augmentation des échantillons de petite taille.
• Avantages : Simple à mettre en œuvre ; remédie au déséquilibre entre les classes.
• Inconvénients : Peut ne pas permettre de saisir les interactions à haute dimension.

modèles génératifs profonds apprentissage automatique moderne)

• Les GAN (réseaux antagonistes génératifs).
• Utilisation : Synthèse d'images de haute qualité, données tabulaires structurées pour lesquelles des distributions conjointes réalistes sont importantes.
• Avantages : Permet de générer des échantillons nets et réalistes.
• Inconvénients :apprentissage , effondrement des modes (modes manquants/cas rares).
• VAE (auto-encodeurs variationnels).
• Utilisation : Apprentissage de représentations latentes, anomalie , échantillonnage plus régulier.
• Avantages :apprentissage stable apprentissage espace latent continu pour l’interpolation.
• Inconvénients : Netteté des échantillons inférieure à celle des images générées par les GAN.
• Modèles de diffusion.
• Utilisation : Génération d'images et de sons haute fidélité, de plus en plus utilisée pour les sorties multimodales et haute résolution.
• Avantages : Une fidélité de pointe pour de nombreuses modalités ; une convergence robuste.
• Inconvénients :entraîner l'échantillonnage nécessitent une grande puissance de calcul.
• Modèles linguistiques de grande envergure et modèles de séquences.
• Utilisation : Texte synthétique, tours de dialogue, enrichissement basé sur des invites.
• Avantages : Polyvalent pour de nombreuses tâches de traitement du langage naturel (NLP), capable de produire des données textuelles structurées.
• Inconvénients : Peut avoir des hallucinations ou répéter des phrases privées s'il n'est pas surveillé.

Approches hybrides et fondées sur la transformation

• Utilisation : Créer jeux de données synthétiques jeux de données transformant/anonymisant des données réelles (tokenisation, permutation, perturbation) ou en mélangeant des échantillons réels et générés.
• Avantages : Conserve de nombreuses caractéristiques réalistes tout en réduisant l'identifiabilité directe.
• Inconvénients : Risque résiduel pour la confidentialité si les transformations sont réversibles ou faibles.

Choix d'une méthode de génération

• Pour obtenir une grande fidélité visuelle (images) : modèles de diffusion ou GAN.
• Besoin de distributions de joints tabulaires réalistes : variantes des GAN pour les distributions tabulaires (par exemple, CTGAN), copules ou réseaux bayésiens.
• Besoin de tests de scénarios spécifiques à un domaine (mobilité, logistique) : simulation par agents ou simulateurs basés sur la physique.
• Besoin de génération de texte/dialogues : modèles linguistiques affinés dotés de garde-fous.
• L'objectif principal est le partage préservant la confidentialité : transformations garantissant la confidentialité formelle (confidentialité différentielle) ou génération entièrement synthétique assortie de contrôles rigoureux en matière de confidentialité.

Avantages et risques : une vision équilibrée

Principaux avantages

• Une réduction des risques liés à la vie privée, lorsqu’elle est mise en œuvre correctement.
• Enrichissement apprentissage pour les modèles : équilibrage des classes, amélioration de la représentation des événements rares, tests de résistance des systèmes.
• Itération plus rapide : Générez des échantillons étiquetés pour le prototypage et le réglage des modèles.
• Réduction des coûts : Évitez les coûts élevés liés à données réelles ou à l'étiquetage données réelles .

Principaux risques et limites

• Lacunes en matière de fidélité : Les données synthétiques peuvent ne pas prendre en compte les événements rares, à longue traîne, ou les corrélations complexes.
• Propagation/amplification des biais : Les méthodes d'apprentissage par synthèse entraînées sur des données biaisées peuvent amplifier ces biais.
• Effondrement du modèle : Les modèles génératifs peuvent subir un surajustement par rapport à leurs propres sorties s'ils sont utilisés de manière récursive.
• Fuites d'informations confidentielles : La mémorisation ou les quasi-doublons peuvent permettre de réidentifier des personnes si ces risques ne sont pas testés et atténués.
• Ambiguïté réglementaire : Les données synthétiques ne sont pas automatiquement exemptées de réglementation ; leur statut juridique dépend de leur ré-identifiabilité.

Validation et mesure de la fidélité des données synthétiques

La validation est essentielle. Adoptez une approche par étapes : contrôles de fidélité statistique, tests de fuite de données personnelles et évaluation des performances en aval.

Mesures et tests de fidélité statistique

• Distances de distribution : divergence de Jensen-Shannon (catégorielle), test de Kolmogorov-Smirnov (continue), distance de Wasserstein.
• Indice de stabilité démographique (PSI) : Mesure l'écart entre les données réelles et les données synthétiques.
• Écart moyen maximal (MMD) : Test basé sur un noyau pour évaluer la similarité des distributions.
• Tests du chi carré ou tests G pour les distributions de caractéristiques catégorielles.

Contrôles structurels et relationnels

• Matrices de corrélation, information mutuelle et graphiques de dépendance par paires.
• Préservation des contraintes de domaine et de l'intégrité référentielle dans jeux de données relationnels.

Évaluation en aval

• entraîner sur des données synthétiques et les évaluer sur des ensembles de test réels mis de côté (ou l'inverse).
• Comparez les indicateurs de performance (précision, AUC, précision/rappel) à ceux de modèles entraînés sur des données réelles ou jeux de données mixtes.

Tests de confidentialité et de fuite

• Inférence d'appartenance et vérifications des voisins les plus proches pour détecter les enregistrements mémorisés.
• Analyse des risques de réidentification et scénarios d'attaques simulés.
• Techniques formelles de protection de la vie privée : intégration de mécanismes de confidentialité différentielle lors de la génération ; mesure de l'epsilon et communication des garanties de confidentialité.

gouvernance conformité en matière de données synthétiques

Les données synthétiques doivent être considérées comme un actif de données de l'entreprise, avec gouvernance similaires à celles des données réelles.

Documentation et métadonnées

• méthode enregistrement , traçabilité apprentissage , paramètres du modèle, paramètres de confidentialité et rapports de validation.
• jeux de données tag « jeux de données finalité, sensibilité et utilisations autorisées.

Politiques et contrôle d'accès

• Définir qui peut créer, valider et utiliser jeux de données synthétiques.
• Assurer la traçabilité depuis les données sources jusqu'aux résultats issus des transformations et des synthèses.

Aspects réglementaires

• RGPD : Les données synthétiques ne sont pas automatiquement considérées comme non personnelles. Si des enregistrements synthétiques peuvent être associés à des personnes réelles, les obligations en matière de protection des données s’appliquent. Conservez les traces des transformations effectuées et des analyses de risques.
• Règles sectorielles (par exemple, la loi HIPAA) : Les recommandations en matière de dépersonnalisation et l'avis d'experts restent pertinents ; les résultats synthétiques doivent être évalués au regard des normes applicables.
• Réglementation en matière d'IA : Les exigences en matière de documentation concernant apprentissage et le développement de modèles peuvent nécessiter la divulgation de l'utilisation de données synthétiques et de leur provenance.

observabilité pipelines de données synthétiques

La génération et l'utilisation de données synthétiques doivent faire l'objet d'un suivi, au même titre que tout flux de données de production.

observabilité clés observabilité

• Actualité et fréquence de mise à jour.
• Évolution des volumes et de la cardinalité.
• Évolution du schéma et des types.
• Dérive de distribution (au niveau des caractéristiques).
• Anomalies dans les étiquettes générées ou violations de contraintes.

Mesures de suivi

• Alertes automatiques en cas de modification du schéma ou de changement significatif dans la répartition.
• Gérer les versions jeux de données synthétiques jeux de données des modèles ; assurer la traçabilité.
• Tests « canary » automatisés : simulations à petite échelle en aval visant à détecter les régressions fonctionnelles.

Retour sur investissement (ROI) — Comment les entreprises mesurent la valeur

Mesurer la valeur des données synthétiques à l'aide d'indicateurs clés de performance concrets :

• Délai de modélisation : Mesurez la réduction des cycles de développement grâce à l'utilisation de données synthétiques pour le prototypage et l'étiquetage.
• Coût par échantillon exploitable : Comparez les coûts de génération et de validation des données synthétiques à ceux liés à la collecte de données et à l'étiquetage manuel.
• Économies réalisées sur l'étiquetage : Pourcentage de données étiquetées remplacées par des échantillons synthétiques étiquetés.
• Amélioration ou équivalence des performances du modèle : Différence entre les métriques des modèles en aval lorsqu’ils sont entraînés sur jeux de données synthétiques ou mixtes.
• Réduction des risques : Moins de dépendances vis-à-vis des données sensibles, des validations de conformité plus rapides.

Approche pratique : commencez par des indicateurs pilotes (délai de réalisation du premier prototype, économies réalisées sur les coûts d'étiquetage), puis étendez le suivi aux indicateurs clés de performance (KPI) relatifs aux performances du modèle et à la conformité.

Quand les données synthétiques ne peuvent pas remplacer les données réelles

• Dossiers réglementaires ou audits nécessitant des documents originaux ou des données issues de la pratique validées par des experts.
• Essais critiques pour la sécurité dans lesquels des cas limites réels doivent être pris en compte (par exemple, certaines validations de véhicules autonomes).
• Situations impliquant des événements rares et inconnus, dans lesquelles les hypothèses de simulation peuvent passer à côté de modes de défaillance critiques.

Dans ces cas-là, il est préférable d'utiliser les données synthétiques pour compléter les données réelles plutôt que pour les remplacer.

Exemples sectoriels et utilisations courantes

• Santé : Dossiers médicaux synthétiques destinés à l'analyse, à l'optimisation des algorithmes et à la recherche collaborative, dans le respect de la confidentialité.
• Finance : Simulation de transactions pour apprentissage des modèles de détection des fraudes apprentissage les tests de résistance sans divulguer les données personnelles identifiables des clients.
• Systèmes autonomes et logistique : Itinéraires simulés et données de capteurs pour les tests de scénarios.
• Commerce de détail et marketing : Simulation du comportement des clients pour tester des modèles de personnalisation tout en protégeant les données à caractère personnel.
• TOL et systèmes de connaissances : Paires de dialogues et de questions-réponses synthétiques pour affiner les modèles linguistiques et réduire les besoins en étiquetage.

Liste de contrôle pour l'adoption — Bonnes pratiques

• Définissez le cas d'usage le niveau de fidélité requis.
• Choisissez une méthode de production adaptée à la modalité et au profil de risque.
• Appliquer des techniques formelles de protection de la vie privée (par exemple, la confidentialité différentielle) lorsque cela s'avère nécessaire.
• Effectuer des tests de validation statistique, structurelle et relative à la confidentialité, et consigner les résultats.
• Répertorier jeux de données métadonnées, leur traçabilité et leurs utilisations autorisées.
• Surveiller les pipelines afin de détecter les dérives et les régressions pouvant être automatisées.
• Commencez modestement par des projets pilotes et mesurez des indicateurs clés de performance (KPI) clairs avant de passer à une plus grande échelle.

Conclusion

Les données synthétiques constituent un outil pratique pour protéger la vie privée, élargirjeux de données apprentissage et accélérer le développement — à condition d'être associées à une validation rigoureuse, à gouvernance et à observabilitéet des indicateurs métier clairs. Considérez jeux de données synthétiques jeux de données des actifs régis par des règles tout au long du cycle de vie des données afin qu’ils puissent être utilisés en toute confiance.

À propos de l'auteur

À propos de Actian Corporation

Actian permet aux entreprises de gérer et de gouverner leurs données en toute confiance, quelle que soit leur ampleur. Les organisations font confiance aux solutions gestion des données d'intelligence des données d'Actian pour rationaliser leurs environnements de données complexes et accélérer la mise à disposition de données prêtes pour l'IA. Conçues pour être flexibles, les solutions Actian s'intègrent de manière transparente et fonctionnent de manière fiable dans les environnements sur site, dans le cloud et hybrides. Pour en savoir plus sur Actian, la division données et IA de HCL Software, rendez-vous sur actian.com.