Was sind synthetische Daten: Definition, Generierung, Governance, Anwendungsfälle

Übersicht – Was sind synthetische Daten?

Synthetische Daten sind künstlich generierte Informationen, die so erstellt werden, dass sie die statistischen Eigenschaften, die Struktur und die Zusammenhänge reale Daten nachbilden, reale Daten sie von tatsächlichen Personen oder Ereignissen erfasst wurden. Sie werden verwendet, um knappe Datensätze zu ergänzen, die Privatsphäre zu schützen, Systeme zu testen und trainieren , wenn echte Daten begrenzt, sensibel oder in der Erfassung kostspielig sind.

Wesentliche Unterschiede: Synthetische Daten vs. reale Daten

Repräsentativität

Echte Daten spiegeln beobachtete Ereignisse direkt wider und können seltene, unerwartete Muster erfassen. Synthetische Daten sind darauf ausgelegt, diese Muster nachzubilden, erfassen jedoch möglicherweise nicht die gesamte Komplexität der realen Welt.

Datenschutz und Risiko der Re-Identifizierung

Synthetische Daten können Datenschutzrisiken verringern, da sie keine Originaldatensätze enthalten. Allerdings können synthetische Daten dennoch Informationen preisgeben, wenn die Generierungsmethoden identifizierbare Datensätze speichern oder reproduzieren – daher ist eine Datenschutzrisikobewertung erforderlich.

Verfügbarkeit und Kosten

Synthetische Datensätze können On Demand generiert On Demand an die gewünschte Größe angepasst werden, wodurch sich der Aufwand für kostspielige oder zeitaufwändige Datenerhebungen und -kennzeichnungen verringert.

Wie synthetische Daten generiert werden

Es gibt verschiedene Ansätze zur Datengenerierung. Die Wahl der geeigneten Methode hängt von der Datenart (Tabellen, Bilder, Text, Zeitreihen), den Anforderungen an die Genauigkeit, den Datenschutzanforderungen und der weiteren Verwendung ab.

Statistische und regelbasierte Methoden

• Verwendung: Tabellarische Daten, einfache Szenarien oder domänenorientierte Simulationen.
• Wie: Stichproben aus angepassten Wahrscheinlichkeitsverteilungen ziehen oder Bereichsregeln und Einschränkungen anwenden (agentengestützte Modelle, Simulatoren).
• Vorteile: Verständlich, schnell, leicht zu validieren; gut geeignet für Szenariotests.
• Nachteile: Eingeschränkte Realitätsnähe bei komplexen Abhängigkeiten.

Traditionelle ML-Ansätze für tabellarische Daten

• Methoden: SMOTE und Varianten, Copulas, Bayes’sche Netzwerke.
• Verwendung: Klassenausgleich, Erweiterung kleiner Stichproben.
• Vorteile: Einfach zu implementieren; behebt das Klassenungleichgewicht.
• Nachteile: Erfasst möglicherweise keine hochdimensionalen Wechselwirkungen.

Deep generative models modernes maschinelles Lernen)

• GANs (Generative Adversarial Networks).
• Verwendung: Hochwertige Bildsynthese, strukturierte tabellarische Daten, bei denen realistische gemeinsame Verteilungen von Bedeutung sind.
• Vorteile: Kann scharfe, realistische Samples erzeugen.
• Nachteile: Instabilität beim Training, Modus-Kollaps (Modusausfälle/seltene Fälle).
• VAEs (Variational Autoencoder).
• Verwendung: Lernen latenter Darstellungen, Anomalie , glattere Abtastung.
• Vorteile: Stabiles Training kontinuierlicher latenter Raum für die Interpolation.
• Nachteile: Geringere Bildschärfe im Vergleich zu GANs.
• Diffusionsmodelle.
• Verwendung: Erzeugung hochauflösender Bilder und Audiodaten, die zunehmend für multimodale und hochauflösende Ergebnisse genutzt wird.
• Vorteile: Modernste Genauigkeit für viele Bildgebungsverfahren; robuste Konvergenz.
• Nachteile: Rechenintensiv beim trainieren bei der Stichprobenentnahme.
• Große Sprachmodelle und Sequenzmodelle.
• Verwendung: Synthetischer Text, Dialogwechsel, promptbasierte Ergänzung.
• Vorteile: Flexibel für viele NLP einsetzbar, kann strukturierte Textdaten erzeugen.
• Nachteile: Kann Halluzinationen hervorrufen oder private Sätze wiedergeben, wenn es nicht kontrolliert wird.

Hybride und transformationsbasierte Ansätze

• Verwendung: Erstellen Sie synthetische Datensätze, indem Sie reale Daten transformieren bzw. anonymisieren (Tokenisierung, Vertauschung, Perturbation) oder indem Sie reale und generierte Stichproben mischen.
• Vorteile: Behält viele realistische Merkmale bei und verringert gleichzeitig die direkte Identifizierbarkeit.
• Nachteile: Verbleibendes Datenschutzrisiko, wenn die Transformationen umkehrbar oder schwach sind.

Auswahl einer Generierungsmethode

• Für eine hohe visuelle Wiedergabetreue (Bilder) sind Diffusionsmodelle oder GANs erforderlich.
• Es werden realistische tabellarische Verteilungsmodelle benötigt: GAN für tabellarische Verteilungen (z. B. CTGAN), Copulas oder Bayes’sche Netzwerke.
• Es werden Tests für Anwendungsszenarien (Mobilität, Logistik) benötigt: agentenbasierte Simulationen oder physikbasierte Simulatoren.
• Erstellung von Texten/Dialogen erforderlich: Feinabgestimmte Sprachmodelle mit Sicherheitsvorkehrungen.
• Das vorrangige Ziel ist der datenschutzkonforme Datenaustausch: Transformationen mit formaler Datenschutzgarantie (Differential Privacy) oder vollständig synthetische Datengenerierung mit strengen Datenschutzprüfungen.

Vorteile vs. Risiken – Eine ausgewogene Sichtweise

Wichtigste Vorteile

• Bei korrekter Umsetzung lässt sich das Datenschutzrisiko verringern.
• Erweiterte Training für Modelle: Klassenausgleich, Verbesserung der Darstellung seltener Ereignisse, Stresstests für Systeme.
• Schnellere Iteration: Erstellen Sie beschriftete Beispiele für die Prototypenentwicklung und die Modelloptimierung.
• Kosteneinsparungen: Vermeiden Sie reale Daten kostspielige reale Daten oder Kennzeichnung von reale Daten .

Wesentliche Risiken und Einschränkungen

• Genauigkeitslücken: Synthetische Daten können seltene Long-Tail-Ereignisse oder komplexe Korrelationen außer Acht lassen.
• Verbreitung/Verstärkung von Verzerrungen: Synthetische Methoden, die auf verzerrten Daten trainiert wurden, können diese Verzerrungen verstärken.
• Modellkollaps: Generative Modelle können bei rekursiver Verwendung zu stark an ihre eigenen Ausgaben angepasst werden.
• Datenschutzlücken: Durch Speicherung oder nahezu identische Datensätze können Personen wieder identifiziert werden, sofern dies nicht geprüft und entsprechend abgewendet wird.
• Regulatorische Unklarheit: Synthetische Daten sind nicht automatisch von der Regulierung ausgenommen; ihr rechtlicher Status hängt von der Rückverfolgbarkeit ab.

Validierung und Messung der Genauigkeit synthetischer Daten

Die Validierung ist unerlässlich. Verwenden Sie einen mehrstufigen Ansatz: statistische Plausibilitätsprüfungen, Tests auf Datenschutzverletzungen und eine nachgelagerte Leistungsbewertung.

Statistische Genauigkeitskennzahlen und Tests

• Verteilungsabstände: Jensen-Shannon-Divergenz (kategorisch), Kolmogorov-Smirnov-Test (kontinuierlich), Wasserstein-Abstand.
• Bevölkerungsstabilitätsindex (PSI): Maß für die Abweichung zwischen realen und synthetischen Werten.
• Maximale mittlere Diskrepanz (MMD): Kernel-basierter Test zur Überprüfung der Ähnlichkeit von Verteilungen.
• Chi-Quadrat- oder G-Tests für die Verteilungen kategorialer Merkmale.

Strukturelle und relationale Prüfungen

• Korrelationsmatrizen, gegenseitige Information und Diagramme zur paarweisen Abhängigkeit.
• Wahrung von Domänenbeschränkungen und referenzieller Integrität in relationalen Datensätzen.

Nachgelagerte Bewertung

• trainieren anhand synthetischer Daten trainieren und anhand von zurückbehaltenen realen Testdatensätzen bewerten (oder umgekehrt).
• Vergleichen Sie die Leistungskennzahlen (Genauigkeit, AUC, Präzision/Recall) mit Modellen, die auf realen Daten oder gemischten Datensätzen trainiert wurden.

Prüfung der Dichtheit und auf Leckagen

• Mitgliedschaftsableitung und Überprüfung der nächsten Nachbarn zur Erkennung gespeicherter Datensätze.
• Risikoanalyse zur Re-Identifizierung und simulierte Angriffsszenarien.
• Formale Datenschutzverfahren: Einbindung von Mechanismen der differentiellen Privatsphäre bei der Datengenerierung; Messung von Epsilon und Angabe von Datenschutzgarantien.

Data Governance synthetischer Data Governance Einhaltung gesetzlicher Vorschriften

Synthetische Daten sollten als Unternehmensdatenbestand behandelt werden, für den ähnliche Governance -Maßnahmen gelten wie für reale Daten.

Dokumentation und Metadaten

• Verfahren Aufzeichnung , Herkunft Training , Modellparameter, Datenschutzeinstellungen und Validierungsberichte.
• Versehen Sie Datensätze mit Tags zu Zweck, Sensibilität und zulässigen Verwendungszwecken.

Richtlinien und Zugriffskontrolle

• Legen Sie fest, wer synthetische Datensätze erstellen, genehmigen und nutzen darf.
• Die Herkunftsnachverfolgung von den Quelldaten über die Transformation bis hin zu den synthetischen Ergebnissen sicherstellen.

Regulatorische Aspekte

• DSGVO: Synthetische Daten sind nicht automatisch nicht personenbezogen. Wenn synthetische Datensätze mit realen Personen in Verbindung gebracht werden können, gelten die datenschutzrechtlichen Verpflichtungen. Führen Sie Aufzeichnungen über die Umwandlungen und Risikobewertungen.
• Branchenvorschriften (z. B. HIPAA): Leitlinien zur Anonymisierung und Expertengutachten behalten ihre Gültigkeit; synthetische Ergebnisse müssen anhand der geltenden Standards bewertet werden.
• Vorschriften zur künstlichen Intelligenz: Die Dokumentationsanforderungen für Training und die Modellentwicklung können die Offenlegung der Verwendung synthetischer Daten und deren Herkunft erfordern.

Beobachtbarkeit Pipelines mit synthetischen Daten

Die Erzeugung und Nutzung synthetischer Daten sollte wie jeder andere Produktionsdatenfluss überwacht werden.

Wichtige Beobachtbarkeit

• Aktualität und Häufigkeit der Generierung.
• Entwicklungen bei Volumen und Kardinalität.
• Schema- und Typdrift.
• Verteilungsdrift (auf Merkmalsebene).
• Anomalien bei den generierten Bezeichnungen oder Verstöße gegen Einschränkungen.

Überwachungsmaßnahmen

• Automatische Benachrichtigungen bei Schemaänderungen oder erheblichen Verschiebungen in der Verteilung.
• Versionierung synthetischer Datensätze und Modelle; Protokolle führen.
• Automatisierte Canary-Tests: Modellläufe in kleinem Maßstab im nachgelagerten Bereich zur Erkennung von Funktionsrückschritten.

Geschäftlicher ROI – Wie Unternehmen den Wert messen

Den Wert synthetischer Daten anhand konkreter KPIs quantifizieren:

• Zeit bis zur Modellierung: Messen Sie die Verkürzung der Entwicklungszyklen durch die Verwendung synthetischer Daten für das Prototyping und die Datenbeschriftung.
• Kosten pro verwertbarer Probe: Vergleichen Sie die Kosten für die synthetische Generierung und Validierung mit den Kosten für die Datenerhebung und manuelle Annotation.
• Einsparungen bei der Beschriftung: Prozentsatz der beschrifteten Daten, die durch synthetische beschriftete Beispiele ersetzt wurden.
• Leistungssteigerung oder Gleichwertigkeit des Modells: Unterschiede bei den nachgelagerten Modellkennzahlen beim Training mit synthetischen oder gemischten Datensätzen.
• Risikominderung: Geringere Abhängigkeit von sensiblen Daten, schnellere Genehmigungen zur Einhaltung von Vorschriften.

Praktischer Ansatz: Beginnen Sie mit Pilotkennzahlen (Zeit bis zum ersten Prototyp, eingesparte Kosten für die Datenkennzeichnung) und erweitern Sie die Messung anschließend auf Leistungskennzahlen für das Modell und Compliance-KPIs.

Wenn synthetische Daten echte Daten nicht ersetzen können

• Behördliche Einreichungen oder Prüfungen, für die Originalunterlagen oder von Experten validierte Real-World-Evidence erforderlich sind.
• Sicherheitskritische Tests, bei denen Randfälle aus der Praxis berücksichtigt werden müssen (z. B. bestimmte Validierungen für autonome Fahrzeuge).
• Situationen mit unbekannten seltenen Ereignissen, bei denen Simulationsannahmen möglicherweise entscheidende Ausfallmodi außer Acht lassen.

In solchen Fällen sollten synthetische Daten eher zur Ergänzung als zum Ersatz realer Daten verwendet werden.

Branchenbeispiele und typische Anwendungsbereiche

• Gesundheitswesen: Synthetische Patientenakten für Analysen, die Optimierung von Algorithmen und gemeinsame Forschungsprojekte unter Wahrung des Datenschutzes.
• Finanzen: Transaktionssimulation für ein Modell zur Betrugserkennung – Training Stresstests ohne Offenlegung personenbezogener Kundendaten.
• Autonome Systeme und Logistik: Simulierte Routen und Sensordaten für Szenariotests.
• Einzelhandel und Marketing: Simulation des Kundenverhaltens zum Testen von Personalisierungsmodellen unter Wahrung des Schutzes personenbezogener Daten.
• NLP Wissenssysteme: Synthetische Dialog- und Frage-Antwort-Paare zur Feinabstimmung von Sprachmodellen und zur Reduzierung des Bedarfs an Datenanreichern.

Checkliste für die Einführung — Bewährte Verfahren

• Definieren Sie den use case den erforderlichen Detaillierungsgrad.
• Wählen Sie eine Erzeugungsmethode aus, die auf die Modalität und das Risikoprofil abgestimmt ist.
• Wenden Sie bei Bedarf formale Datenschutzverfahren (z. B. Differential Privacy) an.
• Führen Sie statistische, strukturelle und datenschutzrechtliche Validierungstests durch und dokumentieren Sie die Ergebnisse.
• Katalogisieren Sie Datensätze mit Metadaten, Herkunftsnachweis und genehmigten Verwendungszwecken.
• Pipelines auf Abweichungen und automatisierbare Regressionstests überwachen.
• Fangen Sie klein mit Pilotprojekten an und messen Sie klare KPIs, bevor Sie das Projekt ausweiten.

Fazit

Synthetische Daten sind ein praktisches Instrument zum Schutz der Privatsphäre, zur Erweiterung Training und zur Beschleunigung der Entwicklung – sofern sie mit strenger Validierung, Governance und Beobachtbarkeitsowie klaren geschäftlichen Kennzahlen. Behandeln Sie synthetische Datensätze als verwaltete Ressourcen im Datenlebenszyklus, damit sie vertrauensvoll genutzt werden können.

Über den Autor

Über Actian Germany GmbH

Actian ermöglicht es Unternehmen, Daten in großem Umfang sicher verwalten zu steuern. Unternehmen vertrauen auf Datenmanagement Data-Intelligence-Lösungen von Actian, um komplexe Datenumgebungen zu optimieren und die Bereitstellung von KI-fähigen Daten zu beschleunigen. Die auf Flexibilität ausgelegten Lösungen von Actian lassen sich nahtlos integrieren und arbeiten zuverlässig in On-Premises, Cloud und Hybridumgebungen. Erfahren Sie mehr über Actian, den Daten- und KI-Geschäftsbereich von HCL Software, unter actian.com.