Dateningestion

Was ist Data Ingestion?

Bevor die Daten verarbeitet oder analysiert werden können, müssen sie von einem Anwendungsprogramm, einer Datenintegrationsplattform oder einem Datenbankverwaltungssystem aufgenommen werden. Alle Anwendungen arbeiten in drei Phasen: Dateneingang, Verarbeitung und Ausgabe.

Dateneingang in Data Warehousing und Data Science

Data Warehouses und Maschinelles Lernen führen Datenanalysen mit Daten durch, die aus einem oder mehreren Quellsystemen extrahiert werden müssen. Um die Daten in die Analysedatenbank zu bringen, werden Datenvorbereitungs- und ETL-Prozesse verwendet. Datenvorbereitungspipelines nehmen die Daten auf, bevor sie in die Zielanalysesysteme übertragen werden. ETL, die Abkürzung für Extraktion, Transformation und Laden, umfasst den Dateneingang bei der Extraktion von Daten aus Quellsystemen und das Laden transformierter Daten in eine Analysedatenbank.

Beispiele für Dateneingang

Aufnahme von Parametern durch Anwendungsprogramme

Anwendungsprogramme, Funktionen und Microservices erhalten Daten, wenn sie aufgerufen oder aufgerufen werden. Der Funktion SUMME kann eine Reihe von Zahlen übergeben werden, die sie addiert, um einen Gesamtwert zu erhalten. Modernere Anwendungsprogrammierschnittstellen (APIs), die von Webanwendungen verwendet werden, können abgefragt werden, um den Dateneingang zu erleichtern. JSON und XML erlauben die Übergabe einer variablen Anzahl von Elementen zusammen mit einer deklarierten Trennzeichenfolge.

Dateneingabe

Daten können validiert werden, indem Menschen sie in Formulare eingeben, bevor ein Anwendungsprogramm sie akzeptiert. Die manuelle Dateneingabe wird heute üblicherweise für die Erhebung von Umfragedaten, für die Aufzeichnung medizinischer Daten und für Online-Formulare verwendet.

Ingesting von Transaktionsdatensätzen

ERP-Systeme wie Oracle und SAP erstellen Journaleinträge zur Aufzeichnung Transaktionen. Batch-Systeme nehmen diese Daten auf, um tägliche Transaktionen für die Berichterstattung und die Abstimmung am Tagesende zusammenzufassen.

Protokolldaten

IT-Systeme wie Webseiten Aufzeichnung Besuche durch die Protokollierung von URLs und Cookie-Daten. Marketing- und Vertriebsautomatisierungssysteme wie HubSpot nehmen diese Daten auf und nutzen sie, um diese URLs Unternehmen zuzuordnen und Cookie-Daten mit bestehenden Interessentenlisten abzugleichen.

Cloud Dateneingang

Cloud Speicher wie AWS S3-Buckets emulieren das Dateizugriffsparadigma des lokalen Betriebssystems und bieten vertraute APIs, sodass Anwendungen Cloud so transparent aufnehmen können, als wären sie lokal gespeichert.

Daten in Echtzeit

Spiel- und Aktienhandelssysteme umgehen in der Regel File-Stamm-APIs und ziehen es vor, Daten direkt aus gestreamten in-memory aufzunehmen.

Einlesen von Datenbankeinträgen

Datenbanksysteme akzeptieren und analysieren in SQL geschriebene Abfragen oder verwenden Schlüsselwerte und geben eine Ergebnismenge von Datensätzen zurück, die den Auswahlkriterien entsprechen. Die Datensätze werden dann von der aufrufenden Anwendung nacheinander verarbeitet.

Laden von Daten in eine Datenbank

Die meisten Datenbankanbieter stellen schnelle Lader zur Verfügung, die Daten in großen Mengen unter Verwendung mehrerer paralleler Datenströme oder unter Umgehung von SQL laden, um den besten Durchsatz zu erzielen.

Streaming Dateneingang

Eine beliebte Alternative zu herkömmlichen dateibasierten Dateneingaben sind Streaming wie AWS SNS, IBM MQ, Apache Flink und Kafka. Wenn neue Datensätze erstellt werden, werden sie den Anwendungen, die den Datenstrom abonnieren, sofort zur Verfügung gestellt.

Kante Dateneingang

IoT erzeugen Unmengen von Daten, die Unternehmensnetzwerke und zentrale Serverkapazitäten überfordern würden. Gateway- oder Edge-Server nehmen z. B. Sensordaten auf, verwerfen die weniger interessanten Daten und komprimieren die interessanten Daten, bevor sie an zentrale Server übertragen werden. Dies ist eine Form der Vorerfassung, um die Ressourcennutzung zu optimieren und den Datendurchsatz über ausgelastete Netzwerke zu erhöhen.

Actian und Dateneingang

Die Actian Data Intelligence Platform wurde speziell dafür entwickelt, Unternehmen bei der Vereinheitlichung, verwalten und dem Verständnis ihrer Daten in hybriden Umgebungen zu unterstützen. Sie vereint Metadaten , Governance, Lineage, Qualitätsüberwachung und Automatisierung in einer einzigen Plattform. So können Teams sehen, woher die Daten kommen, wie sie verwendet werden und ob sie internen und externen Anforderungen entsprechen.

Durch seine zentrale Schnittstelle unterstützt Actian Erkenntnis über Datenstrukturen und -flüsse und erleichtert so die Anwendung von Richtlinien, die Lösung von Problemen und die abteilungsübergreifende Zusammenarbeit. Die Plattform hilft auch dabei, Daten mit dem geschäftlichen Kontext zu verbinden, damit Teams Daten effektiver und verantwortungsvoller nutzen können. Die Plattform von Actian ist so konzipiert, dass sie mit sich entwickelnden Datenökosystemen skaliert und eine konsistente, intelligente und sichere Datennutzung im gesamten Unternehmen unterstützt. Fordern Sie Ihr persönliches Demo an.