Dateneingang

Was ist Dateneingang?

Bevor die Daten verarbeitet oder analysiert werden können, müssen sie von einem Anwendungsprogramm, einer Datenintegrationsplattform oder einem Datenbankverwaltungssystem aufgenommen werden. Alle Anwendungen arbeiten in drei Phasen: Dateneingang, Verarbeitung und Ausgabe.

Dateneingang in Data Warehousing und Data Science

Data Warehouses und Maschinelles Lernen führen Datenanalysen mit Daten durch, die aus einem oder mehreren Quellsystemen extrahiert werden müssen. Um die Daten in die Analysedatenbank zu bringen, werden Datenvorbereitungs- und ETL-Prozesse verwendet. Datenvorbereitungspipelines nehmen die Daten auf, bevor sie in die Zielanalysesysteme übertragen werden. ETL, die Abkürzung für Extraktion, Transformation und Laden, umfasst den Dateneingang bei der Extraktion von Daten aus Quellsystemen und das Laden transformierter Daten in eine Analysedatenbank.

Beispiele für Dateneingang

Aufnahme von Parametern durch Anwendungsprogramme

Anwendungsprogramme, Funktionen und Microservices erhalten Daten, wenn sie aufgerufen oder aufgerufen werden. Der Funktion SUMME kann eine Reihe von Zahlen übergeben werden, die sie addiert, um einen Gesamtwert zu erhalten. Modernere Anwendungsprogrammierschnittstellen (APIs), die von Webanwendungen verwendet werden, können abgefragt werden, um den Dateneingang zu erleichtern. JSON und XML erlauben die Übergabe einer variablen Anzahl von Elementen zusammen mit einer deklarierten Trennzeichenfolge.

Dateneingabe

Daten können validiert werden, indem Menschen sie in Formulare eingeben, bevor ein Anwendungsprogramm sie akzeptiert. Die manuelle Dateneingabe wird heute üblicherweise für die Erhebung von Umfragedaten, für die Aufzeichnung medizinischer Daten und für Online-Formulare verwendet.

Ingesting von Transaktionsdatensätzen

ERP-Systeme wie Oracle und SAP erstellen Journaleinträge zur Aufzeichnung Transaktionen. Batch-Systeme nehmen diese Daten auf, um tägliche Transaktionen für die Berichterstattung und die Abstimmung am Tagesende zusammenzufassen.

Protokolldaten

IT-Systeme wie Webseiten Aufzeichnung Besuche durch die Protokollierung von URLs und Cookie-Daten. Marketing- und Vertriebsautomatisierungssysteme wie HubSpot nehmen diese Daten auf und nutzen sie, um diese URLs Unternehmen zuzuordnen und Cookie-Daten mit bestehenden Interessentenlisten abzugleichen.

Cloud Dateneingang

Cloud Speicher wie AWS S3-Buckets emulieren das Dateizugriffsparadigma des lokalen Betriebssystems und bieten vertraute APIs, sodass Anwendungen Cloud so transparent aufnehmen können, als wären sie lokal gespeichert.

Daten in Echtzeit

Spiel- und Aktienhandelssysteme umgehen in der Regel File-Stamm-APIs und ziehen es vor, Daten direkt aus gestreamten in-memory aufzunehmen.

Einlesen von Datenbankeinträgen

Datenbanksysteme akzeptieren und analysieren in SQL geschriebene Abfragen oder verwenden Schlüsselwerte und geben eine Ergebnismenge von Datensätzen zurück, die den Auswahlkriterien entsprechen. Die Datensätze werden dann von der aufrufenden Anwendung nacheinander verarbeitet.

Laden von Daten in eine Datenbank

Die meisten Datenbankanbieter stellen schnelle Lader zur Verfügung, die Daten in großen Mengen unter Verwendung mehrerer paralleler Datenströme oder unter Umgehung von SQL laden, um den besten Durchsatz zu erzielen.

Streaming Dateneingang

Eine beliebte Alternative zu herkömmlichen dateibasierten Dateneingaben sind Streaming wie AWS SNS, IBM MQ, Apache Flink und Kafka. Wenn neue Datensätze erstellt werden, werden sie den Anwendungen, die den Datenstrom abonnieren, sofort zur Verfügung gestellt.

Kante Dateneingang

IoT erzeugen Unmengen von Daten, die Unternehmensnetzwerke und zentrale Serverkapazitäten überfordern würden. Gateway- oder Edge-Server nehmen z. B. Sensordaten auf, verwerfen die weniger interessanten Daten und komprimieren die interessanten Daten, bevor sie an zentrale Server übertragen werden. Dies ist eine Form der Vorerfassung, um die Ressourcennutzung zu optimieren und den Datendurchsatz über ausgelastete Netzwerke zu erhöhen.

Actian und Dateneingang

Die Actian Data Platform verwaltet Ihre Datenbestände vom Rand bis zur Cloud. Die integrierte Datenintegration erleichtert den Dateneingang , indem sie vorgefertigte Konnektoren zu Hunderten von Datenquellen bereitstellt, um die Datenpipeline vom Dateneingang bis zu visualisierten Erkenntnissen zu verwalten . Actian DataConnect unterstützt dateibasierten und streambasierten Dateneingang von JMS, Kafka, MSMQ, RabbitMQ und WebSphere MQ. Die zentrale Verwaltung der Datenintegration ermöglicht eine zentrale Orchestrierung der Datenpipelines. Data Analytics nutzt die hochparallelisierte Anfrage für schnelle Analysen.

Laden Sie selbstverwaltete Datenbankinstanzen herunter, die vor Ort laufen, oder nutzen Sie die Actian Data Platform in den öffentlichen Clouds AWS, Google Cloud und Microsoft Azure.