Was ist Streaming Ingestion?

Streaming Ingestion beinhaltet Echtzeitanalysen , die Einblicke in laufende Daten liefern, die kontinuierlich aus einer abonnierten Nachrichtenwarteschlange aufgenommen werden müssen. Da hohe Nachrichtenvolumina Anwendungen, die Daten verbrauchen, überfordern können, können Mikrostapel Nachrichten sammeln und sie der verbrauchenden Anwendung in regelmäßigen kurzen Abständen zur Verfügung stellen. Handelt es sich bei der Datenquelle um eine herkömmliche Datendatei, kann die herkömmliche Batch-Ingestion verwendet werden.

Datenquellen für Streaming

Beispiele für Streaming sind IoT , Protokolldateien, Clickstreams, nachrichtenbasierte Geschäftstransaktionen und Interaktionen aus Spieleanwendungen.

Warum Real-Time Streaming Ingestion verwenden?

Herkömmliche Anwendungen verarbeiten Daten in Stapeln, was zu einer verzögerten Darstellung und Analyse von Ereignissen führt. Diese leichte Verzögerung kann dazu führen, dass Gelegenheiten verpasst werden, aus äußerst zeitkritischen Ereignissen Kapital zu schlagen. Streaming können Ereignisse in Echtzeit verarbeiten, so dass ein Unternehmen sofort auf Ereignisse reagieren kann.

Stream Processing Frameworks

Die Pioniere von nachrichtenbasierten Ereignissystemen sind IBM mit MQSeries und TIBCO auf Open Systems. Im Folgenden sind einige Open-Source- und kommerzielle Beispiele aufgeführt:

• Apache Flink unterstützt Stateful Computing über Datenströme für Ereignisströme und ETL.
• Apache Ignite für High-Performance Computing mit in-memory wird verwendet, um die Geschwindigkeit von bestehenden Anwendungen zu erhöhen.
• Apache Samza für zustandsabhängige Anwendungen, die Daten in Echtzeit verarbeiten und als eigenständige Bibliothek oder unter YARN laufen.
• Apache Spark unterstützt von Haus aus skalierbar, fehlertolerante Streaming .
• Apache Storm für verteilte parallele Aufgabe .
• Amazon Kinesis Data Streams bei Dateneingang für verwaltete Streaming .
• Microsoft Azure Event Hubs bieten einen hochgradig skalierbar Streaming , der mit jedem Echtzeitanalysen zusammenarbeitet.
• Microsoft Azure IoT Hub wurde entwickelt, um bidirektionale Cloud für IoT zu ermöglichen.
• Apache Kafka auf HDInsight ist ideal für Big Data im Hadoop-Stil.

Beispiele für Streaming

Streaming Dateneingang aus mehreren Quellen müssen verarbeitet werden, bevor die Benutzer Bedeutung oder Erkenntnisse aus den Daten ziehen können. Die folgenden Beispiele zeigen Nutzen der Verarbeitung von Echtzeit-Datenströmen:

• Betrugserkennung sammeln Streaming , um auf verdächtige Aktivitäten zu reagieren.
• Cyber-Bedrohungen müssen abgewehrt werden, bevor sie das Unternehmen bedrohen. SIEM-Systeme (Security Information and Event Management) analysieren Protokolle und überwachen Netzwerkaktivitäten, um potenzielle Bedrohungen zu erkennen und abzuschalten.
• Autopilotsysteme zur Steuerung von Maschinen wie Flugzeugen, Drohnen oder Straßenfahrzeugen sammeln Daten von mehreren Sensoren wie GPS, Lidar, Höhenmessern, Sonar und Kameras. Diese Daten müssen mit bordeigenen Prozessoren verarbeitet werden, um die Geschwindigkeit, die Höhe und die Richtung des Fahrzeugs zu steuern.
• Aktienhandelssysteme müssen sich ändernde Aktienkurse in Echtzeit überwachen, um vorab festgelegte Kauf- und Verkaufsaufträge zu erfüllen. Wenn Sie z. B. einen Auftrag zum Verkauf einer Aktie erteilt haben, wenn der Kurs unter 20 $ fällt und die Aktie für den Bruchteil einer Sekunde zwischen 22 $ und 19 $ schwankt, muss ein Makler den Handel innerhalb eines Zeitfensters von weniger als einer Sekunde ausführen, um das Geschäft dieses Händlers zu erhalten.
• Gefühlsanalyse von social media Streams ermöglicht es einem Unternehmen, auf plötzliche Veränderungen in der Kundenwahrnehmung zu reagieren. Führungskräfte müssen auf Nachrichten reagieren, die sich auf ihre Kunden auswirken.
• Einzelhändler sammeln und verarbeiten Echtzeit-Feeds von Leuchtturm in den Geschäften, die Kunden identifizieren, die ihre Website besucht haben, sich für ein bestimmtes Produkt interessieren und sich in der Nähe eines physischen Geschäfts befinden. Als Reaktion auf diese Daten kann in Sekundenschnelle ein SMS- oder E-Mail-Angebot verschickt werden, um den Interessenten zum Kauf zu bewegen.
• Vertriebs- und Marketingsysteme können Clickstream-Daten nutzen, um eine Interaktion mit einem Chatbot oder Agenten auszulösen.
• Spieleunternehmen nutzen die Analyse des Spielverhaltens, um neue Spiele vorzuschlagen oder die relevantesten Anzeigen für Käufe im Spiel anzubieten.

Wie Actian mit Streaming umgeht

Dank der integrierten Datenintegrationstechnologie kann die Actian Data Platform Real-Time-Insights auf Basis von Streaming liefern. Die Actian Data Platform läuft On-Premises als auch auf Cloud , einschließlich AWS, Google Cloud und Microsoft Azure. DataConnect unterstützt datei- und streambasierte Ingestion aus Quellen wie JMS, Kafka, MSMQ, RabbitMQ und WebSphere MQ.