Streaming

Beim Streaming wird ein kontinuierlicher Datenstrom aus einer oder mehreren Quellen nahezu in Echtzeit verarbeitet. Je nach Zeitkritikalität oder Beschränkung der Serverressourcen können Datenströme in kleinen Intervallen als Mikrobatches verarbeitet werden.

Drei Formen der Data Sharing

Im Folgenden werden die drei großen Kategorien der data sharing beschrieben:

• Ein Datenstrom, wie z. B. eine Anwendung zur Verfolgung von Aktienkursen, erstellt jedes Mal eine Aufzeichnung , wenn sich der Aktienkurs ändert. Die Aufzeichnung wird in einer Warteschlange gespeichert, die sofort von einer Anwendung gelesen wird, die diese Warteschlange abonniert hat. Auf diese Weise erhalten die Abonnenten die letzten Aktienkurse, sobald sie sich ändern, wobei die Latenzzeit in Millisekunden gemessen wird.
• Stapeldaten werden in regelmäßigen Abständen, z. B. nachts, als neue Datendatei erstellt. Die Daten werden über Nacht verarbeitet. Ein Tagesabschlussprozess in einer Bankfiliale würde ein tägliches Journal der Transaktionen erstellen, das zur Berechnung des Kassenbestands verwendet wird, der dann in den Eröffnungssaldo des nächsten Tages übertragen wird.
• Inkrementeller data sharing. In diesem Fall unterhält die empfangende Anwendung eine Kopie der früheren Daten, die aktualisiert wird, um die Änderungen seit der letzten Aktualisierung widerzuspiegeln. Diese Form der Erfassung von geänderten Daten wird üblicherweise für Datensicherungen an einem entfernten Standort oder zur Verwaltung mehrerer Kopien des Quelldatensatzes verwendet.

Merkmale

Strom- oder Ereignisdaten weisen in der Regel die folgenden Merkmale auf:

• Datenströme sind insofern kontinuierlich, als ein Ereignisstrom ohne einen Anfang oder ein Ende des Datensatzes unvollständig ist.
• Datenströme können so konfiguriert werden, dass sie belastbar sind, d. h. jedes Ereignis wird erfasst und gespeichert, bis jeder Empfänger den Empfang bestätigt hat.
• Streaming werden mit einem Zeitstempel versehen, damit sie auf einer Zeitachse analysiert werden können. So können z. B. Sensordaten in einer Fabrik nachgelagerte Vorgänge auf der Grundlage der im Datenstrom identifizierten Ereignisse steuern.
• Datenströme können gemischte Formate wie IoT enthalten. Gateway-Prozesse an der Grenze können Formate filtern und standardisieren.
• Datenströme können aufgrund unterschiedlicher Latenzzeiten der Verbindungsnetze Lücken aufweisen und ungeordnet sein.
• Datenströme können unvollständig sein, da ein Ereignis ein vorheriges Ereignis ersetzen kann, bevor der Leser es verarbeitet hat. In Echtzeit-Anwendungsfällen wie der Verfolgung von Quoten für ein Kasino oder ein Sportereignis ist nur der letzte Wert von Bedeutung, so dass frühere Werte sofort gelöscht werden können.

Software für Streaming

Es gibt ein Spektrum von Tools, die als Stream-Prozessoren eingestuft werden:

• Viele haben sich aus Nachrichtenverarbeitungssystemen wie IBM MQ und Tibco Spotfire entwickelt.
• Apache Spark bietet eine Streaming auf Hadoop-Clustern. Spark eignet sich gut für die Verarbeitung von Daten in Gruppen von Zeilen.
• Apache Kafka und Apache NiFi sind Open-Source-Broker-basierte Dienste, die Ereignisse einzeln Aufzeichnung und mit einer geringeren Latenz als Spark arbeiten. Kafka verwendet ein Publish-Subscribe-Modell für die Verbindung von Datenströmen mit konsumierenden Anwendungen.
• Plattformen zur gemeinsamen Nutzung von Echtzeitdaten wie Diffusionsdaten verwenden Systeme, die Datenströme an Kunden weiterleiten.

Beispiele für Streaming

Finanzhandelsplattformen nutzen es, um Echtzeit-Kursänderungen für Aktien und Währungen zu liefern. Aktieninformationsdienste nutzen Streaming Daten, um Unternehmensnachrichten zeitnah zu verbreiten und institutionellen und privaten Anlegern zu helfen, fundiertere Handelsentscheidungen zu treffen.

Glücksspielunternehmen müssen die Spieler bei der Stange halten und nutzen daher Streaming , um herauszufinden, welche Teams sie interessieren, damit sie ihr Spielerlebnis anpassen können, indem sie ihnen relevante Angebote und Werbeaktionen unterbreiten. Sie werden auch verwendet, um Quoten und Ergebnisse für Wetten auf Sportereignisse zu teilen.

Sicherheitssysteme verwenden Sensoren, um verdächtige Aktivitäten zu erkennen. Die Sensoren sammeln Videoströme, die analysiert werden, und es werden Warnungen erzeugt, wenn potenzielle Bedrohungen beobachtet werden.

Beim autonomen Fahren werden Echtzeit-Sensoreingaben zur Steuerung der Fahrzeuggeschwindigkeit und der Sicherheitssysteme verwendet. Kameras, Sonar- und Lidar-Sensoren erzeugen Datenströme, die von Bildverarbeitungssoftware analysiert werden.

Industrielle Systeme verwenden Sensoren zur Überwachung von Fertigungssystemen für die Qualitätskontrolle und zur Steuerung der Produktion. Digitale Datenströme ermöglichen es den Herstellern, den Zustand von Systemen wie Lokomotivmotoren aus der Ferne zu überwachen, um Entscheidungen über die Zeitplanung für die vorbeugende Wartung, die Bestellung von Teilen und die Änderung der Leistung zu treffen und so die Nutzungsdauer der Ausrüstung zu maximieren.

Marketingsysteme verwenden Clickstream-Daten, um zu analysieren, welche Anzeigen und Webseiten ein potenzieller Kunde ansieht, damit Chatbots die überzeugendsten Taktiken zur Echtzeit-Einbindung anbieten können.

Einzelhandelsdaten von Beaconing-Systemen in Geschäften informieren über Text- und E-Mail-Angebote, die auf dem Standort des Kunden basieren.

Streaming-Daten mit ActianLösungen

Die Actian Data Platform verfügt über integrierte Unterstützung für die Integration von Streaming-Daten.