Qu'est-ce que l'ingestion de Streaming ?

L'ingestion de données Streaming implique des analyses des données en temps réel données en temps réel qui fournissent des informations à partir de données en mouvement. Il est nécessaire d'ingérer des données en continu à partir d'une file d'attente de messages souscrite. Étant donné que des volumes de messages élevés peuvent submerger les applications consommant des données, les micro-lots peuvent collecter des messages et les fournir à l'application consommatrice à intervalles réguliers et courts. Si la source de données est un fichier de données traditionnel, l'ingestion traditionnelle par lots peut être utilisée.

Sources de données Streaming

Parmi les exemples de donnéesstreaming , on peut citer les sorties de capteurs IoT, les fichiers journaux, les flux de clics, les transactions commerciales basées sur des messages et les interactions des applications de jeux.

Pourquoi utiliser l'ingestion de Streaming temps réel ?

Les applications traditionnelles traitent les données par lots, ce qui retarde la présentation et l'analyse des événements. Ce léger retard peut faire manquer des occasions de tirer parti d'événements hautement critiques. Les applications de Streaming peuvent traiter les événements en temps réel, ce qui permet à l'entreprise de réagir immédiatement.

Cadres de traitement des flux

Les pionniers des systèmes d'événements basés sur les messages sont IBM avec MQSeries et TIBCO sur Open Systems. Vous trouverez ci-dessous quelques exemples de logiciels libres et commerciaux :

• Apache Flink prend en charge le calcul avec état sur les flux de données pour les flux d'événements et l'ETL.
• Apache Ignite pour le calcul de de haute performance avec la vitesse in-memory est utilisé pour ajouter de la vitesse aux applications existantes.
• Apache Samza pour les applications avec état qui traitent les données en temps réel, fonctionnant comme une bibliothèque autonome ou sous YARN.
• Apache Spark prend nativement en charge les applications de streaming évolutif et tolérantes aux pannes.
• Apache Storm pour les calculs de tâche parallèles distribués en temps réel.
• Amazon Kinesis Data Streams au fur et à mesure de l'arrivée des données pour les applications de streaming données gérées en temps réel.
• Microsoft Azure Event Hubs fournit un service d'ingestion destreaming très évolutif qui fonctionne avec n'importe quel fournisseur d'analyses des données en temps réel .
• Microsoft Azure IoT Hub est conçu pour fournir une communication bidirectionnelle de machine à nuage pour les flux IoT.
• Apache Kafka on HDInsight est idéal pour les applications Big Data de type Hadoop.

Exemples d'applications de Streaming temps réel

Streaming ingestion de données provenant de sources multiples doivent être traitées avant que les utilisateurs puissent en extraire du sens ou des informations. Les exemples ci-dessous avantage du traitement en temps réel des flux de données :

• Les systèmes de détection des fraudes collectent des données streaming temps réel pour répondre aux activités suspectes.
• Les cybermenaces doivent être contrées avant qu'elles ne menacent l'entreprise. Les systèmes de gestion des informations et des événements de sécurité (SIEM) analysent les journaux et surveillent l'activité du réseau afin de détecter et d'éliminer toute menace potentielle.
• Les systèmes de pilotage automatique destinés à contrôler des machines telles que les avions, les drones ou les véhicules routiers recueillent des données provenant de multiples capteurs tels que le GPS, le Lidar, les altimètres, les sonars et les caméras. Ces données doivent être traitées par des processeurs embarqués pour contrôler la vitesse, l'altitude et la direction du véhicule.
• Les systèmes de négociation d'actions doivent suivre l'évolution des cours en temps réel afin d'honorer les ordres d'achat et de vente prédéfinis. Par exemple, si vous avez un ordre préétabli de vendre une action si le prix tombe en dessous de 20 dollars et que l'action fluctue entre 22 et 19 dollars pendant une fraction de seconde, la maison de courtage doit exécuter l'opération dans une fenêtre de temps inférieure à une seconde pour conserver la clientèle de ce négociateur.
• L'analyse des sentiments des réseaux sociaux permet à une organisation de réagir à des changements soudains dans la perception des clients. Les dirigeants doivent être attentifs aux nouvelles qui ont un impact sur leurs clients.
• Les détaillants recueillent et traitent en temps réel des données provenant de systèmes de balise en magasin qui identifient les clients ayant visité leur site web et s'intéressant à un certain produit, et qui se trouvent à proximité d'un magasin physique. En réponse à ces données, une offre par SMS ou par courrier électronique peut être envoyée en quelques secondes pour inciter le prospect à devenir client.
• Les systèmes de vente et de marketing peuvent utiliser les données de parcours pour déclencher une interaction avec un chatbot ou un agent.
• Les sociétés de jeux utilisent l'analyse du comportement des joueurs pour suggérer de nouveaux jeux ou proposer les publicités les plus pertinentes pour les achats dans les jeux.

Comment Actian gère l'ingestion de données Streaming

Grâce à sa technologie d'intégration de données intégrée, la plateforme de données Actian peut fournir des informations en temps réel basées sur des données streaming . La plateforme de données Actian fonctionne sur site et sur des plateformes cloud, notamment AWS, Google Cloud et Microsoft Azure. DataConnect prend en charge l'ingestion de fichiers et de flux à partir de sources telles que JMS, Kafka, MSMQ, RabbitMQ et WebSphere MQ.