Retour vers le futur pour les fichiers plats - Partie 3
Pourquoi les développeurs d'applications logicielles Embarqué devraient se débarrasser des fichiers plats avant d'avoir à exécuter Dump sur eux
Il y a quelques semaines, j'ai écrit un premier billet sur les fichiers plats et sur les raisons pour lesquelles les développeurs d'applications logicielles d'Embarqué les ont facilement adoptés. Dans le blog suivant, j'ai expliqué pourquoi les développeurs d'Embarqué sont réticents à l'idée d'utiliser des bases de données. Dans ce troisième article, j'aimerais aborder les raisons pour lesquelles ils devraient envisager d'abandonner les fichiers plats - après tout, le vieil adage devrait s'appliquer ici : "Si ce n'est pas cassé, ne le réparez pas" devrait s'appliquer avant de discuter des raisons pour lesquelles une option est meilleure qu'une autre.
Souffrez-vous du syndrome "Qui a déplacé mon fromage" ?
Dans la plupart des cas, le changement ne se produit pas d'une manière que nous reconnaissons immédiatement et à laquelle nous nous sentons obligés de réagir. C'est certainement le cas de l'intelligence artificielle et des facteurs qui la favorisent.
Considérés individuellement, des changements tels que l'augmentation des Fonctionnalités lors du passage d'un processeur 32 bits à un processeur 64 bits, ou l'augmentation de la vitesse et de la taille de la mémoire vive, la possibilité d'utiliser des outils et des environnements d'exploitation plus sophistiqués par une communauté plus large de développeurs et de data scientists, ainsi que la possibilité d'exploiter des algorithmes plus complexes capables de mettre en œuvre l'apprentissage automatique, ne dictent pas la nécessité de passer des fichiers plats à un autre système de gestion des données pointe.
Cependant, le moteur du changement réside dans les demandes externes qui pourraient être satisfaites par la confluence de ces changements, ce qui ouvrirait une myriade de nouvelles possibilités pour les entreprises d'automatiser et d'améliorer la prise de décision au point d'action, c'est-à-dire à la périphérie de l'entreprise.
Quel est donc le rapport entre le syndrome "Who Moved My Cheese" et toutes ces nouvelles possibilités qui obligent les développeurs utilisant des fichiers plats à changer ? C'est simple : les fichiers plats peuvent encore faire le travail - mais pas aussi bien - et c'est ce qui crée une ouverture pour lutter contre le changement.
En général, lorsque ceux qui ont une réelle expertise utilisent une méthodologie éprouvée qui est encore capable de répondre de manière sous-optimale à une nouvelle exigence, il est dans la nature humaine de vouloir justifier et forcer l'utilisation continue de cette méthodologie sous-optimale. Voyons pourquoi les fichiers plats ne sont pas optimaux pour gérer cette confluence de nouvelles ressources de calcul et le désir de les exploiter pour la fusion à venir de l'Internet industriel des objets (IIoT) et de l'intelligence artificielle (IA).
Pour vous, c'est peut-être du fromage qui pue, mais c'est mon parfum préféré !
Les fichiers plats sont simples à utiliser, fiables et ne coûtent rien puisqu'ils sont fournis avec le système d'exploitation sous-jacent, il n'est donc pas étonnant qu'ils soient si largement adoptés. Cependant, le passage du en silo, du faible débit de données et du traitement simple à l'IIoT hyperconnecté avec l'IA à la périphérie signifie que les fichiers plats ne passeront pas le test de l'utilisation à l'avenir pour les trois raisons suivantes :
- La demande croissante en matière d'intelligence périphérique, et en particulier d'IIoT, stimulera le besoin d'gestion des données distribuée gestion des données non plus seulement d'un simple stockage et d'une simple récupération des données locales.
Les systèmes de fichiers concernent en réalité le stockage des données, qui constitue le niveau fondamental de gestion des données, mais ne constituent pas gestion des données soi gestion des données complète gestion des données . Et si les systèmes de fichiers de pointe intègrent souvent des fonctionnalités clés modernes gestion des données telles que la réplication, la défragmentation et le chiffrement, ils ne remplacent pas les systèmes de gestion de contenu, sans parler des systèmes de gestion des enregistrements ou des bases de données qui offrent des fonctionnalités plus avancées, notamment l'indexation intégrée, le filtrage, les requêtes sophistiquées, le client-serveur, le peer-to-peer et d'autres fonctionnalités clés nécessaires à gestion des données en périphérie gestion des données les cas d'utilisation de l'IoT. - L'intelligence moderne en périphérie nécessite Support l'analyse en ligne basée sur plus que les flux de données provenant uniquement de sources locales
Le traitement et l'analyse des données en périphérie se sont largement limités au traitement simple d'un flux de données unique et d'un type de données traité sous forme d'ensemble de données chronologiques avec filtrage temporel pour un meilleur rapport signal/bruit (SNR) ou pour éliminer les données qui ne s'écartent pas d'un seuil insignifiant. À l'avenir, il y aura plusieurs flux et types de données avec des modèles de référence, corrélés à des algorithmes d'apprentissage automatique appliqués. Ces approches plus sophistiquées peuvent nécessiter des données provenant d'appareils voisins, des données en amont provenant de systèmes aussi éloignés que les systèmes ERP dans le centre de données. Fonctionnalité intégrée pour les jointures entre plusieurs tables, capacité à gérer streaming différents types de données, publication et abonnement pour le peer-to-peer et le client-serveur. Ces exigences sont beaucoup plus sophistiquées et ne sont pas faciles à mettre en place à partir de zéro, contrairement aux simples indexations, tris et autres modules complémentaires DIY typiques pour fichiers plats qui ont été conçus par le passé. Avec un gestion des données moderne gestion des données en périphérie, toutes ces fonctionnalités sont hyperconnectées et l'interopérabilité avec les normes streaming telles que Kafka ou Spark est une évidence. - Le cycle de vie, les rapports et les outils de visualisation du machine learning (ML) nécessitent une récupération plug-and-play basée sur des normes industrielles supérieures à celles des systèmes de fichiers
Il ne s'agit pas seulement de réinventer la roue pour les fonctionnalités locales permettant l'analyse en ligne afin de support , mais aussi du fait que le ML a un cycle de vie qui inclut apprentissage avec jeux de données la périphérie. Après apprentissage, les algorithmes sont ensuite déployés sans supervision à la périphérie pour effectuer une inférence ML sur de nouvelles données. Les rapports et la visualisation sont essentiels pour analyser l'efficacité du ML et déterminer si vous obtenez les résultats commerciaux escomptés. Une fois encore, gestion des données modernes gestion des données en périphérie intègrent des fonctionnalités qui facilitent l'utilisation de ces outils et support ces objectifs.
Certes, dans tous les cas, les systèmes de fichiers restent nécessaires. La plupart des bases de données, des historiens ou d'autres systèmes de gestion des données développés en interne utilisent toujours des systèmes de fichiers pour le stockage des données. De plus, avec suffisamment de force brute et de sueur, vous pouvez toujours réinventer la roue en ajoutant de la logique pour support n'importe quelle fonctionnalité trouvée dans un système prêt à l'emploi. Les problèmes liés à l'adoption d'une approche fondée sur les fichiers plats sont les coûts d'opportunité, la réduction de la vitesse d'innovation et les lacunes en matière d'adéquation aux besoins, créées par la nécessité de construire une roue beaucoup plus grande et beaucoup plus sophistiquée. Dans la prochaine partie, nous examinerons exactement ce qui est nécessaire dans un système moderne de gestion des données .
Actian est le leader du secteur des entrepôts de données opérationnels et des solutions de gestion des données en périphérie pour les entreprises modernes. Avec un ensemble complet de solutions connectées pour vous aider à gérer les données sur site, dans le nuage et à la périphérie avec le mobile et l'IoT. Actian peut vous aider à développer les bases techniques nécessaires pour support une véritable agilité commerciale. Pour en savoir plus, visitez le site www.actian.com.
Restez connecté
Des informations exploitables à votre disposition.
(par exemple, sales@..., support)
