Liste de contrôle pour la migration des fichiers plats des développeurs de logiciels Embarqué

Voici le dernier article de la série de blogs que j'ai rédigés sur l'utilisation continue des fichiers plats et sur les raisons pour lesquelles leur utilisation n'est plus viable à l'avenir. Le premier article portait sur les fichiers plats et sur les raisons pour lesquelles les développeurs d'applications logicielles Embarqué les ont facilement adoptés. Dans la deuxième partie, j'ai expliqué pourquoi les développeurs d'Embarqué sont réticents à l'idée d'utiliser des bases de données. La troisième partie s'est penchée sur les raisons pour lesquelles les développeurs s'accrochent aux systèmes de fichiers plats.

Pour cette dernière partie, je me suis rendu compte que l'argument en faveur de la migration des fichiers plats devait probablement être plus prescriptif. C'est pourquoi, en collaboration avec notre responsable de l'ingénierie, Desmond Tan, nous avons dressé une liste de raisons qui ne concernent pas vraiment ce que vous utilisez actuellement ou ce que vous devriez utiliser dans l'abstrait. Il s'agit plutôt de se concentrer sur les besoins réels qui justifieraient l'abandon des fichiers plats. Cette liste est fonction de l'évolution des cas d'utilisation d'Embarqué Edge gestion des données dans les domaines de la téléphonie mobile, de l'IoT et des équipements intelligents complexes. Elle reflète également ce que nos clients nous disent lors de réunions privées concernant leurs défis et leurs exigences en matière de produits et d'activités.

Sur la base de ces données, voici les huit principales exigences en matière de gestion des données moderne gestion des données:

1. La persistance des données locales et l'évolution de leur utilisation

En général, les données stockées localement dans des fichiers plats servaient de cache pour les opérations immédiates sur les données exclusives à l'appareil en question. En outre, ces données étaient évaluées sans base de référence de longue date mais continuellement actualisée. Cependant, la nécessité de combiner des données provenant de plusieurs appareils et sources de données et l'utilisation de données historiques comme base de référence pour tout, du simple rapport signal/bruit à l'inférence d'apprentissage automatique, signifient que le besoin de gestion des données d'opérations complexes qui alimentent le traitement local des données et l'analyse dépasse la fonctionnalité minimale fournie par les systèmes de fichiers.

2. Support d'environnements OS multiples avec un format de stockage unique

Qu'il s'agisse de la conception des produits, des portefeuilles de technologies opérationnelles ou de l'support informatique support lignes d'activité, une série de systèmes en périphérie et à l'intérieur de l'entreprise doivent partager des données entre des systèmes d'exploitation allant d'Android/iOS à Windows/Linux en passant par des environnements virtualisés en nuage. Un format de stockage unique permettrait de réduire considérablement les délais et les coûts d'intégration et d'améliorer la sécurité.

3. gestion des données Support pour tous les rôles impliqués dans le traitement et l'analyse des données

Différents rôles devront tirer parti de l'accès à l'Edge gestion des données à distance et localement sur cette gamme de plateformes sous-jacentes à partir de différents mécanismes d'accès, y compris les CLI, les langages de programmation et de script. Il y a probablement une discussion plus longue et plus nécessaire sur les raisons pour lesquelles cela mérite un blog séparé.

4. Traiter les Big Data à la périphérie

Petit quiz, quels sont les quatre V du Big Data - oui, vous pouvez tous les nommer si vous vous réveillez d'un sommeil profond (pour ceux d'entre vous qui refusent de sortir de ce merveilleux rêve : Volume, Variété, Vélocité et Valeur). Tout comme Hadoop a été une première étape au niveau de l'entreprise pour répondre au besoin d'un réservoir commun pour les Big Data, il doit y avoir un équivalent au niveau de la périphérie. Et, comme c'était le cas pour la dernière exigence, un blog complet est nécessaire pour discuter d'une séparation plus poussée des fichiers plats. Pour l'instant, l'essentiel est de pouvoir support différents types de données, y compris JSON, BLOB et les données structurées traditionnelles dans une seule base de données.

5. Partager les données entre les environnements traditionnels OT, Cloud et IT

Le partage des données doit pouvoir gérer des scénarios de dispositif à dispositif et de dispositif à passerelle dans des environnements OT, ainsi que des scénarios Edge to Cloud et Cloud to Data Center pour des environnements distants et des succursales à l'interface Edge to cloud. En d'autres termes, vous avez besoin d'une plateforme unique pour les architectures client, peer-to-peer, client-serveur et Internet/Intranet.

6. Fonctionner de manière autonome pendant les périodes de déconnexion

Si l'Edge évolue globalement vers un état d'hyperconnectivité, il ne faut pas croire que cela supprime ou réduit la nécessité de traiter et d'analyser localement. Dans de nombreuses applications technologiques opérationnelles, une approche exclusivement web est irréalisable. Par exemple, si vous avez des véhicules autonomes, le traitement et la prise de décisions basés sur des signaux vidéo et lidar pour déterminer où diriger la voiture, à quelle vitesse et à quelle accélération - ou décélération - ne peuvent pas être gérés par le nuage, la latence à elle seule garantirait des accidents. Dans d'autres cas, la commodité ou la facilité d'utilisation peut être la raison pour laquelle vous choisissez de gérer les opérations localement. Supposons que vous ayez des milliers d'albums en local dans votre collection iTunes et que vous souhaitiez rechercher une chanson par ses paroles pendant votre vol de quatorze heures entre San Francisco et New Delhi.

7. Gestion de la collecte de données multicanaux à grande vitesse

La plupart des signaux de base collectés ne changeront pas au fur et à mesure que nous évoluerons vers un état plus connecté et automatisé ; la pression, le volume et la température en sont trois bons exemples. Cependant, comme nous l'avons vu plus haut, les flux vidéo, de la reconnaissance faciale à la vision industrielle, sont de plus en plus fréquents et atteignent des résolutions et des fréquences d'images beaucoup plus élevées (4K UHD à 120 Hz, par exemple). Les signaux lidar sont également mentionnés ci-dessus. À une époque, j'étais ingénieur et je construisais des systèmes de radar laser. Même à l'époque, je pouvais facilement collecter 400 Mo de données par jour et prendre des décisions en quelques millisecondes sur chaque ensemble de signaux lidar collectés. Je pourrais multiplier les exemples. Le fait est qu'avec le traitement et l'analyse de données modernes, qui atteignent plusieurs téraoctets par jour et dont les données sont à la fois traitées immédiatement et récupérées en partie ou en totalité en vue d'un traitement ultérieur, tous ces scénarios deviendront monnaie courante.

8. Exploiter les composants complémentaires de l'écosystème disponibles sur étagère

Il va sans dire que ceux qui utilisent des fichiers plats sont probablement des bricoleurs pour d'autres parties de leurs solutions. L'abandon des fichiers plats optimisera leur productivité en leur permettant d'utiliser des options plug-in-play pour l'analytique avancée, les outils de reporting et de visualisation et les plateformes.

En résumé, si vous rencontrez une ou plusieurs de ces exigences, vous devriez vraiment envisager une migration des fichiers plats vers une architecture unique, évolutif et sécurisée, capable de gérer le déploiement et le développement multiplateforme et de vous fournir la puissance nécessaire pour support une myriade de traitements de données avancés et de cas d'usages analytiques. Les fichiers plats ne suffisent plus, mon ami.

À propos d'Actian Corporation

Actian facilite l'accès aux données. Notre plateforme de données simplifie la façon dont les gens connectent, gèrent et analysent les données dans les environnements cloud, hybrides et sur site . Avec des décennies d'expérience dans la gestion des données et l'analyse, Actian fournit des solutions de de haute performance qui permettent aux entreprises de prendre des décisions basées sur les données. Actian est reconnu par les principaux analystes et a reçu des prix de l'industrie pour sa performance et son innovation. Nos équipes partagent des cas d'utilisation éprouvés lors de conférences (par exemple, Strata Data) et contribuent à des projets à code source ouvert. Sur le blog d'Actian, nous abordons des sujets tels que l'ingestion de données en temps réel, l'analyse de données, la gouvernance données, la gestion des données, la qualité des données, l'intelligence des données et l'analyse pilotée par l'IA.