Eine eingebettet Softwareentwickler Flat File Migration Checkliste

Dies ist der letzte Teil einer Reihe von Blogs, die ich über die fortgesetzte Verwendung von Flat Files geschrieben habe und warum sie in Zukunft nicht mehr verwendet werden können. Im ersten Teil ging es um flache Dateien und warum Entwickler von eingebettet Softwareanwendungen sie so gerne verwenden. Im zweiten Teil ging es dann darum, warum eingebettet Entwickler Datenbanken nur ungern einsetzen. Der dritte Teil befasste sich mit der Frage , warum die Entwickler an den Flat-File-Systemen festhalten.

In dieser letzten Folge habe ich festgestellt, dass die Argumente für die Migration von Flat Files wahrscheinlich etwas genauer formuliert werden müssen. Deshalb haben wir zusammen mit unserem technischen Leiter Desmond Tan eine Liste von Gründen entwickelt, bei denen es nicht wirklich darum geht, was Sie derzeit verwenden oder was Sie abstrakt gesehen verwenden sollten. Stattdessen konzentrieren wir uns auf die tatsächlichen Anforderungen, die einen Wechsel weg von Flat Files rechtfertigen. Diese Liste spiegelt die Entwicklung der Anwendungsfälle für eingebettet Datenmanagement in den Bereichen Mobile, IoT und komplexe intelligente Geräte wider. Sie spiegelt auch wider, was unsere Kunden uns in privaten Gesprächen über ihre Herausforderungen und Geschäfts- und Produktanforderungen mitteilen.

Basierend auf diesem Input sind hier die acht wichtigsten Anforderungen an modernes Datenmanagement:

1. Lokale Datenpersistenz und ihre veränderte Nutzung

Im Allgemeinen wurden lokal in flachen Dateien gespeicherte Daten als Zwischenspeicher für sofortige Operationen auf Daten benötigt, die ausschließlich für das betreffende Gerät bestimmt waren. Außerdem wurden diese Daten ohne eine seit langem bestehende und ständig aktualisierte Basis ausgewertet. Die Notwendigkeit, Daten von mehreren Geräten und Datenquellen zu kombinieren, und die Verwendung historischer Daten als Mustergrundlage für alles, vom einfachen Signal-Rausch-Verhältnis bis hin zur Inferenz für Maschinelles Lernen , bedeutet jedoch, dass der Bedarf an Datenmanagement für komplexe Operationen, die die lokale Datenverarbeitung und -analyse speisen, die bloße Funktionalität von Dateisystemen übersteigt.

2. Unterstützung für mehrere Betriebssystemumgebungen mit einem einzigen Speicherformat

Über Produktdesigns, betriebliche Technologieportfolios und die Unterstützung der Unternehmens-IT für Geschäftsbereiche hinweg müssen eine Reihe von Systemen am Rande und zurück im Unternehmen Daten über Betriebssysteme von Android/iOS über Windows/Linux bis hin zu Cloud Umgebungen gemeinsam nutzen. Ein einziges Speicherformat würde die Integrationszeit und -kosten erheblich reduzieren und die Sicherheit verbessern.

3. Datenmanagement für alle Rollen, die an der Datenverarbeitung und -analyse beteiligt sind

Verschiedene Rollen müssen den Zugang zum Edge nutzen Datenmanagement Plattform aus der Ferne und lokal auf dieser Reihe von zugrundeliegenden Plattformen über verschiedene Zugriffsmechanismen, einschließlich CLI, Programmier- und Skriptsprachen. Es gibt wahrscheinlich eine längere Diskussion darüber, warum das einen eigenen Blog verdient.

4. Umgang mit Big Data an der Grenze

Quizfrage: Was sind die vier Vs. für Big Data - Ja, Sie können sie alle nennen, wenn Sie aus dem Tiefschlaf erwachen (für diejenigen unter Ihnen, die sich weigern, diesen wunderbaren Traum zu verlassen: Volume, Variety, Velocity und Value). So wie Hadoop ein erster Schritt auf Unternehmensebene war, um den Bedarf an einem gemeinsamen Reservoir für Big Data zu decken, muss es auch ein Äquivalent für den Edge-Bereich geben. Und wie bei der letzten Anforderung ist ein vollständiger Blog erforderlich, um die weitere Trennung von Flat Files zu diskutieren. Die wichtigste Erkenntnis ist, dass Sie in der Lage sein müssen, verschiedene Datentypen, einschließlich JSON, BLOB und traditionell strukturierte Daten, in einer einzigen Datenbank zu unterstützen.

5. Gemeinsame Nutzung von Daten über OT-, Cloud und traditionelle IT-Umgebungen hinweg

Data sharing muss in der Lage sein, Device-to-Device- und Device-to-Gateway-Szenarien in OT-Umgebungen sowie Cloud und Cloud für Remote- und Zweigstellenumgebungen an der Cloud zu bewältigen. Mit anderen Worten: Sie benötigen eine einzige Plattform für Client-, Peer-to-Peer-, Client-Server- und Internet/Intranet-Architekturen.

6. Eigenständiger Betrieb während Zeiten der Unterbrechung der Verbindung

Auch wenn der Edge-Bereich insgesamt in einen Zustand der Hyperkonnektivität übergeht, sollte dies nicht fälschlicherweise so verstanden werden, dass die Notwendigkeit lokaler Verarbeitung und Analyse entfällt oder verringert wird. Bei vielen betrieblichen Technologieanwendungen ist ein reiner Web-Ansatz nicht praktikabel. Bei autonomen Fahrzeugen beispielsweise kann die Verarbeitung und Entscheidungsfindung auf der Grundlage von Video- und Lidar-Signalen, um zu bestimmen, wohin das Auto gelenkt werden soll, bei welcher Geschwindigkeit und Beschleunigung - oder Verlangsamung - nicht über die Cloud abgewickelt werden, da allein die Latenzzeit für Unfälle sorgen würde. In anderen Fällen kann die Bequemlichkeit oder die Benutzerfreundlichkeit der Grund dafür sein, dass Sie sich für eine lokale Verarbeitung entscheiden. Nehmen wir an, Sie haben Tausende von Alben lokal in Ihrer iTunes-Sammlung und möchten auf Ihrem vierzehnstündigen Flug von San Francisco nach Neu-Delhi nach einem Lied anhand seines Textes suchen.

7. Handhabung von Hochgeschwindigkeits- und Mehrkanal-Datenerfassung

Viele der erfassten Kernsignale werden sich auf dem Weg zu einem stärker vernetzten und automatisierten Zustand nicht ändern; Druck, Lautstärke und Temperatur sind drei gute Beispiele dafür. Wie bereits erwähnt, werden jedoch Videoströme für alle Bereiche von der Gesichtserkennung bis zur maschinellen Bildverarbeitung immer häufiger und mit weitaus höheren Auflösungen und Bildraten erfasst - denken Sie an 4K UHD bei 120 Hz. Auch Lidar-Signale wurden bereits erwähnt. Ich war einmal Ingenieur und habe Laserradarsysteme gebaut. Selbst in den dunklen Zeiten konnte ich problemlos 400 MB Daten pro Tag sammeln und innerhalb von Millisekunden Entscheidungen über jeden Satz gesammelter Lidar-Signale treffen. Ich könnte ein Beispiel nach dem anderen anführen. Der Punkt ist, dass mit der modernen Datenverarbeitung und -analyse, bei der mehrere Terabyte pro Tag anfallen und die Daten sowohl sofort verarbeitet als auch ganz oder teilweise für eine spätere Weiterverarbeitung abgerufen werden, alle diese Szenarien alltäglich sein werden.

8. Nutzung ergänzender Standard-Ökosystemkomponenten

Es versteht sich von selbst, dass diejenigen, die Flat Files verwenden, wahrscheinlich auch bei anderen Teilen ihrer Lösungen Do-it-yourself-Typen sind. Die Umstellung von Flat Files wird die Produktivität optimieren, indem sie die Nutzung von Plug-in-Play-Optionen für advanced analytics, Berichts- und Visualisierungstools und Plattformen ermöglicht.

Zusammenfassend lässt sich sagen, dass Sie, wenn Sie eine oder mehrere dieser Anforderungen sehen, wirklich eine Migration von flachen Dateien auf eine einzige, skalierbar, sichere Architektur in Betracht ziehen sollten, die für die Deployment und Entwicklung auf mehreren Plattformen geeignet ist und Ihnen die nötige Leistung bietet, um eine Vielzahl von fortschrittlichen Datenverarbeitungs- und Analytics Use Cases zu unterstützen. Mit Flat Files ist es einfach nicht mehr getan.

Über Actian Corporation

Actian macht Daten einfach. Unsere Datenplattform vereinfacht die Verbindung, verwalten und Analyse von Daten in Cloud, Hybrid- und On-Premises . Mit jahrzehntelanger Erfahrung in den Bereichen Datenmanagement und Analytik liefert Actian High-Performance Lösungen, die Unternehmen in die Lage versetzen, data driven Entscheidungen zu treffen. Actian wird von führenden Analysten anerkannt und hat Branchenauszeichnungen für Leistung und Innovation erhalten. Unsere Teams präsentieren bewährte Anwendungsfälle auf Konferenzen (z. B. Strata Data) und tragen zu Open-Source-Projekten bei. Im Actian-Blog behandeln wir Themen, die von Dateneingang bis hin zu KI-gesteuerter Analytik reichen. Lernen Sie das Führungsteam kennen https://www.actian.com/company/leadership-team/