Zurück in die Zukunft für Flat Files - Teil 3
Warum eingebettet Software-Anwendungsentwickler flache Dateien auslagern sollten, bevor sie sie mit Dump bearbeiten müssen
Vor ein paar Wochen habe ich einen ersten Blog über Flat Files geschrieben und warum eingebettet Softwareentwickler sie so gerne verwenden. Im nächsten Blog ging es dann darum, warum eingebettet Entwickler nur ungern Datenbanken verwenden. In diesem dritten Teil möchte ich erörtern, warum sie die Abkehr von Flat Files in Erwägung ziehen sollten - schließlich sollte hier das alte Sprichwort gelten: "Wenn es nicht kaputt ist, sollte man es nicht reparieren", bevor wir diskutieren, warum eine Option besser ist als eine andere.
Leiden Sie unter dem "Who Moved My Cheese"-Syndrom?
In den meisten Fällen vollzieht sich der Wandel nicht in einer Weise, die wir sofort erkennen und auf die wir uns gezwungen sehen zu reagieren. Dies ist sicherlich der Fall bei der Edge Intelligence und den Faktoren, die sie antreiben.
Einzeln betrachtet, machen Veränderungen wie der Zuwachs an Fähigkeiten beim Wechsel von 32-Bit- zu 64-Bit-Prozessoren oder die Zunahme der Geschwindigkeit und Größe von DRAM, die Möglichkeit der Nutzung anspruchsvollerer Tools und Betriebsumgebungen durch eine größere Gemeinschaft von Entwicklern und Datenwissenschaftlern sowie die Fähigkeit, komplexere Algorithmen zur Implementierung von Maschinelles Lernen zu nutzen, den Wechsel von Flat Files zu einem anderen Datenmanagement nicht zwingend erforderlich.
Der Antrieb für den Wandel ergibt sich jedoch aus den externen Anforderungen, die durch das Zusammentreffen dieser Veränderungen erfüllt werden könnten, die eine Vielzahl neuer Möglichkeiten für die Unternehmen eröffnen, die Entscheidungsfindung am Ort des Geschehens - am Rande des Geschehens - zu automatisieren und zu verbessern.
Was hat also das "Who Moved My Cheese"-Syndrom mit all diesen neuen Möglichkeiten zu tun, die Entwickler, die Flat Files verwenden, zum Umstieg zwingen? Ganz einfach: Flat Files können immer noch ihren Zweck erfüllen - nur nicht mehr so gut - und das ist es, was die Möglichkeit schafft, den Wechsel zu bekämpfen.
Im Allgemeinen, wenn diejenigen mit echtem Fachwissen eine bewährte Methodik verwenden, die immer noch in der Lage ist, eine neue Anforderung irgendwie suboptimal kennenlernen , liegt es in der menschlichen Natur, die weitere Verwendung dieser suboptimalen Methodik rechtfertigen und erzwingen zu wollen. Schauen wir uns an, warum flache Dateien nicht optimal für den Umgang mit diesem Zusammenfluss neuer Rechenressourcen und dem Wunsch, sie für die kommende Verschmelzung des industriellen Internets der Dinge (IIoT) und der künstlichen Intelligenz (KI) zu nutzen, sind.
Für dich mag es stinkender Käse sein, aber es ist mein Lieblingsparfüm!
Flache Dateien sind einfach zu verwenden, zuverlässig und kosten nichts, da sie mit dem zugrunde liegenden Betriebssystem gebündelt werden, daher ist es kein Wunder, dass sie so weit verbreitet sind. Der Übergang von im Silo, niedriger Datenrate und einfacher Verarbeitung zum hypervernetzten IIoT mit KI am Rande bedeutet jedoch, dass flache Dateien den Schnuppertest für den Einsatz in der Zukunft aus den folgenden drei Gründen nicht bestehen werden:
- Die steigende Nachfrage nach Edge Intelligence und insbesondere nach IIoT wird den Bedarf an verteiltem Datenmanagement nicht nur an einfacher lokaler Datenspeicherung und -abfrage vorantreiben.
Bei Dateisystemen geht es in erster Linie um die Datenspeicherung – die Grundlage des Datenmanagement, aber nicht um Datenmanagement umfassendes Datenmanagement sich. Und obwohl moderne Dateisysteme oft Funktionen wie Replikation, Defragmentierung, Verschlüsselung und andere wichtige moderne Datenmanagement umfassen, ersetzen sie keine Content-Management-Systeme, geschweige denn Records-Management- oder Datenbanksysteme, die über erweiterte Funktionen verfügen, darunter integrierte Indizierung, Filterung, komplexe Abfragen, Client-Server, Peer-to-Peer und andere wichtige Funktionen, die für Datenmanagement IoT erforderlich sind. - Moderne Edge-Intelligenz benötigt Unterstützung für Inline-Analysen, die auf mehr als nur lokal bereitgestellten Datenströmen basieren
Die Edge-Datenverarbeitung und -Analyse beschränkte sich bislang weitgehend auf die einfache Datenverarbeitung eines einzelnen Datenstroms und Datentyps, der als Zeitreihendatensatz mit zeitlicher Filterung verarbeitet wurde, um ein besseres Signal-Rausch-Verhältnis (SNR) zu erzielen oder Daten auszusortieren, die nicht von einem bestimmten, unauffälligen Schwellenwert abgewichen sind. In Zukunft wird es multiple data und Datentypen mit Referenz-Basismustern geben, die mit Maschinelles Lernen korreliert werden. Diese komplexeren Ansätze erfordern möglicherweise Daten von benachbarten Geräten, Upstream-Daten von weit entfernten Systemen wie ERP-Systemen im Rechenzentrum. Integrierte Funktionen für Verknüpfungen über mehrere Tabellen hinweg, die Fähigkeit, Streaming zu verarbeiten, sowie das Veröffentlichen und Abonnieren für Peer-to-Peer und Client-Server. Diese Anforderungen sind weitaus komplexer und lassen sich nicht so einfach von Grund auf neu erstellen, wie es in der Vergangenheit bei einfachen Indizierungen, Sortierungen und anderen typischen Flatfile-DIY-Add-ons der Fall war. Mit einem modernen Datenmanagement sind all diese Funktionen hypervernetzt, und die Interoperabilität mit Streaming wie Kafka oder Spark ist selbstverständlich. - Der Lebenszyklus Maschinelles Lernen ML), Berichterstellung und Visualisierungstools erfordern eine Plug-and-Play-Abrufbarkeit, die über die für Dateisysteme geltenden Industriestandards hinausgeht.
Es geht nicht nur darum, das Rad für lokale Funktionen für Inline-Analysen zur Unterstützung von ML neu zu erfinden, sondern auch darum, dass ML einen Lebenszyklus hat, der Training mit Datensätzen aus dem Edge umfasst. Nach Training werden die Algorithmen dann unbeaufsichtigt am Edge eingesetzt, um ML-Inferenzen für neue Daten durchzuführen. Reporting und Visualisierung sind entscheidend für die Analyse, wie gut ML funktioniert und ob Sie die erwarteten Geschäftsergebnisse erzielen. Auch hier verfügen moderne Datenmanagement über integrierte Funktionen, die diese Tools unterstützen und zur Erreichung dieser Ziele beitragen.
Zugegeben, in allen Fällen werden immer noch Dateisysteme benötigt. Die meisten Datenbanken, Historiker oder andere selbst entwickelte Datenmanagement nutzen immer Dateisysteme zur Datenspeicherung. Außerdem kann man mit genügend Aufwand und Schweiß das Rad mit zusätzlicher Logik immer wieder neu erfinden, um jede Funktionalität zu unterstützen, die in einem Standardprodukt enthalten ist. Die Probleme bei einem Flat-File-Ansatz sind die Opportunitätskosten, die geringere Innovationsgeschwindigkeit und die mangelnde Zweckmäßigkeit, die dadurch entsteht, dass man ein viel größeres, viel ausgefeilteres Rad bauen muss. Im nächsten Abschnitt werden wir genau untersuchen, was ein modernes Datenmanagement von Haus aus braucht.
Actian ist der Branchenführer für operative Data Warehouse- und Datenmanagement für moderne Unternehmen. Actian bietet ein komplettes Set an vernetzten Lösungen, die Sie bei der verwalten Daten On-Premises, in der Cloud und am Rande des Internets mit mobilen Geräten und IoT unterstützen. Actian kann Ihnen dabei helfen, die technische Grundlage zu schaffen, die Sie für eine echte geschäftliche Agilität benötigen. Um mehr zu erfahren, besuchen Sie www.actian.com.
Bleiben Sie in Verbindung
Datenanalysen, die Ihnen geliefert werden.
(z. B. sales@..., support@...)
