Los archivos planos vuelven al futuro - Parte 3

Por qué los desarrolladores de aplicaciones de software Embarqué deben volcar los archivos planos antes de tener que ejecutar Dump en ellos

Hace unas semanas escribí un primer blog sobre los archivos planos y por qué los desarrolladores de aplicaciones de software Embarqué los adoptaron con facilidad. Luego, en el siguiente blog, hablé de por qué los desarrolladores de Embarqué son reacios a utilizar bases de datos. En esta tercera entrega, me gustaría discutir por qué deberían considerar alejarse de los archivos planos - después de todo, el viejo adagio debería aplicarse aquí: "Si no está roto, no lo arregles" debería aplicarse antes de discutir por qué una opción es mejor que otra.

¿Sufre el síndrome de "quién me ha movido el queso"?

En la mayoría de los casos, los cambios no se producen de forma que los reconozcamos inmediatamente y nos sintamos obligados a reaccionar ante ellos. Este es sin duda el caso de la inteligencia de vanguardia y los factores que la impulsan.

Si se consideran individualmente, cambios como el aumento de las capacidades al pasar de procesadores de 32 bits a 64 bits, o el aumento de la velocidad y el tamaño de la DRAM, la capacidad de utilizar herramientas y entornos operativos más sofisticados por parte de una comunidad más amplia de desarrolladores y científicos de datos, así como la capacidad de aprovechar algoritmos más complejos capaces de aplicar el aprendizaje automático, no dictan la necesidad de pasar de los archivos planos a algún otro sistema de gestion des données de última generación.

Sin embargo, el impulso para el cambio procede de las demandas externas que podrían satisfacerse mediante la confluencia de estos cambios, lo que desencadenaría un sinfín de nuevas oportunidades para que las empresas automatizaran y mejoraran la toma prise de décision en el punto de acción, en el límite.

Entonces, ¿qué tiene que ver el síndrome "Who Moved My Cheese" con todas estas nuevas oportunidades que obligan a cambiar a los desarrolladores que utilizan archivos planos? Sencillo: los archivos planos aún pueden hacer su trabajo, pero no tan bien, y eso es lo que crea una oportunidad para luchar contra el cambio.

En general, cuando los que tienen verdadera experiencia utilizan una metodología probada y demostrada que sigue siendo capaz de satisfacer de alguna manera subóptima un nuevo requisito, es de naturaleza humana querer justificar y forzar el uso continuado de esa metodología subóptima. Veamos por qué los archivos planos no son óptimos para gestionar esta confluencia de nuevos ressources de calcul y el deseo de aprovecharlos para la próxima fusión del Internet Industrial de las Cosas (IIoT) y la Inteligencia Artificial (IA).

Puede que a ti te huela a queso, ¡pero es mi perfume favorito!

Los archivos planos son fáciles de usar, fiables y no cuestan nada, ya que vienen incluidos con el sistema operativo subyacente, por lo que no es de extrañar que su adopción esté tan extendida. Sin embargo, el paso de un procesamiento en silos, de baja velocidad de datos y simple a una IIoT hiperconectada con IA en el perímetro significa que los archivos planos no pasarán la prueba del olfato para su uso en el futuro por las tres razones siguientes:

1. La creciente demanda de Edge Intelligence y, en particular, de IIoT, impulsará la necesidad de una gestión distribuida gestion des données y no solo de un simple almacenamiento y recuperación de datos locales.
   Los sistemas de archivos son en realidad sistemas de almacenamiento de datos, el nivel básico de la gestion des données de gestion des données , pero no una gestion des données completa en sí misma. Y aunque los sistemas de archivos más avanzados suelen incluir replicación, desfragmentación, cifrado y otras funciones clave de la gestion des données gestion des données gestion des données moderna, no sustituyen a los sistemas de gestión de contenidos, y mucho menos a los sistemas de gestión de registros o bases de datos que incluyen funciones más avanzadas como indexación, filtrado, consultas sofisticadas, cliente-servidor, peer-to-peer y otras funciones clave necesarias para la gestion des données Edge en casos de uso de IoT.
2. La inteligencia de borde moderna necesita soporte para el análisis en línea basado en algo más que los flujos de datos de origen local
   El procesamiento y la analítica de datos Edge se han limitado en gran medida a un simple procesamiento de datos en un único flujo de datos y tipo de datos que se procesan como un conjunto de datos de series temporales con filtrado temporal para mejorar la relación señal-ruido (SNR) o para descartar los datos que no se han desviado de algún umbral anodino. En el futuro, habrá múltiples flujos de datos y tipos de datos con patrones de referencia que se referenciarán, correlacionarán y a los que se aplicarán algoritmos de aprendizaje automático. Estos enfoques más sofisticados pueden requerir datos de dispositivos vecinos, datos ascendentes de sistemas tan lejanos como los sistemas ERP en el centro de datos. Funcionalidad integrada para uniones de múltiples tablas, capacidad para gestionar el flujo de diferentes tipos de datos, publicar y suscribirse para peer-to-peer y cliente-servidor. Estos requisitos son mucho más sofisticados y no son fáciles de crear desde cero de la forma en que se han creado en el pasado la indexación simple, la ordenación y otros complementos típicos del bricolaje de archivos planos. Con un sistema moderno gestion des données , toda esta funcionalidad está hiperconectada y la interoperabilidad con estándares de transmisión de datos como Kafka o Spark es un hecho.
3. El ciclo de vida del aprendizaje automático (ML), la generación de informes y las herramientas de visualización necesitan una recuperación plug-and-play basada en estándares del sector, además de los de los sistemas de archivos.
   No se trata sólo de reinventar la rueda para que la funcionalidad local de los análisis en línea sea compatible con el ML, sino también del hecho de que el ML tiene un ciclo de vida que incluye el entrenamiento de algoritmos con conjuntos de datos procedentes del borde. Tras el entrenamiento, los algoritmos se despliegan sin supervisión en el perímetro para realizar la inferencia de ML en los nuevos datos. La generación de informes y la visualización son fundamentales para analizar el funcionamiento del ML y si se obtienen los resultados empresariales esperados. Una vez más, los sistemas modernos gestion des données de borde tienen funcionalidades integradas para ayudar con estas herramientas y en apoyo de estos objetivos.

Es cierto que, en todos los casos, los sistemas de archivos siguen siendo necesarios. La mayoría de las bases de datos, historiales u otros sistemas de gestion des données siempre utilizan sistemas de archivos para el almacenamiento de datos. Además, con suficiente fuerza bruta y sudor, siempre se puede reinventar la rueda con lógica añadida para soportar cualquier funcionalidad encontrada en algo off-the-shelf. Los problemas de adoptar un enfoque de archivo plano son los costes de oportunidad, la reducción de la velocidad de innovación y las deficiencias de adecuación al propósito creadas por la necesidad de construir una rueda mucho más grande y sofisticada. En la próxima sección analizaremos qué se necesita exactamente en un sistema moderno gestion des données .

Actian es el líder del sector en soluciones de almacén de datos operativos y gestion des données en el perímetro para empresas modernas. Con un conjunto completo de soluciones conectadas para ayudarle a gestionar datos sur site, en la nube y en el perímetro con móviles e IoT. Actian puede ayudarle a desarrollar la base técnica necesaria para respaldar una verdadera agilidad empresarial. Para obtener más información, visite www.actian.com.

Acerca de Actian Corporation

Actian hace que trabajar con datos sea fácil. Nuestra plataforma de datos simplifica la forma en que las personas conectan, gestionan y analizan datos en entornos cloud, híbridos y locales. Con décadas de experiencia en gestión y analítica de datos, Actian ofrece soluciones de alto rendimiento que ayudan a las empresas a tomar decisiones basadas en datos. Estamos reconocidos por los principales analistas del sector y hemos recibido premios por nuestro rendimiento e innovación. Nuestros equipos comparten casos de éxito en conferencias (como Strata Data) y contribuyen activamente a proyectos de código abierto. En el blog de Actian tratamos temas como la ingesta de datos en tiempo real, el análisis de datos, la gobernanza y gestión de datos, la calidad de los datos, la inteligencia de datos y el análisis impulsado por IA.