Evolución de la integración de datos con el Internet de los objetos
Resumen
- El auge de las redes de dispositivos finales del IoT genera flujos masivos de datos de dispositivos de alta velocidad y estructura múltiple.
- Las arquitecturas ETL tradicionales por lotes no logran procesar los flujos continuos de datos de los sensores del IoT con la velocidad en tiempo real necesaria.
- Las estrategias modernas de integración de datos deben procesar y filtrar los datos en el borde antes de enviarlos a las nubes centralizadas.
- Actian ofrece motores de base de datos ligeros y herramientas de integración diseñados para gestionar datos de flujo continuo del IoT.
Loraine Lawson siempre hace un trabajo magnífico al abordar el mundo de la integración, y este artículo, que trata sobre los retos y las oportunidades de integración que plantea el Internet de las cosas (IoT), no es una excepción. Además del big data, considero que el IoT es uno de los retos más interesantes en materia de integración de datos que se avecinan. Quizá sea hora de que le dediquemos un poco más de atención.
Se puede pensar en el IoT como el concepto de tener dispositivos tradicionalmente tontos, como termostatos, sistemas de encendido de coches e incluso herramientas eléctricas, que empiezan a comunicarse con sistemas externos a esos dispositivos. Estos sistemas recopilan la información que producen los dispositivos y luego la analizan para tomar medidas o comprender mejor el propio dispositivo.
Por ejemplo, mi moto recoge y transmite datos mediante dispositivos que he integrado en los sistemas principales de la moto, como el encendido, la gestión del combustible, la transmisión, etc. Los dispositivos producen y almacenan datos que me permiten determinar el rendimiento de la moto, e incluso detectar futuros problemas, y tal vez tomar medidas correctivas preventivas.
Esta información puede servir para varias cosas. Puede proporcionar información directa a los sistemas centrales de la motocicleta para corregir problemas de forma proactiva utilizando procesos pre-dirigidos (por ejemplo, enviar un mensaje de texto si la temperatura del aceite está fuera de rango). O bien, los datos se recogen en masa y se analizan para determinar tendencias, como los datos que indican que es probable que se produzca un fallo en uno de los sensores de aire en un futuro próximo. Es muy útil tener este tipo de conversaciones con tu moto, a diferencia de los días pasados en los que básicamente reaccionabas a las cosas cuando fallaban.
Si entiendes esto, aunque no tengas una moto, entiendes de qué va el IoT. Sustituye mi moto por una máquina de resonancia magnética, un termostato doméstico, tu coche, un motor de avión o un robot industrial, y verás que muchos de los conceptos siguen siendo los mismos. De hecho, los datos que estos dispositivos y máquinas pueden crear y transmitir nos permiten comprender mejor su funcionamiento y tomar medidas proactivas para aumentar el valor de su uso.
Entonces, ¿qué pasa con el problema de la integración de datos? Como dice Loraine, "los dispositivos IoT se están convirtiendo en pequeños silos de datos, lo que dificulta el acceso compartido". Tenemos que ser buenos compartiendo datos con estos dispositivos, o de lo contrario el valor que se supone que nos aporta el IoT no se materializará.
Los problemas de integración son muy parecidos a los de antaño. Los dispositivos IoT envían datos en formatos muy diferentes, utilizando interfaces muy distintas. En muchos casos, se comunican con el mundo exterior a posteriori. La planificación, o la falta de planificación, de la integración se pone de manifiesto en la forma en que los dispositivos participan en un enfoque de integración de datos y en lo bien que funcionan con la tecnología de integración de datos. Aunque los proveedores de dispositivos y máquinas ofrecen ahora API, éstas tienden a ser propietarias. Así, se acaban escribiendo interfaces muy diferentes para comunicarse con los distintos dispositivos IoT.
Como ocurre con cualquier tipo de datos, la clave para resolver el problema de hacer más consumibles los datos producidos por los dispositivos es establecer estándares de datos abiertos. Por eso HyperCat es una gran noticia, y promete poner estos dispositivos en la misma página en lo que se refiere a comunicación e integración de datos.
HyperCat es una norma abierta desarrollada por un consorcio británico de 40 empresas tecnológicas. Como ocurre con otras normas nuevas que llegan al sector, queda mucho trabajo por hacer para que se sumen más proveedores de dispositivos IoT y para que la norma se termine e implante. No obstante, se trata de un paso en la dirección correcta.
A nivel técnico, HyperCat es un catálogo de especificaciones que ofrece una forma común de describir la información almacenada en los concentradores de datos o dispositivos. HyperCat indica a los desarrolladores lo que deben incluir en los datos para facilitar a las aplicaciones su búsqueda e identificación.
A mí, HyperCat me parece más una capa de abstracción de datos que proporciona una forma común de ver y entender los datos. Le faltan cosas que se ocupen de las complejidades de la comunicación con los diferentes dispositivos, que creo que es un problema mucho más difícil de resolver.
Ya sea HyperCat u otro estándar, es necesario que los dispositivos IoT ofrezcan un conjunto común de servicios de datos. Hasta que eso ocurra, quienes se integren con estos dispositivos tendrán que utilizar cualquier API y/o servicio que los dispositivos sean capaces de proporcionar. Será como volver a los años 90.
Mientras tanto, es recomendable elaborar tu estrategia de integración de datos. Asegúrate de incluir los dispositivos del IoT y de tener en cuenta cómo el uso de esta tecnología mejorará tu eficiencia. Para la mayoría de las empresas, la capacidad de integrar dispositivos y máquinas en los procesos empresariales fundamentales es algo que se debería haber hecho hace tiempo, y la tecnología de integración de datos está lista para ayudarte a conseguirlo. Es hora de dar el salto al IoT.