Malla de datos

Una malla de datos es una arquitectura que permite democratizar los datos en toda la empresa. A diferencia de los almacenes de datos centralizados, una malla de datos federa los datos y delega la propiedad de los mismos a los dominios empresariales especializados, que publican sus datos como un servicio para que todas las funciones empresariales puedan consumirlos. El resultado es una arquitectura de datos más ágil que permite a las unidades de negocio individuales cierta autonomía para gestionar sus principales activos de datos.

¿Por qué utilizar una arquitectura de malla de datos?

La idea principal de las arquitecturas en malla es permitir una arquitectura de datos más flexible y escalable. Los almacenes de datos empresariales monolíticos y centralizados pueden ser engorrosos de implantar, inflexibles y caros de modificar. Al delegar la curación y administración de conjuntos de datos específicos de un dominio en las funciones empresariales que mejor los conocen, la empresa puede adaptarse mejor a las condiciones cambiantes del negocio.

Una de las principales razones por las que el modelo de malla de datos se amplía es porque evita sobrecargar a los equipos de datos centralizados. Esto se consigue propagando las mejores prácticas estándar en todos los dominios empresariales. La escasez de competencias es una causa común de que los proyectos de big data y lagos de datos se estanquen en pantanos de datos. Las habilidades adquiridas por el personal en un dominio de negocio se transfieren fácilmente a otros dominios, reduciendo los tiempos de formación y permitiendo que los proyectos se entreguen más rápidamente.

Mantener la interoperabilidad entre conjuntos de datos

Un componente central de una malla de datos es el bus de interoperabilidad universal integrado al que se conectan todos los almacenes de datos o mercados de datos específicos de un dominio. Así se evitan los problemas de los mercados de datos tradicionales en silos, que suelen utilizar datos duplicados y desincronizados y herramientas ad hoc. Los datos conservados por un departamento están disponibles para las unidades de negocio relacionadas. Cada almacén de datos departamental publica sus datos como producto en el bus de interoperabilidad.

¿En qué se diferencia una malla de datos de un tejido de datos?

Una malla de datos se compone de un conjunto interconectado de servicios de productos de datos específicos de un dominio con responsabilidades de propiedad delegadas a los distintos dominios de una empresa. Una malla de datos crea un único sistema virtual centralizado sin propiedad distribuida de los datos.

Elementos clave de una malla de datos

Los principales componentes de una malla de datos son:

• Fuentes de datos.
• Infraestructura de datos.
• Datos como servicio específicos de un dominio.
• gouvernance, qualité des données et conventions métadonnées partagées.

Propiedad de los datos y responsabilidades

Cada propietario de datos de dominio está de acuerdo con los niveles de servicio de calidad y disponibilidad de datos de sus pares. Cada dominio utiliza estándares centralizados para los conductos de datos. La malla de datos proporciona almacenamiento estandarizado e infraestructura de streaming. Los conductos ETL pueden ser específicos de cada dominio, pero deben utilizar etiquetas métadonnées , formatos de datos, catalogación, linaje y convenciones de gouvernance datos estándar para facilitar la interoperabilidad y promover el cumplimiento.

Beneficios

Algunas de las muchas ventajas de las arquitecturas de malla de datos son las siguientes:

• Más rapidez en la obtención de valor para los proyectos orientados a los datos.
• Las líneas de negocio pueden responder con rapidez a las presiones competitivas, normativas y de mercado o a las oportunidades de explorar nuevos mercados.
• Las herramientas, normas y procesos compartidos avantage toda la empresa, ya que aumentan la eficacia al reducir la duplicación de esfuerzos.
• Evita los cuellos de botella de los recursos centrales delegando las responsabilidades de los datos a los ámbitos empresariales especializados que mejor entienden sus necesidades de datos.
• Los servicios de datos más modulares son más fáciles de entender y utilizar. Al igual que ocurre con los microservicios, la refactorización de aplicaciones monolíticas en componentes más pequeños y digeribles facilita su uso compartido y su consumo.
• La aplicación coherente de los requisitos de calidad y gouvernance datos en toda la empresa mejora la cooperación y facilita los futuros esfuerzos de integración de datos.
• La transparencia de datos y procesos en la malla elimina los grupos departamentales de datos inconexos y aislados.
• Las empresas obtienen más valor de sus datos porque su federación en toda la organización permite una mejor prise de décision basada en los datos.

¿Cuáles son las características de un producto de datos de éxito?

El factor más importante para el éxito de un producto de datos es su adopción. Las características que impulsan la adopción son la capacidad de descubrimiento, la fiabilidad, la confianza, la seguridad y la calidad de los datos.

Dado que una malla de datos es esencialmente un modelo de autoservicio, los datos publicados deben ser fáciles de encontrar, estar bien documentados y ser fáciles de consumir. Los consumidores pueden dar su opinión a los propietarios de los dominios sobre la calidad y utilidad de un producto de datos para garantizar que se subsanan las deficiencias y permitir un perfeccionamiento continuo.

Gestión de mallas de datos

Los productos y conductos de datos deben supervisarse a nivel de dominio e infraestructura para garantizar altos niveles de disponibilidad y hacer frente a los fallos. Por tanto, las capacidades de supervisión y observabilidad están diseñadas para facilitar la vida de los desarrolladores y los equipos de infraestructura.

Les produits de données doivent être protégés en encriptant données au repos et en mouvement. El versionado de los servicios de datos permite deshacer las implantaciones erróneas.

Actian y la plataforma de inteligencia de datos

Actian Data Intelligence Platform está diseñada para ayudar a las organizaciones a unificar, gestionar y comprender sus datos en entornos híbridos. Reúne la gestión de metadatos, la gobernanza, el linaje, la supervisión de la calidad y la automatización en una única plataforma. Esto permite a los equipos ver de dónde proceden los datos, cómo se utilizan y si cumplen los requisitos internos y externos.

A través de su interfaz centralizada, Actian permite conocer en tiempo real las estructuras y flujos de datos, lo que facilita la aplicación de políticas, la resolución de problemas y la colaboración entre departamentos. La plataforma también ayuda a conectar los datos con el contexto empresarial, lo que permite a los equipos utilizar los datos de forma más eficaz y responsable. La plataforma de Actian está diseñada para escalar con ecosistemas de datos en evolución, apoyando un uso de datos consistente, inteligente y seguro en toda la empresa. Solicite su demostración personalizada.