Malla de datos

Una malla de datos es una arquitectura que permite democratizar los datos en toda la empresa. A diferencia de los almacenes de datos centralizados, una malla de datos federa los datos y delega la propiedad de los mismos a los dominios empresariales especializados, que publican sus datos como un servicio para que todas las funciones empresariales puedan consumirlos. El resultado es una arquitectura de datos más ágil que permite a las unidades de negocio individuales cierta autonomía para gestionar sus principales activos de datos.

¿Por qué utilizar una arquitectura de malla de datos?

La idea principal de las arquitecturas en malla es permitir una arquitectura de datos más flexible y escalable. Los almacenes de datos empresariales monolíticos y centralizados pueden ser engorrosos de implantar, inflexibles y caros de modificar. Al delegar la curación y administración de conjuntos de datos específicos de un dominio en las funciones empresariales que mejor los conocen, la empresa puede adaptarse mejor a las condiciones cambiantes del negocio.

Una de las principales razones por las que el modelo de malla de datos se amplía es porque evita sobrecargar a los equipos de datos centralizados. Esto se consigue propagando las mejores prácticas estándar en todos los dominios empresariales. La escasez de competencias es una causa común de que los proyectos de big data y lagos de datos se estanquen en pantanos de datos. Las habilidades adquiridas por el personal en un dominio de negocio se transfieren fácilmente a otros dominios, reduciendo los tiempos de formación y permitiendo que los proyectos se entreguen más rápidamente.

Mantener la interoperabilidad entre conjuntos de datos

Un componente central de una malla de datos es el bus de interoperabilidad universal integrado al que se conectan todos los almacenes de datos o mercados de datos específicos de un dominio. Así se evitan los problemas de los mercados de datos tradicionales en silos, que suelen utilizar datos duplicados y desincronizados y herramientas ad hoc. Los datos conservados por un departamento están disponibles para las unidades de negocio relacionadas. Cada almacén de datos departamental publica sus datos como producto en el bus de interoperabilidad.

¿En qué se diferencia una malla de datos de un tejido de datos?

Una malla de datos se compone de un conjunto interconectado de servicios de productos de datos específicos de un dominio con responsabilidades de propiedad delegadas a los distintos dominios de una empresa. Una malla de datos crea un único sistema virtual centralizado sin propiedad distribuida de los datos.

Elementos clave de una malla de datos

Los principales componentes de una malla de datos son:

• Fuentes de datos.
• Infraestructura de datos.
• Datos como servicio específicos de un dominio.
• gouvernance, qualité des données et conventions métadonnées partagées.

Propiedad de los datos y responsabilidades

Cada propietario de datos de dominio está de acuerdo con los niveles de servicio de calidad y disponibilidad de datos de sus pares. Cada dominio utiliza estándares centralizados para los conductos de datos. La malla de datos proporciona almacenamiento estandarizado e infraestructura de streaming. Los conductos ETL pueden ser específicos de cada dominio, pero deben utilizar etiquetas métadonnées , formatos de datos, catalogación, linaje y convenciones de gouvernance datos estándar para facilitar la interoperabilidad y promover el cumplimiento.

Beneficios

Algunas de las muchas ventajas de las arquitecturas de malla de datos son las siguientes:

• Más rapidez en la obtención de valor para los proyectos orientados a los datos.
• Las líneas de negocio pueden responder rápidamente a las presiones competitivas, normativas y de mercado o a las oportunidades de explorar nuevos mercados.
• Las herramientas, normas y procesos compartidos avantage toda la empresa, ya que aumentan la eficacia al reducir la duplicación de esfuerzos.
• Evita los cuellos de botella de los recursos centrales delegando las responsabilidades de los datos a los ámbitos empresariales especializados que mejor entienden sus necesidades de datos.
• Los servicios de datos más modulares son más fáciles de entender y utilizar. Al igual que ocurre con los microservicios, la refactorización de aplicaciones monolíticas en componentes más pequeños y digeribles facilita su uso compartido y su consumo.
• La aplicación coherente de los requisitos de calidad y gouvernance datos en toda la empresa mejora la cooperación y facilita los futuros esfuerzos de integración de datos.
• La transparencia de los datos y procesos en la malla elimina las agrupaciones departamentales de datos en silos inconexos.
• Las empresas obtienen más valor de sus datos porque su federación en toda la organización permite una mejor prise de décision basada en los datos.

¿Cuáles son las características de un producto de datos de éxito?

El factor más importante para el éxito de un producto de datos es su adopción. Las características que impulsan la adopción son la capacidad de descubrimiento, la fiabilidad, la confianza, la seguridad y la calidad de los datos.

Dado que una malla de datos es esencialmente un modelo de autoservicio, los datos publicados deben ser fáciles de encontrar, estar bien documentados y ser fáciles de consumir. Los consumidores pueden dar su opinión a los propietarios de los dominios sobre la calidad y utilidad de un producto de datos para garantizar que se subsanan las deficiencias y permitir un perfeccionamiento continuo.

Gestión de mallas de datos

Los productos y conductos de datos deben supervisarse a nivel de dominio e infraestructura para garantizar altos niveles de disponibilidad y hacer frente a los fallos. Por tanto, las capacidades de supervisión y observabilité se diseñan para facilitar la vida de los desarrolladores y los equipos de infraestructura.

Les produits de données doivent être protégés en encriptant données au repos et en mouvement. El versionado de los servicios de datos permite deshacer las implantaciones erróneas.

Actian soporta Data Marts

Actian Data Platform puede soportar múltiples data marts y almacenes alojados sur site o en múltiples plataformas en la nube. Actian cuenta con conectores integrados a cientos de fuentes de conectores predefinidos, como NetSuite, Salesforce y ServiceNow. Actian Data Platform utiliza una base de datos vectorizada en columnas que supera a las alternativas en 7,9 veces y es ideal para almacenar datos antes de publicarlos como productos de datos dentro de un dominio.