¿Qué es una malla de datos?

#Lago de datos #Calidad de los datos #Almacén de datos

Resumen

Data Mesh es una arquitectura de datos descentralizada que organiza los datos por ámbitos de negocio en lugar de centralizarlos.
Se diferencia de los lagos y los almacenes de datos en que se centra en la propiedad del dominio y en los datos como producto.
Este enfoque aumenta la autonomía, la escalabilidad y la relevancia de los datos para cada unidad de negocio.
Para que la implementación sea un éxito, se requiere una buena gestión, datos de calidad y herramientas como los catálogos de datos.
Data Mesh combina la propiedad descentralizada de los datos con una gobernanza técnica y unas normas centralizadas.

En esta nueva era de la información, se utilizan nuevos términos en las organizaciones que trabajan con datos: plataforma de gestión de datos, calidad de los datos, lago de datos, almacén de datos…

Detrás de cada una de estas palabras se esconden particularidades, soluciones técnicas, etc. Vamos a desentrañarlas.

¿Has dicho «Data Mesh»? No te avergüences si no estás familiarizado con el concepto. El término no se empezó a utilizar hasta 2019, como respuesta al creciente número de fuentes de datos y a la necesidad de agilidad empresarial.

El modelo Data Mesh se basa en el principio de una arquitectura descentralizada o distribuida que aprovecha una malla de datos en el sentido literal del término.

Si bien un «data lake» puede considerarse un espacio de almacenamiento de datos sin procesar y el «data warehouse» está diseñado como una plataforma para recopilar y analizar datos heterogéneos, el «data mesh» responde a un caso de uso diferente.

Sobre el papel, un almacén de datos y una malla de datos tienen mucho en común, sobre todo en lo que respecta a su objetivo principal, que es proporcionar acceso permanente y en tiempo real a la información más actualizada posible. Pero la malla de datos va más allá. La actualidad de la información es solo uno de los elementos del sistema.

Al formar parte de un modelo distribuido, Data Mesh está diseñado para proporcionar a cada línea de negocio de tu empresa la información clave que le concierne.

Para hacer frente a este reto, Data Mesh se basa en la creación de dominios de datos.

¿Cuáles son las ventajas? Tus equipos ganarán en autonomía gracias a la gestión local de los datos, a una descentralización de tu empresa que permitirá agregar cada vez más datos y, por último, a un mayor control sobre la organización general de tus activos de datos.

Data Mesh: entre la lógica y la organización

Si un lago de datos es, en definitiva, un único depósito para todos tus datos, Data Mesh es todo lo contrario. Olvídate de la dimensión monolítica de un «Data Lake». Los datos son un activo vivo y en constante evolución, una herramienta para comprender tu mercado y tu ecosistema, y un instrumento de conocimiento y comprensión.

Por lo tanto, para asimilar el concepto de integración de datos, es necesario cambiar la forma de pensar sobre los datos. ¿Cómo podemos hacerlo? Sientando las bases para una organización multidominio. Cada tipo de dato tiene su propio uso, su propio objetivo y su propia explotación. A partir de ahí, todas las áreas de negocio de tu empresa tendrán que basar sus acciones y decisiones en los datos que les resulten realmente útiles para cumplir sus misiones. Los datos que utiliza el departamento de marketing no son los mismos que utilizan los equipos de ventas o de producción.

Por lo tanto, la implementación de un catálogo de datos es un requisito previo esencial para la creación de una «Data Mesh». Sin una visión clara de la gobernanza de tus datos, resultará difícil poner en marcha la transformación de tu empresa. La calidad de los datos también es un elemento fundamental. Pero, en última instancia, la «Data Mesh» le ayudará al descentralizar la responsabilidad sobre los datos hasta el nivel de dominio y al proporcionar datos transformados de alta calidad.

Los retos

¿Te parece imposible adoptar Data Mesh porque el proyecto te parece complejo y técnico? ¡No hay motivo para alarmarse! Data Mesh, más allá de su carácter técnico, sus requisitos y el rigor que conlleva, es ante todo un nuevo paradigma. Debe llevar a todas las partes interesadas de tu organización a considerar los datos como un producto dirigido al negocio.

En otras palabras, al adoptar un modelo de «Data Mesh», la infraestructura técnica del entorno de datos se centraliza, mientras que la gestión operativa de los datos se descentraliza y se confía a las unidades de negocio.

Con Data Mesh, se crean las condiciones necesarias para que todos tus equipos se familiaricen con los datos, de modo que cada empleado pueda basar su trabajo diario en ellos.

La paradoja del Data Mesh

El objetivo de Data Mesh es poner los datos al servicio de la empresa. Esto significa que tus equipos deben poder acceder a ellos fácilmente, en cualquier momento, y manipularlos para que sirvan de base a sus actividades diarias.

Sin embargo, para preservar la calidad de tus datos o garantizar el cumplimiento de las normas de gobernanza, la gestión del cambio es fundamental y la definición de las prerrogativas de cada persona resulta decisiva. A la hora de implementar Data Mesh, tendrás que sentar unas bases sólidas en la organización.

Por un lado, el libre acceso a los datos para cada empleado (lo que denominamos «gobernanza funcional»). Por otro lado, la gestión y la administración, es decir, la «gobernanza técnica» en manos de los equipos de datos.

Descompartimentar los usos mediante la compartimentación de funciones: esa es la paradoja de Data Mesh.

Acerca del autor