Creación de un mercado para la malla de datos: Catálogos de datos de dominio - Parte 3

En la última década, los catálogos de datos han surgido como pilares importantes en el panorama de las iniciativas basadas en datos. Sin embargo, muchos proveedores del mercado no están a la altura de las expectativas, con plazos dilatados, proyectos complejos y costosos, modelos burocráticos de gobernanza de datos, bajos índices de adopción por parte de los usuarios y creación de poco valor. Esta discrepancia se extiende más allá de los proyectos de gestión de metadatos, reflejando un fracaso más amplio a nivel de gestión de datos.

Ante estas carencias, un nuevo concepto está ganando popularidad: el mercado interno, o lo que llamamos Enterprise Data Marketplace (EDM).

En esta serie de artículos, obtenga un extracto de nuestra Guía práctica de la malla de datos, donde explicamos el valor de los mercados de datos internos para la producción y el consumo de productos de datos, cómo un EDM admite la explotación de mallas de datos a mayor escala y cómo van de la mano con una solución de catálogo de datos:

1. Facilitar el consumo de productos de datos mediante metadatos.
2. Creación de un mercado a nivel empresarial.
3. Alimentar el mercado mediante catálogos de datos de dominios específicos.

Estructurar la gestión de datos en torno a dominios y productos de datos es una transformación organizativa que no cambia la realidad operativa de la mayoría de las organizaciones: los datos están disponibles en grandes cantidades, proceden de numerosas fuentes, evolucionan rápidamente y su control es complejo.

Los catálogos de datos sirven tradicionalmente para inventariar todos los datos disponibles y gestionar un conjunto de metadatos para garantizar el control y establecer prácticas de gobernanza.

La malla de datos no elimina esta complejidad: permite distinguir ciertos datos, gestionados como productos de datos, destinados a ser compartidos y utilizados más allá del dominio al que pertenecen. Pero cada dominio es también responsable de gestionar sus datos internos, que se utilizarán para desarrollar productos de datos sólidos y de gran valor: sus datos propietarios, en otras palabras.

Gestión de metadatos en el contexto de un mercado interno alimentado por catálogos específicos de dominio

En la malla de datos, la necesidad de un Catálogo de Datos no desaparece, sino todo lo contrario: cada dominio debe disponer de un catálogo que le permita gestionar eficazmente sus datos propietarios, respaldar la gobernanza del dominio y acelerar el desarrollo de productos de datos sólidos y de gran valor. Así pues, la gestión de metadatos se realiza a dos niveles:

• A nivel de dominio: en forma de catálogo que permite documentar y organizar el universo de datos del dominio. Dado que el catálogo de datos es un componente propietario, no es necesario que todos los dominios utilicen la misma solución.
• A nivel de malla - en forma de mercado en el que se registran los productos de datos compartidos por todos los dominios; el mercado es naturalmente común a todos los dominios.

Con un componente dedicado al mercado, la arquitectura general para la gestión de metadatos es la siguiente:

En esta arquitectura, cada dominio tiene su propio catálogo -que puede basarse en una solución única o no-, pero que debe instanciarse para cada dominio para permitirle organizar sus datos de la forma más eficaz y evitar los escollos de una organización universal de metadatos.

El mercado es un componente dedicado, que ofrece una ergonomía simplificada, y en el que cada dominio despliega metadatos (o incluso datos) para sus productos de datos. Este enfoque requiere una estrecha integración de los distintos módulos:

• Los catálogos de dominio deben integrarse con el mercado para evitar duplicar esfuerzos en la producción de determinados metadatos - especialmente el linaje, pero también los diccionarios de datos (esquema), o incluso las definiciones de negocio que estarán presentes en ambos sistemas.
• Es posible que los catálogos de dominio deban integrarse entre sí - para compartir/sincronizar cierta información, principalmente el glosario empresarial, pero también algunos repositorios.

Catálogo de datos frente a funciones EDM

Cuando examinamos las capacidades respectivas de un Mercado de Datos Empresariales y un Catálogo de Datos, nos damos cuenta de que estas capacidades son muy similares:

Al final, a nivel estrictamente funcional, sus capacidades son muy similares. Lo que distingue a un Catálogo de Datos moderno de un EDM son:

• Su alcance - El catálogo de datos pretende abarcar todos los datos, mientras que el mercado se limita a los objetos compartidos por dominios (productos de datos y otros productos de análisis de dominios).
• Su experiencia de usuario - El catálogo de datos suele ser una herramienta bastante compleja, diseñada para apoyar los procesos de gobernanza a nivel global: se centra en los flujos de trabajo de administración de datos. El mercado, en cambio, suele ofrecer una ergonomía muy sencilla, muy inspirada en la de una plataforma de comercio electrónico, y proporciona una experiencia centrada en el consumo: la compra de datos.

Acerca de Actian Corporation

Actian hace que trabajar con datos sea fácil. Nuestra plataforma de datos simplifica la forma en que las personas conectan, gestionan y analizan datos en entornos cloud, híbridos y locales. Con décadas de experiencia en gestión y analítica de datos, Actian ofrece soluciones de alto rendimiento que ayudan a las empresas a tomar decisiones basadas en datos. Estamos reconocidos por los principales analistas del sector y hemos recibido premios por nuestro rendimiento e innovación. Nuestros equipos comparten casos de éxito en conferencias (como Strata Data) y contribuyen activamente a proyectos de código abierto. En el blog de Actian tratamos temas como la ingesta de datos en tiempo real, el análisis de datos, la gobernanza y gestión de datos, la calidad de los datos, la inteligencia de datos y el análisis impulsado por IA.