Creación de un mercado para la malla de datos: Facilitar el producto de datos - Parte 1
Corporación Actian
28 de mayo de 2024
En la última década, los catálogos de datos han surgido como pilares importantes en el panorama de las iniciativas basadas en datos. Sin embargo, muchos proveedores del mercado no están a la altura de las expectativas, con plazos dilatados, proyectos complejos y costosos, modelos burocráticos de gobernanza de datos, bajos índices de adopción por parte de los usuarios y creación de poco valor. Esta discrepancia se extiende más allá de los proyectos de gestión de metadatos, reflejando un fracaso más amplio a nivel de gestión de datos.
Ante estas carencias, un nuevo concepto está ganando popularidad: el mercado interno, o lo que llamamos Enterprise Data Marketplace (EDM).
En esta serie de artículos, obtenga un extracto de nuestra Guía práctica de la malla de datos, donde explicamos el valor de los mercados de datos internos para la producción y el consumo de productos de datos, cómo un EDM admite la explotación de mallas de datos a mayor escala y cómo van de la mano con una solución de catálogo de datos:
- Facilitar el consumo de productos de datos mediante metadatos
- Crear un mercado a nivel de empresa
- Alimentar el mercado mediante catálogos de datos de dominios específicos
Antes de sumergirnos en el mercado interno, volvamos rápidamente a la noción de producto de datos, que creemos que es la piedra angular de la malla de datos y el primer paso para transformar la gestión de datos.
Compartir y explotar productos de datos mediante metadatos
Como mencionamos en nuestra serie anterior sobre mallas de datos, un producto de datos es un conjunto de datos gobernado, reutilizable y escalable que ofrece garantías de calidad de datos y de cumplimiento de diversas normativas y reglas internas. Tenga en cuenta que esta definición es bastante restrictiva: excluye otros tipos de productos como algoritmos de aprendizaje automático, modelos o cuadros de mando.
Aunque estos artefactos deben gestionarse como productos, no son productos de datos. Son otros tipos de productos, que podrían denominarse de forma muy general "productos analíticos", de los que los productos de datos son un subconjunto.
En la práctica, un producto de datos operativos consta de dos cosas:
- Datos - Materializados en una plataforma de datos centralizada o descentralizada, garantizando el direccionamiento de los datos, la interoperabilidad y la seguridad de acceso.
- Metadatos - Proporcionar toda la información necesaria para compartir y utilizar los datos.
Los metadatos garantizan que los consumidores dispongan de toda la información necesaria para utilizar el producto.
Suele abarcar los siguientes aspectos:
- Esquema - Proporciona la estructura técnica del producto de datos, la clasificación de los datos, las muestras y su origen (linaje).
- Gobernanza - Identificación del propietario o propietarios del producto, sus versiones sucesivas, su posible depreciación, etc.
- Semántica - Proporcionar una definición clara de la información expuesta, idealmente vinculada al glosario empresarial de la organización y a una documentación exhaustiva del producto de datos.
- Contrato - Definición de garantías de calidad, modalidades de consumo (protocolos y seguridad), posibles restricciones de uso, normas de redistribución, etc.
En la lógica de malla de datos, estos metadatos son gestionados por el equipo de producto y se despliegan siguiendo el mismo ciclo de vida que los datos y los pipelines. Queda una pregunta fundamental: ¿dónde pueden desplegarse los metadatos?
Utilización de un mercado de datos para desplegar metadatos
La mayoría de las organizaciones ya disponen de un sistema de gestión de metadatos, normalmente en forma de Catálogo de Datos.
Pero los catálogos de datos, en su forma actual, presentan importantes inconvenientes:
- No siempre admiten la noción de producto de datos, sino que hay que emularla más o menos con otros conceptos.
- Son complejas de utilizar: diseñadas para catalogar un gran número de activos con una granularidad a veces muy fina, a menudo adolecen de falta de adopción más allá de los equipos centralizados de gestión de datos.
- En la mayoría de los casos, imponen una organización rígida y única de los datos, decidida y diseñada de forma centralizada, que no refleja la variedad de los distintos ámbitos ni la evolución de la organización a medida que se amplía la malla de datos.
- Sus capacidades de búsqueda suelen ser limitadas, sobre todo para los aspectos exploratorios: a menudo es necesario saber lo que se busca para poder encontrarlo.
- La experiencia que ofrecen a veces carece de la sencillez a la que aspiran los usuarios: buscar con unas pocas palabras clave, identificar el producto de datos adecuado y, a continuación, desencadenar el proceso operativo de una solicitud de acceso o entrega de datos.
El mercado interno, o Enterprise Data Marketplace (EDM) es, por tanto, un nuevo concepto que está ganando popularidad en el círculo de la malla de datos. Al igual que un mercado de uso general, el EDM pretende ofrecer una experiencia de compra a los consumidores de datos. Se trata, por tanto, de un componente esencial para garantizar la explotación de la malla de datos a mayor escala: permite a los consumidores de datos disponer de un sistema sencillo y eficaz para buscar y acceder a productos de datos de diversos ámbitos.
En nuestro próximo artículo, conozca las distintas formas de crear un mercado interno de datos, y cómo es esencial para la explotación de la malla de datos.
Suscríbase al blog de Actian
Suscríbase al blog de Actian para recibir información sobre datos directamente en su correo electrónico.
- Manténgase informado: reciba lo último en análisis de datos directamente en su bandeja de entrada.
- No se pierda ni una publicación: recibirá actualizaciones automáticas por correo electrónico que le avisarán cuando se publiquen nuevas publicaciones.
- Todo depende de usted: cambie sus preferencias de entrega para adaptarlas a sus necesidades.