Mercado de datos: un glosario completo para equipos de datos y análisis

Introducción

Un mercado de datos es aquel en el que la gobernanza de datos, los productos de datos y el análisis de autoservicio convergen en una única capa operativa. Las organizaciones que crean o adoptan estos mercados están resolviendo un problema concreto: los datos existen, los usuarios los necesitan, pero el proceso entre el productor y el consumidor es lento, carece de gobernanza y depende de la intervención manual en cada paso. Los términos de este glosario definen las capacidades, las funciones y los componentes arquitectónicos que hacen que los mercados de datos empresariales sean fiables, estén bien gestionados y sean escalables.

Concepto fundamental

¿Qué es un mercado de datos?

Un mercado de datos es una plataforma regulada en la que los productores de datos publican activos de datos seleccionados y documentados, y los consumidores de datos descubren, evalúan y acceden a dichos activos bajo demanda. Combina la facilidad de búsqueda de un catálogo de datos con las capacidades transaccionales y de gestión del acceso necesarias para que los datos circulen entre productores y consumidores de forma estructurada y auditable.

El concepto surgió a raíz de un fallo práctico. La mayoría de las grandes organizaciones han acumulado importantes activos de datos repartidos entre unidades de negocio, plataformas en la nube y sistemas operativos. Esos activos son técnicamente accesibles, pero prácticamente invisibles: los usuarios no saben que existen, no pueden evaluar su calidad ni su idoneidad para su uso, y no disponen de una vía regulada para acceder a ellos sin tener que canalizar una solicitud a través de un equipo de ingeniería de datos. El resultado es una duplicación de esfuerzos, definiciones incoherentes y análisis basados en datos que nadie ha validado.

Un mercado de datos resuelve este problema al hacer que los productos de datos sean fáciles de encontrar, estén documentados y sean accesibles a través de una interfaz de autoservicio, al tiempo que se mantienen los controles de gobernanza que determinan quién puede acceder a qué y en qué condiciones. El productor publica un producto de datos en el mercado junto con la documentación, las puntuaciones de calidad, el contexto de linaje y las condiciones de acceso. El consumidor lo encuentra, lo evalúa y lo solicita o se suscribe a él. La plataforma gestiona la transacción, aplica la política de acceso y registra el uso.

En la práctica, los mercados de datos empresariales atienden a tres públicos distintos. Los usuarios empresariales desean un acceso de autoservicio a datos en los que puedan confiar sin tener que recurrir al departamento de TI en cada solicitud. Los equipos de datos y de plataformas quieren reducir el volumen de solicitudes puntuales y garantizar que los datos que salen de su ámbito estén documentados y sujetos a gobernanza. Los equipos de gobernanza y cumplimiento normativo quieren tener visibilidad sobre qué datos se están utilizando, quién los utiliza y con qué finalidad. Un mercado bien diseñado atiende a los tres públicos simultáneamente.

Los mercados de datos son una extensión natural de las arquitecturas de malla de datos, en las que los equipos de cada área publican productos de datos para su uso en toda la organización. Sin embargo, no se trata de un concepto exclusivo de la malla de datos: las organizaciones que no cuentan con implementaciones formales de malla de datos también se benefician del modelo de mercado como una forma de garantizar que el intercambio de datos entre áreas se realice de forma controlada y en régimen de autoservicio.

Términos del glosario

Control de acceso

Las políticas y los mecanismos que determinan qué usuarios, roles y sistemas están autorizados a acceder a activos de datos específicos en un mercado. El control de acceso en el contexto de un mercado opera en varios niveles: la autenticación a nivel de plataforma; los permisos a nivel de activo, que determinan quién puede ver o suscribirse a un producto de datos; los controles a nivel de campo, que restringen el acceso a columnas sensibles dentro de un conjunto de datos que, por lo demás, es accesible; y los controles basados en la finalidad, que limitan el uso a casos de uso específicos aprobados.

Un control de acceso eficaz es lo que distingue a un mercado de datos de un lago de datos sin control. Sin él, el autoservicio del mercado genera un riesgo de gobernanza: cualquier usuario con credenciales de acceso puede acceder a cualquier conjunto de datos. Con un control de acceso granular integrado en la infraestructura de identidad de una organización, el autoservicio y la gobernanza coexisten. Los usuarios descubren y solicitan datos libremente; la plataforma hace cumplir las condiciones de acceso que ha definido el propietario de los datos.

El control de acceso también genera el registro de auditoría que necesitan los equipos de cumplimiento normativo. Cada solicitud de acceso, aprobación y evento de consumo de datos se registra en relación con un usuario, un rol y un activo específicos, lo que proporciona la documentación necesaria para la presentación de informes reglamentarios sin necesidad de una reconstrucción manual.

Términos relacionados: gobernanza de datos, gestión de datos, política de uso, productos de datos

Catálogo de datos (en el contexto de un marketplace)

La capa de descubrimiento e inventario que subyace a un mercado de datos. Un catálogo de datos indexa los activos de datos, sus metadatos, la titularidad, el linaje y el contexto de calidad, y permite realizar búsquedas en ellos. Un mercado amplía el catálogo con capacidades transaccionales: gestión del acceso, condiciones de licencia, seguimiento del uso y flujos de trabajo de consumo.

Esta distinción es importante desde el punto de vista operativo. Un catálogo indica a los usuarios qué datos existen y qué significan. Un mercado permite a los usuarios actuar al respecto: solicitar acceso, suscribirse a un producto de datos, realizar un seguimiento de su uso y recibir notificaciones cuando los datos cambian. Las organizaciones que cuentan con un catálogo pero no con un mercado suelen tener una buena visibilidad de los datos y una accesibilidad deficiente: los usuarios pueden encontrar los datos, pero no pueden acceder a ellos sin abrir un ticket.

Algunas plataformas consideran el catálogo y el mercado como sistemas distintos que se integran entre sí. Otras los tratan como dos facetas de una misma plataforma. En cualquier caso, los metadatos del catálogo son los que aportan fiabilidad a los anuncios del mercado: un producto que aparece en un mercado sin metadatos con la calidad de los del catálogo es una «caja negra» que los consumidores no tienen cómo evaluar.

Términos relacionados: descubrimiento de datos, gestión de metadatos, productos de datos, metadatos activos

Contrato de datos

Acuerdo formal entre un productor de datos y un consumidor de datos en el que se especifican la estructura, la semántica, los estándares de calidad, la frecuencia de actualización y las condiciones de gestión de un producto de datos. En un mercado de datos, los contratos de datos son el mecanismo que hace que los compromisos de los productores sean explícitos y exigibles.

Un contrato de datos define qué es un conjunto de datos, qué forma adopta, qué calidad garantiza el productor, cómo se comunicarán los cambios que afecten a la compatibilidad y a qué recursos pueden recurrir los consumidores cuando se incumple el contrato. Sin contratos, los productos de datos del mercado son promesas sin documentar. Con ellos, se convierten en activos gestionados con una responsabilidad definida.

Los contratos de datos reducen el coste de los fallos en las fases posteriores del proceso. Cuando un productor modifica un esquema o reduce la calidad sin previo aviso, todos los consumidores posteriores se ven afectados de forma silenciosa. Un contrato obliga al productor a versionar el cambio, notificarlo a los suscriptores y mantener la compatibilidad con versiones anteriores durante un periodo definido. Los consumidores saben en qué se basan sus desarrollos y pueden planificar los cambios, en lugar de descubrirlos cuando fallan sus flujos de trabajo.

Términos relacionados: productos de datos, gobernanza de datos, gestión de datos, SLA, linaje de datos

Intercambio de datos

Proceso mediante el cual los datos pasan de un productor a un consumidor a través de un canal regulado y documentado. En el contexto de un mercado de datos, el intercambio de datos se refiere específicamente a la capa transaccional: el flujo de trabajo de solicitud, aprobación, concesión de licencias y entrega que regula la forma en que un consumidor obtiene acceso a un producto de datos.

El intercambio de datos puede ser interno —cuando una unidad de negocio comparte un conjunto de datos regulado con otra— o externo, en el que intervienen proveedores de datos externos, socios o clientes. El intercambio externo conlleva requisitos adicionales en materia de licencias, precios, restricciones de uso y cumplimiento normativo que el intercambio interno no suele tener.

La gestión del intercambio de datos es lo que distingue a un mercado digital de una unidad de disco compartida o de una API no documentada. Cada intercambio queda registrado de acuerdo con una política de acceso definida, un usuario o rol específico, un propósito establecido y un producto de datos documentado. Este registro de auditoría es lo que hace que el modelo de mercado digital sea defendible en sectores regulados.

Términos relacionados: productos de datos, control de acceso, política de uso, contrato de datos, gobernanza de datos

Monetización de datos

La práctica de generar valor económico a partir de los activos de datos, ya sea vendiéndolos o concediéndolos bajo licencia a terceros, o bien poniéndolos a disposición a nivel interno para impulsar análisis y procesos de toma de decisiones más productivos. La monetización externa consiste en presentar los datos como un producto y ponerlos a disposición de compradores o socios externos a través de un mercado dotado de una infraestructura de licencias y fijación de precios. La monetización interna considera los datos como un recurso compartido cuyo uso más amplio genera valor empresarial en toda la organización.

La mayoría de las implementaciones de mercados de datos empresariales se centran en primer lugar en la monetización interna: poner los datos que existen en una parte de la organización a disposición de los equipos que los necesitan, reducir la duplicación en la recopilación y preparación de datos, y acelerar el tiempo necesario para obtener información útil. La monetización externa, en la que las organizaciones venden datos a terceros, requiere una infraestructura de cumplimiento normativo adicional, una revisión jurídica y modelos de fijación de precios.

Las condiciones previas para cualquiera de las dos formas de monetización son las mismas: los productos de datos deben estar documentados, evaluar su calidad, estar sujetos a un marco de gobernanza y ser accesibles a través de una interfaz estructurada. Los datos en los que no se puede confiar, que no pueden describirse ni utilizarse sin ayuda manual, carecen de valor de monetización, tanto a nivel interno como externo.

Términos relacionados: productos de datos, intercambio de datos, contrato de datos, control de acceso, gobernanza de datos

Producto de datos

Un activo de datos seleccionado, documentado y gestionado, publicado para que otros puedan utilizarlo. Un producto de datos cuenta con un propietario definido, un esquema documentado, un estándar de calidad establecido, una política de versiones y un proceso para comunicar los cambios a los usuarios. Se gestiona con el mismo rigor que un producto de software: tiene un ciclo de vida, una hoja de ruta y se asume la responsabilidad de su fiabilidad.

El concepto de «producto de datos» es la unidad fundamental de un mercado de datos. Lo que se publica, se descubre, se suscribe y se consume en un mercado no es una tabla sin procesar ni un archivo, sino un producto de datos que ha sido preparado, documentado y que cumple con unos estándares de calidad y gobernanza.

La diferencia entre un producto de datos y un conjunto de datos sin procesar radica en la responsabilidad. Un conjunto de datos sin procesar simplemente existe. Un producto de datos es propiedad de un equipo que se hace responsable de su exactitud, su documentación, sus políticas de acceso y su fiabilidad a largo plazo. Cuando surge un problema con un conjunto de datos sin procesar, es posible que no haya nadie a quien recurrir. Cuando surge un problema con un producto de datos, el propietario figura en el catálogo, ha firmado el contrato de datos y es responsable de resolverlo.

Términos relacionados: contrato de datos, gobernanza de datos, gestión de datos, catálogo de datos, intercambio de datos

Procedencia de los datos

El historial documentado del origen, el recorrido y la transformación de un activo de datos. La procedencia responde a preguntas como de dónde proceden los datos, cómo se recopilaron o generaron, qué procesamiento han sufrido y cómo han llegado a su forma actual. En el contexto de un mercado, la procedencia es la base de la confianza para cada ficha de producto de datos.

Los consumidores que evalúan un producto de datos se basan en la procedencia para determinar si los datos subyacentes son adecuados para su caso de uso. Un conjunto de datos derivado de una fuente fiable mediante transformaciones documentadas y auditables resulta más fiable que uno cuyo origen sea opaco. La documentación de la procedencia es también un requisito de cumplimiento normativo en los sectores regulados, donde las organizaciones deben demostrar el linaje y el tratamiento de los datos utilizados en los procesos regulados.

La procedencia está relacionada con el linaje, pero es distinta de él. El linaje hace un seguimiento del recorrido de los datos a través de los sistemas técnicos. La procedencia abarca el contexto más amplio del origen de los datos, incluyendo la fuente externa, la metodología de recopilación, la base de consentimiento para los datos personales y cualquier certificación externa o evaluación de calidad aplicada antes de que los datos entraran en los sistemas de la organización.

Términos relacionados: linaje de datos, calidad de los datos, contratos de datos, gestión de metadatos, gobernanza de datos

Responsable de datos (función en el mercado)

En el contexto de un mercado de datos, el gestor de datos es la persona o el equipo responsable de la gestión diaria de uno o varios productos de datos. Esto incluye mantener la documentación y los metadatos, supervisar los índices de calidad, gestionar las solicitudes de acceso, revisar y aprobar las suscripciones, comunicar los cambios a los usuarios y certificar que los conjuntos de datos cumplen con los estándares de calidad definidos.

El administrador es el eje operativo entre el productor que genera los datos y los consumidores que dependen de ellos. Sin un administrador activo, los productos de datos se desorientan: los metadatos quedan obsoletos, los problemas de calidad quedan sin resolver y las solicitudes de acceso no reciben respuesta. El anuncio en el mercado sigue siendo visible, pero pierde su fiabilidad.

En las organizaciones que cuentan con implementaciones formales de «data mesh», la función de administrador suele distribuirse entre los equipos de dominio, cada uno de los cuales es responsable de los productos que publica su dominio. En organizaciones más centralizadas, un equipo central de gobernanza de datos puede encargarse de la administración de productos de varios dominios. Cualquiera de los dos modelos funciona; lo importante es que cada producto incluido en la lista cuente con un administrador designado y activo.

Términos relacionados: gestión de datos, gobernanza de datos, productos de datos, contrato de datos, control de acceso

Mercado de datos federado

Una arquitectura de mercado en la que los productos de datos se publican y gestionan a través de múltiples dominios o plataformas distribuidas, con una capa unificada de búsqueda y gestión que los conecta. En un modelo federado, los datos no se trasladan a un repositorio central, sino que permanecen en el dominio en el que se producen, y el mercado ofrece una interfaz coherente para buscarlos, evaluarlos y acceder a ellos en todos los dominios.

Los mercados federados son habituales en grandes empresas con múltiples entornos en la nube, en unidades de negocio con plataformas de datos distintas o en organizaciones que operan bajo requisitos de soberanía de datos que restringen el movimiento de datos entre distintas zonas geográficas. La capa de federación estandariza el esquema de metadatos, las políticas de gobernanza y el modelo de control de acceso, de modo que los usuarios disfruten de una interfaz coherente independientemente de dónde se encuentren los datos subyacentes.

El reto de la gobernanza en un modelo federado consiste en garantizar que los equipos distribuidos apliquen normas coherentes. Sin un esquema de metadatos compartido, un marco de calidad y un modelo de políticas de acceso, la federación da lugar a un mercado en el que cada anuncio tiene un aspecto diferente y los consumidores no pueden comparar productos entre distintos dominios. La gobernanza federada —normas compartidas con aplicación distribuida— es lo que hace que la federación funcione.

Términos relacionados: gobernanza de datos, gobernanza federada, productos de datos, catálogo de datos, malla de datos

Metadatos (contexto del mercado)

La información descriptiva, estructural y operativa que acompaña a la ficha de un producto de datos en un mercado. Los metadatos del mercado abarcan lo que contiene un conjunto de datos (esquema, definiciones de campos, tipos de datos), su origen (procedencia y linaje), quién es su propietario (administrador y ámbito), qué requisitos de calidad cumple (puntuaciones de calidad, estado de certificación) y qué condiciones rigen su uso (políticas de acceso, condiciones de licencia, normas de conservación).

Los metadatos son lo que hace que una ficha de un mercado sea útil y no meramente decorativa. Una ficha que no contenga más metadatos que un nombre y una descripción no ofrece a los consumidores ningún elemento con el que evaluar el producto. Una ficha con metadatos completos —documentación del esquema, puntuaciones de calidad, información sobre el origen, detalles de propiedad, ejemplos de uso y condiciones de acceso— proporciona a los consumidores todo lo que necesitan para decidir si el producto se adapta a su caso de uso sin tener que preguntar a nadie.

La calidad de los metadatos del mercado determina el grado de aceptación del mismo. Las organizaciones que invierten en garantizar la exhaustividad de los metadatos como requisito de publicación observan que los usuarios utilizan el mercado y confían en lo que encuentran en él. Las organizaciones que permiten la publicación de fichas incompletas observan que los usuarios eluden el mercado y recurren a solicitudes de datos informales.

Términos relacionados: gestión de metadatos, metadatos activos, catálogo de datos, productos de datos, gestión de datos

Acceso a datos en modo autoservicio

La capacidad de los usuarios autorizados para descubrir, evaluar y acceder a productos de datos a través de la interfaz del mercado de datos sin necesidad de que intervengan los equipos de ingeniería de datos o de la plataforma. El autoservicio es la principal propuesta de valor para el usuario de un mercado de datos: sustituye el proceso manual de solicitud de datos, basado en tickets, por un flujo de trabajo regulado y automatizado que los usuarios pueden completar de forma independiente.

El autoservicio no significa falta de gobernanza. El trabajo de gobernanza se lleva a cabo en la fase de publicación: el responsable de los datos define la política de acceso, el contrato de datos establece los términos de calidad y uso, y la infraestructura de control de acceso determina quién puede suscribirse a qué. Para cuando un usuario llega al mercado, las decisiones de gobernanza ya se han tomado y se han codificado en la ficha del producto. El autoservicio es la experiencia del usuario que permite la infraestructura de gobernanza.

La medida práctica de la eficacia del autoservicio es el tiempo que se tarda en acceder a los datos. En las organizaciones que carecen de un mercado de datos, obtener acceso a un conjunto de datos regulado puede llevar días o semanas. En las organizaciones que cuentan con un mercado de datos bien diseñado, un usuario con las credenciales adecuadas puede descubrir, evaluar, solicitar y obtener acceso a un producto de datos en cuestión de minutos. Esa reducción de las trabas es lo que impulsa la adopción y reduce el volumen de solicitudes de datos informales que consumen la capacidad del equipo de datos.

Términos relacionados: descubrimiento de datos, control de acceso, productos de datos, gobernanza de datos, catálogo de datos

SLA (acuerdo de nivel de servicio, en el contexto de los datos)

Un compromiso del responsable de un producto de datos con los usuarios en el que se especifican los estándares de calidad, disponibilidad y fiabilidad que cumplirá el producto. En el contexto de un mercado de datos, un SLA de datos suele abarcar la frecuencia de actualización (con qué frecuencia se actualiza el conjunto de datos), la disponibilidad (el tiempo de actividad que garantiza el producto), los umbrales de calidad (qué índices de valores nulos, niveles de exhaustividad o puntuaciones de precisión se comprometen a cumplir) y el tiempo de respuesta ante incidencias (la rapidez con la que se resolverán los problemas de calidad tras su notificación).

Los SLA convierten los productos de datos en una infraestructura fiable, en lugar de en activos que se ofrecen «en la medida de lo posible». Un usuario que desarrolle un proceso de análisis o un modelo de IA a partir de un producto de datos de un mercado necesita saber si los datos en los que se basa seguirán estando disponibles mañana, qué grado de actualidad tendrán y qué ocurrirá si su calidad se deteriora. Sin un SLA, estas preguntas no tienen una respuesta documentada.

Los SLA están relacionados con los contratos de datos, pero son distintos de ellos. Un contrato de datos define la estructura y la semántica de un producto de datos. Un SLA define los compromisos de rendimiento operativo relacionados con él. Un producto de datos maduro suele contar con ambos: un contrato que especifica qué son los datos y un SLA que especifica con qué fiabilidad se entregarán.

Términos relacionados: contrato de datos, productos de datos, gestión de datos, calidad de los datos, gobernanza de datos

Normas de uso

Las normas que regulan cómo se puede utilizar un producto de datos una vez que se ha concedido acceso al consumidor. Las políticas de uso especifican los casos de uso permitidos, las restricciones a la redistribución o la republicación, los requisitos de conservación y eliminación de la copia del consumidor, los requisitos relativos a la anonimización o la agregación antes de su uso en publicaciones destinadas al público externo, así como las condiciones de licencia aplicables.

Las políticas de uso revisten especial importancia en el caso de los productos de datos que contienen datos personales, información comercial confidencial o datos adquiridos a proveedores externos bajo licencia. En cada caso, las condiciones de uso asociadas a los datos originales limitan lo que el usuario puede hacer con su copia, y el mercado es el mecanismo encargado de comunicar y hacer cumplir dichas restricciones.

En la práctica, las políticas de uso se adjuntan a las fichas de los productos de datos como parte del proceso de solicitud de acceso. Cuando un usuario solicita acceso, debe revisar y aceptar la política de uso antes de que se le conceda dicho acceso. Esta aceptación queda registrada, lo que genera un registro auditable del compromiso del usuario con las condiciones. Las infracciones de la política de uso pueden detectarse posteriormente mediante el registro de accesos y la supervisión del uso.

Términos relacionados: control de acceso, gobernanza de datos, contrato de datos, intercambio de datos, monetización de datos

Comparaciones clave

Mercado de datos frente a catálogo de datos

Mercado de datos interno frente a externo