Buenas prácticas sobre el linaje de los datos para programas de gobernanza

El linaje de datos solo resulta útil si es fiable. Un mapa de linaje incompleto, actualizado manualmente o desactualizado desde hace seis meses infunde una falsa confianza a los equipos: creen que comprenden los flujos de datos, pero el mapa no se corresponde con la realidad. Las organizaciones que gestionan correctamente el linaje lo tratan como un sistema operativo, no como un mero ejercicio de documentación.

Esta guía aborda las prácticas que hacen que el linaje de datos sea fiable, escalable y útil en el marco de un programa más ampliode gobernanza de datos.

Por qué el linaje de los datos es fundamental para la gobernanza

El linaje de datoses el registro completo del recorrido que sigue un activo de datos desde su fuente original, pasando por cada transformación, cada paso del proceso de tratamiento y cada sistema, hasta su destino final en un informe, un modelo o una aplicación operativa.

En los programas de gobernanza, el linaje cumple tres funciones distintas:

Cumplimiento normativo. Normativas como el RGPD, la CCPA, la HIPAA y la ley SOX exigen a las organizaciones que demuestren el origen de los datos, cómo se tratan y quién tiene acceso a ellos en cada fase. El linaje es la capa de evidencia que permite realizar esas demostraciones sin necesidad de una reconstrucción manual.

Análisis de impacto.Antes demodificar un esquema, retirar un conjunto de datos o modificar un proceso, los equipos deben saber qué activos posteriores se verán afectados. El linaje responde a esa pregunta en cuestión de segundos, en lugar de obligar a los ingenieros a rastrear las dependencias manualmente.

Confianza. Cuando un analista ve una cifra inesperada en un informe, el linaje permite rastrearla hasta la tabla de origen exacta y la transformación que la generó. Sin esa trazabilidad, los usuarios de los datos o bien aceptan cifras que no pueden verificar, o bien pasan días investigándolas manualmente.

Empieza por los ámbitos de datos críticos, no por todo

El error más habitual en la implementación del linaje es intentar mapear todos los flujos de datos de todos los sistemas a la vez. El resultado es un gráfico de linaje desordenado y parcialmente incompleto en el que nadie confía ni se encarga de mantener.

Un enfoque más eficaz: identificar los ámbitos de datos en los que los fallos en el seguimiento del origen de los datos suponen el mayor coste para la empresa y empezar por ahí.

• Datos de información reglamentaria: cualquier conjunto de datos que sirva de base para un informe de cumplimiento, un estado financiero o una auditoría. En este contexto, el seguimiento de la procedencia de los datos suele ser un requisito reglamentario, no solo una buena práctica.
• Datos maestros — Registros de clientes, productos, proveedores y empleados que circulan por varios sistemas. El historial de los datos maestros permite rastrear los problemas de calidad hasta su origen y garantizar la coherencia de las definiciones en todos los sistemas.
• Datos de entrenamiento para la IA y el aprendizaje automático — Los modelos entrenados con datos cuya procedencia no está documentada son difíciles de auditar e imposibles de reproducir de forma fiable. El linaje de los conjuntos de datos de entrenamiento es fundamental para una IA responsable.
• Cuadros de mando ejecutivos e indicadores clave de rendimiento (KPI) — Los informes que impulsan las decisiones. Cuando los líderes empresariales confían en las cifras, es la trazabilidad lo que se ha ganado esa confianza.

Una vez que se ha establecido el linaje y está funcionando en ámbitos de alta prioridad, ampliar la cobertura a conjuntos de datos más amplios resulta más rápido, ya que las herramientas, los procesos y los modelos organizativos ya están implantados.

Automatizar el registro del linaje: la documentación manual no es escalable

La documentación manual del linaje —hojas de cálculo, páginas wiki, diagramas de flujo de datos actualizados a mano— tiene una vida útil limitada. Deja de ser precisa en cuanto cambia un proceso, se añade una nueva fuente o se modifica una transformación. Con los volúmenes de datos que maneja una empresa, nunca llega a ofrecer una cobertura completa desde el principio.

La captura automatizada de linajes elimina este problema al extraer los linajes directamente de los sistemas que los generan:

• Análisis de SQL: extracción del linaje a partir de registros de consultas, scripts de transformación y procedimientos almacenados
• Metadatos de los flujos de datos: lectura del linaje a partir de herramientas de orquestación como dbt, Airflow o los registros de tareas de Spark
• Conectores nativos — Integración con almacenes de datos, plataformas en la nube y herramientas de BI que facilitan el linaje de datos a través de sus API
• Análisis a nivel de código — Captura del linaje a partir de los flujos de trabajo de CI/CD y del código de transformación sometido a control de versiones

El resultado es un linaje que se actualiza automáticamente cuando cambian los sistemas, en lugar de requerir un mantenimiento manual tras cada modificación del flujo de trabajo. Esta es la diferencia entre un linaje que refleja el estado actual de los flujos de datos y uno que refleja cómo eran dichos flujos la última vez que alguien actualizó la documentación.

Implementar el seguimiento de origen y destino de extremo a extremo en toda la pila de datos

Un linaje parcial —que abarque únicamente la capa del almacén de datos, o solo la capa ETL, o solo la capa de BI— genera puntos ciegos que socavan el valor fundamental del programa. Un responsable de cumplimiento normativo que pueda rastrear los datos desde el almacén de datos hasta el informe, pero no desde el sistema de origen hasta el almacén de datos, no podrá responder a las preguntas de las autoridades reguladoras sobre el origen de los datos.

El linaje de extremo a extremo conecta:

• Sistemas de origen — Las bases de datos, las API, las aplicaciones SaaS y los archivos de donde proceden los datos.
• Capa de ingestión — Cómo se transfieren los datos desde las fuentes a la plataforma de datos.
• Capa de transformación — Todas las uniones, filtros, agregaciones y reglas de negocio aplicadas a los datos.
• Capa de almacenamiento — Tablas, esquemas y conjuntos de datos en el almacén de datos o el lago de datos.
• Capa de consumo — Los informes, paneles de control, modelos y aplicaciones que utilizan los datos.

Cada eslabón debe estar vinculado al siguiente, de modo que cualquier elemento de la cadena pueda rastrearse en ambas direcciones: hacia arriba, hasta su origen, y hacia abajo, hasta sus consumidores. Esta trazabilidad bidireccional es lo que hace que tanto el análisis de impacto como la investigación de la causa raíz sean viables.

Aplicar automáticamente las políticas y las etiquetas en cascada a los niveles inferiores

Una de las aplicaciones más eficaces del linaje en un programa de gobernanza es la propagación de políticas. Cuando se aplica una clasificación de sensibilidad a una columna de origen —una etiqueta de datos personales (PII), una designación de la HIPAA o una etiqueta de confidencialidad—, dicha clasificación debería transmitirse automáticamente a todos los activos derivados de ella.

Sin linaje, esto implica identificar manualmente cada tabla, vista, informe y modelo que herede datos de la fuente etiquetada y aplicar la clasificación de forma individual. Con el linaje, se trata de una única operación que el sistema de gobernanza ejecuta automáticamente.

El mismo principio se aplica a las normasde calidad de los datos, las políticas de conservación y los controles de acceso. El linaje es el mecanismo que garantiza que las decisiones de gobernanza tomadas en el origen se propaguen correctamente por todo el conjunto de datos sin necesidad de un seguimiento manual.

Conecta Lineage a tu catálogo de datos y a la supervisión de la calidad

El historial resulta más valioso cuando se integra con los demás componentes de un programade gestión de metadatos, en lugar de mantenerse como un sistema independiente.

Origende los datos+catálogo de datos:cuando el origen de los datos se muestra en el catálogo, los usuarios que buscan un conjunto de datos pueden ver de inmediato de dónde procede, qué lo ha transformado y qué depende de él, sin necesidad de salir de la interfaz de búsqueda. Esto convierte al catálogo en una herramienta de gobernanza verdaderamente útil, en lugar de un mero inventario estático.

Línea de origen + supervisión de la calidad: Cuando un control de calidad automatizado detecta una anomalía, el linaje determina dónde buscar la causa. Una caída inesperada en la tasa de integridad de una columna es una alerta; el linaje te indica si el problema se originó en el sistema de origen, en el proceso de ingesta o en un paso de transformación.

Glosariode linaje ynegocios:Vincular los registros de linaje a los términos del glosario permite rastrear no solo el flujo de los datos, sino también dónde se definen, calculan y utilizan conceptos empresariales específicos —como «ingresos», «cliente activo» o «tasa de abandono»— en toda la organización.

Asignar la titularidad a lo largo de la cadena de linaje

El linaje pone de manifiesto las dependencias que a menudo traspasan los límites de los equipos. Un informe del equipo de finanzas depende de una transformación a cargo del equipo de ingeniería de datos, que obtiene los datos de un sistema fuente gestionado por el equipo de operaciones de ventas. Cuando surge un fallo, la ambigüedad en cuanto a la responsabilidad convierte un problema que se podría solucionar en una incidencia prolongada.

Para cada ruta de linaje crítica, documenta:

• ¿Qué equipo es responsable de cada nodo de la cadena (sistema de origen, proceso, conjunto de datos, informe)?
• A quién hay que dirigirse cuando se detecta un problema de calidad en cada fase.
• Cuál es el procedimiento de escalado cuando el responsable de un nivel superior no responde.

Los programas de gestión de datosque asignan responsables a nivel de dominio, en lugar de limitarse al nivel de activo, gestionan esto de forma más clara: un responsable de dominio coordina entre los distintos equipos, en lugar de que el usuario final tenga que ponerse en contacto individualmente con los propietarios de las etapas anteriores.

Medir la cobertura del linaje como indicador clave de rendimiento (KPI) de gobernanza

Los programas de linaje que no realizan un seguimiento de su propia cobertura tienden a desarrollar lagunas con el paso del tiempo: se crean nuevos canales de datos sin integrarlos en el linaje, se añaden sistemas de origen sin conectores y la brecha entre los flujos de datos documentados y los reales se amplía de forma silenciosa.

Seguimiento y presentación de informes:

• Índice de cobertura — ¿Qué porcentaje de los activos de datos críticos cuenta con un historial documentado, actualizado en los últimos 30 días?
• Integridad de extremo a extremo — ¿Qué porcentaje de las rutas de linaje críticas están completas desde el origen hasta el consumo, sin enlaces rotos?
• Actualidad — Cuánto tiempo hace que se actualizaron los registros de linaje de cada dominio
• Índice de atribución de incidentes — ¿Qué porcentaje de incidentes relacionados con la calidad de los datos se resolvió utilizando el linaje para identificar la causa raíz, frente a los que requirieron una investigación manual?

Estas métricas permiten a los responsables de los datos y a los responsables de la gobernanza conocer el estado del programa de linajes, y ejercen presión para subsanar las lagunas de cobertura antes de que provoquen incidentes.

Resumen

El linaje de datos no es una función, sino una disciplina operativa. Las organizaciones que obtienen un valor real de él lo tratan igual que cualquier otro control de gobernanza: automatizado siempre que sea posible, asignado a responsables claros, medido de forma continua e integrado con el resto de la estructurade gobernanza de datosygestión de metadatos.

Las prácticas anteriores permiten crear un programa de linaje que se gana la confianza en lugar de exigirla, en el que los usuarios de datos, los responsables de cumplimiento normativo y los equipos de ingeniería pueden confiar en el linaje para obtener respuestas precisas a sus preguntas, ya que el sistema que lo mantiene refleja el estado real de los flujos de datos y no una instantánea de la última vez que alguien actualizó una hoja de cálculo.

Para conocer los fundamentos relacionados con la gobernanza, consulte la«Guía empresarial sobre el linaje de los datos», la«Guía empresarial sobre la gobernanza de los datos» y la«Guía empresarial sobre la gestión de metadatos».

Acerca del autor

Acerca de Actian Corporation

Actian permite a las empresas gestionar y controlar los datos a gran escala con total confianza. Las organizaciones confían en las soluciones de gestión e inteligencia de datos de Actian para optimizar entornos de datos complejos y acelerar la entrega de datos preparados para la IA. Diseñadas para ofrecer flexibilidad, las soluciones de Actian se integran a la perfección y funcionan de forma fiable tanto en entornos locales como en la nube y en entornos híbridos. Obtén más Acerca de Actian, la división Acerca de Actian datos e IA de HCL Software, en actian.com.