Comprender los diferentes tipos de linaje de datos y cómo funcionan

En la gestión de datos, es fundamental implementar el linaje de datos. En pocas palabras, el linaje de datos rastrea el recorrido de los datos: dónde se originan, cómo fluyen, cómo se transforman y, en última instancia, cómo se utilizan.

En este artículo, exploraremos los distintos tipos de linaje de datos: qué son, por qué son importantes, en qué se diferencian entre sí y cuándo los necesitan las organizaciones. También abordaremos cómo elegir un enfoque que se ajuste a la madurez y las necesidades de datos de su organización.

Por qué es importante comprender los tipos de linaje de datos

Antes de profundizar en los tipos, es útil comprender por qué es importante distinguir entre ellos. He aquí el motivo:

• La audiencia y el propósito difieren. El tipo de linaje útil para un ingeniero técnico que se preocupa por las transformaciones de tabla a tabla es diferente del tipo de linaje útil para un analista de negocios que se preocupa por cómo se obtuvo un KPI.
• La granularidad varía. Algunos linajes son gruesos, como sistema → sistema, mientras que otros son finos, como columna → columna, fila → fila. Saber qué linaje necesitas te ayuda a delimitar tu esfuerzo.
• Gobernanza, cumplimiento normativo, auditoría y confianza. Contar con el tipo de linaje adecuado favorece el cumplimiento normativo, como el Reglamento General de Protección de Datos (RGPD) y la Ley de Portabilidad y Responsabilidad del Seguro Médico (HIPAA), junto con la gobernanza de los datos y la confianza general en los análisis.
• Implicaciones tecnológicas y de herramientas. Los diferentes tipos de linaje pueden requerir diferentes herramientas, como catálogos de datos, registros operativos y bases de datos gráficas. Elegir el tipo adecuado ayuda a determinar cómo crear o adquirir herramientas.

4 tipos principales de linaje de datos

El linaje de datos se puede dividir en varios tipos principales. Existe cierto solapamiento en la terminología, pero las categorías más comunes son:

1. Linaje de datos empresariales

También conocido como linaje semántico de datos, este tipo se centra en cómo se utilizan los datos en un contexto empresarial, en lugar de cómo los utilizan internamente los equipos técnicos.

Lo que capta este tipo de linaje

• Cómo se obtienen las métricas empresariales o los KPI. Por ejemplo, la «tasa de abandono de clientes» se define y calcula a partir de determinadas tablas subyacentes.
• ¿Qué informes, paneles de control o procesos empresariales consumen los datos?
• ¿Quién es el propietario o responsable de los datos a nivel empresarial?
• Flujos de datos de alto nivel, como sistemas fuente → almacén de datos → implementación empresarial, pero no incluye necesariamente todos los detalles técnicos.

¿Quién utiliza este tipo de linaje?

• Analistas de negocios, administradores de datos y equipos de cumplimiento normativo.
• Para auditoría y gobernanza, cuando necesite alinear las definiciones empresariales con las implementaciones técnicas.
• Cuando necesitas explicar por qué una cifra en un panel de control tiene el aspecto que tiene.
• Cuando se cumplen los requisitos normativos o de gobernanza de datos.

Este tipo de linaje de datos ayuda a las partes interesadas sin conocimientos técnicos a comprender la procedencia de los datos y a confiar en los resultados. Garantiza la alineación entre las definiciones empresariales y lo que realmente hacen los sistemas técnicos, y respalda el análisis de impacto. Si cambia un proceso empresarial, se puede ver qué flujos de datos y métricas pueden verse afectados.

2. Datos técnicos Linaje

A veces denominado linaje físico, linaje horizontal o simplemente linaje a nivel de canalización, este tipo profundiza en la mecánica de cómo se mueven, transforman y almacenan los datos.

Lo que capta este tipo de linaje

• Movimiento de datos entre sistemas: extracción → transformación → carga (ETL), canalizaciones de datos, trabajos por lotes y flujos de transmisión.
• Detalles como tablas, archivos, columnas, esquemas, lógica de transformación, asignaciones y dependencias.
• La infraestructura y los sistemas que transportan físicamente los datos.

¿Quién utiliza este tipo de linaje?

• Ingenieros de datos, arquitectos de datos y equipos de operaciones.
• Cuando necesites depurar canalizaciones, comprender las dependencias y planificar migraciones o cambios en el sistema.
• Cuando tienes que responder a preguntas como: «Si cambio la tabla A, ¿qué tablas y paneles de control posteriores se verán afectados?».

Este tipo de linaje de datos proporciona una trazabilidad detallada, lo que permite analizar la causa raíz de los problemas. Por ejemplo, si un panel muestra cifras erróneas, se puede rastrear el problema hasta la transformación que produjo el error.

El linaje ayuda a supervisar el rendimiento, optimizar los procesos y evitar efectos secundarios inesperados cuando se producen cambios en el sistema. También facilita la gestión del cambio, ya que permite simular el efecto de los cambios en los sistemas ascendentes.

Un breve ejemplo

Por ejemplo, el linaje técnico mostrará que la tabla orders_cleaned se deriva de la unión de raw_orders y customer_info, aplicando un filtro y una transformación, almacenando los resultados en un lago de datos y, a continuación, introduciéndolos en la tabla fact_orders del esquema en estrella.

Advertencias

• Puede resultar abrumador por su nivel de detalle, excesivo para algunas partes interesadas.
• Capturar y mantener un linaje detallado requiere muchos recursos.
• Sin una vinculación con las definiciones empresariales, el linaje técnico por sí solo puede no satisfacer las necesidades de gobernanza o transparencia empresarial.

3. Linaje de datos operativos (o de tiempo de ejecución)

Se trata de una clasificación algo más reciente, que recoge el comportamiento de los datos en tiempo de ejecución. Se centra en la observación de los flujos de datos a medida que se ejecutan en sistemas en tiempo real o casi real. Algunos usuarios técnicos se refieren a esto como linaje operativo o linaje en tiempo real.

Lo que capta este tipo de linaje

• Registros de ejecución de canalizaciones: cuándo se ejecutó el trabajo, cuánto tiempo tardó y cuántos datos se transfirieron.
• Anomalías, fallos y métricas de rendimiento asociadas a las transformaciones.
• Seguimiento del movimiento de datos en tiempo real o casi real, a menudo para flujos de trabajo de streaming.
• Supervisión de los procesos de datos, a diferencia de las definiciones estáticas.

¿Quién utiliza este tipo de linaje?

• Equipos de operaciones de datos, ingenieros de fiabilidad del sitio (SRE) y DevOps para datos.
• Equipos que supervisan los flujos de datos en cuanto a rendimiento, fallos, latencia y actualidad.
• Equipos de auditoría o cumplimiento normativo que necesitan saber cuándo se actualizaron los datos por última vez o cuándo se modificó un proceso.

Este tipo de linaje de datos favorece la observabilidad de los datos. Sabes cuál debería ser el linaje y cómo se ha ejecutado realmente. También ayuda a responder a incidentes. Por ejemplo, si una canalización falla o se retrasa, el linaje operativo muestra dónde se ha producido el bloqueo. Por último, el linaje operativo ayuda a mantener la actualidad y la fiabilidad de los activos de datos, ya que garantiza que los conjuntos de datos estén siempre actualizados.

4. Subtipos menos comunes (diseño, físico, lógico, a nivel de columna)

Más allá de las tres categorías principales, muchos marcos describen «tipos» o subtipos adicionales de linaje de datos. Es útil entenderlos como variaciones o refinamientos de los tipos básicos.

Línea de diseño (o lógica)

• Captura los flujos de datos previstos o diseñados: cómo se supone que los datos deben moverse, transformarse e integrarse. Esto suele definirse durante el diseño o la integración del sistema.
• Menos sobre lo que realmente sucedió y más sobre lo que se había planeado.
• Útil durante el diseño del sistema, las migraciones o al documentar sistemas heredados.

Línea física frente a línea lógica

• Línea física. Centrado en archivos, tablas, almacenamiento y sistemas reales, similar al linaje técnico.
• Linaje lógico. Abstracciones de nivel superior, por ejemplo, cómo se obtienen los datos en lugar de cómo se movieron exactamente.

Linaje a nivel de columna (o a nivel de campo)

• De grano extremadamente fino, rastrea cómo las columnas o campos individuales, y a veces las filas individuales, se propagan a través de las transformaciones.
• Útil para dominios de alto riesgo, como las finanzas y la sanidad, en los que es necesario rastrear exactamente cómo se ha calculado un valor.

Linaje de extremo a extremo

• En muchos marcos, una vista de linaje «de extremo a extremo» combina perspectivas empresariales, técnicas y operativas, lo que proporciona una visión completa desde los sistemas de origen hasta el consumo.

Comparación de los tipos de linaje de datos

A continuación se muestra una tabla comparativa que resume los principales tipos de linaje según dimensiones clave:

Cuándo utilizar cada tipo de linaje de datos

La selección del tipo adecuado de linaje de datos depende de la madurez, los objetivos y el perfil de riesgo de su organización. A continuación se presentan algunos escenarios:

• Su empresa acaba de iniciar un gobernanza de datos . Comience con el linaje empresarial. Asigne las métricas empresariales clave a las fuentes de datos y a los informes principales, y asegúrese de que los usuarios empresariales entienden lo que están utilizando.
• Tienes una arquitectura de datos compleja, como muchas canalizaciones, transformaciones y sistemas. El linaje técnico cobra importancia para poder rastrear las dependencias y realizar análisis de impacto antes de realizar cambios.
• Su organización exige datos actualizados en tiempo real, cuenta con canalizaciones de streaming o debe supervisar el estado de las canalizaciones. Añada el linaje operativo para poder detectar rápidamente fallos, latencia o anomalías.
• Se encuentra en un ámbito de alto riesgo, como el financiero, el sanitario o un sector regulado. Considere la posibilidad de añadir linaje a nivel de columna o linaje detallado para cumplir con los requisitos de auditoría/normativos.
• Estás migrando sistemas, consolidando almacenes de datos o implementando una nueva arquitectura. El linaje de diseño/lógico es útil para capturar el flujo «previsto» y compararlo con lo que realmente está sucediendo.

En muchos casos, deben coexistir varios tipos de linaje de datos dentro de una organización. Para obtener una solución integral, a menudo será necesario que el linaje empresarial, técnico y operativo funcionen conjuntamente.

Consideraciones sobre la implementación

A continuación se presentan algunas consideraciones prácticas clave a la hora de implementar una iniciativa de linaje de datos:

Captura de metadatos y herramientas

• Para crear un linaje, se necesitan metadatos precisos, como fuentes de datos, lógica de transformación, detalles del esquema, registros de trabajos, etc.
• Elija herramientas que se ajusten al tipo de linaje que desea. Pueden ser catálogos de datos para el linaje empresarial o sistemas de supervisión de procesos para el linaje operativo.
• Automatice siempre que sea posible. La documentación manual del linaje es propensa a errores y difícil de mantener.

Granularidad y alcance

• Decida de antemano qué nivel de detalle necesita, por ejemplo, a nivel de sistema, de tabla, de columna o de fila. Un nivel demasiado general puede resultar poco útil. Uno demasiado detallado puede resultar abrumador.
• Priorice los activos de datos de alto valor, como los sistemas críticos y los datos regulados, en lugar de intentar abarcar todos los activos desde el primer día.

Alineación de las partes interesadas

• En cuanto al linaje empresarial, asegúrese de que los equipos empresariales y técnicos se pongan de acuerdo en las definiciones. Evite la deriva semántica, que se produce cuando el significado de los términos empresariales diverge de su aplicación.
• Para el linaje técnico y operativo, asegúrese de que los ingenieros de datos, los equipos de operaciones, los equipos de gobernanza y los equipos de administración colaboren entre sí.

Visualización y accesibilidad

• El linaje de datos solo es útil si las personas pueden verlo y utilizarlo. Los mapas gráficos de linaje, como los diagramas de flujo y los gráficos de dependencia, ayudan a comprenderlo.
• Adapta la vista al público. Es probable que los usuarios empresariales deseen una vista simplificada y de alto nivel, mientras que los ingenieros querrán un análisis detallado de los problemas clave.

Mantenimiento y gobernanza

• El linaje de los datos debe mantenerse actualizado a medida que cambian los sistemas, los procesos y la lógica empresarial. Sin mantenimiento, se vuelve obsoleto y engañoso.
• Establecer procesos de gobernanza para los propietarios de datos, los administradores de datos, las normas de documentación y los flujos de trabajo de gestión del cambio.

La plataforma de inteligencia de datos Actian admite el linaje dinámico de datos.

El linaje de datos es una capacidad fundamental para las organizaciones modernas basadas en datos. Pero no todos los linajes son iguales. Es fundamental comprender los diferentes tipos de linaje de datos:

• El linaje empresarial (semántico) conecta los datos con su contexto empresarial y sus usuarios.
• El linaje técnico (físico) rastrea los aspectos prácticos del movimiento y la transformación a lo largo del ciclo de vida de un conjunto de datos.
• El linaje operativo (en tiempo de ejecución) supervisa los flujos de datos en tiempo real y admite la observabilidad.
• Subtipos adicionales diseño / lógico / a nivel de columna aportan matices y profundidad.

Al seleccionar los tipos de linaje adecuados para el contexto de su organización, alinear a las partes interesadas, implementar las herramientas y prácticas de metadatos adecuadas e incorporar la gobernanza, puede mejorar significativamente la confianza en los datos. También puede mejorar su capacidad de auditoría, la resiliencia operativa y la calidad de la toma de decisiones.

Actian Data Intelligence Platform se basa en gráfico de conocimiento y se integra completamente con los sistemas existentes gracias a más de 100 conectores. ¿Está listo para ver la diferencia que la plataforma puede marcar en su organización? Solicite hoy mismo una demostración personalizada de las capacidades de la plataforma.

Acerca del autor

Acerca de Actian Corporation

Actian permite a las empresas gestionar y gobernar con confianza los datos a escala, agilizando los entornos de datos complejos y acelerando la entrega de datos listos para la IA. El enfoque de inteligencia de datos de Actian combina el descubrimiento de datos, la gestión de metadatos y la gobernanza federada para permitir un uso más inteligente de los datos y mejorar el cumplimiento. Con capacidades intuitivas de autoservicio, los usuarios empresariales y técnicos pueden encontrar, comprender y confiar en los activos de datos en entornos en la nube, híbridos y locales. Actian ofrece soluciones flexibles de gestión de datos a 42 millones de usuarios en empresas de Fortune 100 y otras empresas de todo el mundo, al tiempo que mantiene una puntuación de satisfacción del cliente del 95%.