Comprender los diferentes tipos de linaje de datos y cómo funcionan

En la gestión de datos, es fundamental implementar el linaje de datos. En pocas palabras, el linaje de datos permite seguir el recorrido de los datos: de dónde proceden, cómo circulan, cómo se transforman y, en última instancia, cómo se utilizan.

En este artículo, analizaremos los distintos tipos de linaje de datos: qué son, por qué son importantes, en qué se diferencian entre sí y cuándo las organizaciones los necesitan. También abordaremos cómo elegir un enfoque que se adapte al nivel de madurez de datos y a las necesidades de tu organización.

Por qué es importante comprender los tipos de linaje de datos

Antes de profundizar en los tipos, conviene entender por qué es importante distinguirlos. He aquí el motivo:

• El público y el objetivo son distintos. El tipo de linaje útil para un ingeniero técnico interesado en las transformaciones de tabla a tabla es diferente del tipo de linaje útil para un analista de negocios interesado en cómo se ha obtenido un KPI.
• El nivel de detalle varía. Algunos linajes son generales, como «sistema → sistema», mientras que otros son más detallados, como «columna → columna» o «fila → fila». Saber qué linaje necesitas te ayuda a delimitar el alcance de tu trabajo.
• Gobernanza, cumplimiento normativo, auditoría y confianza. Contar con el tipo de linaje adecuado favorece el cumplimiento normativo, como el Reglamento General de Protección de Datos (RGPD) y la Ley de Portabilidad y Responsabilidad del Seguro Médico (HIPAA), además de la gobernanza de los datos y la confianza general en los análisis.
• Implicaciones en materia de tecnología y herramientas. Los distintos tipos de linaje pueden requerir herramientas diferentes, como catálogos de datos, registros operativos y bases de datos gráficas. Elegir el tipo adecuado ayuda a determinar cómo desarrollar o adquirir las herramientas.

Los 4 tipos principales de linaje de datos

El linaje de datos se puede clasificar en varios tipos principales. Aunque existe cierto solapamiento en la terminología, las categorías más habituales son:

1. Procedencia de los datos empresariales

También conocido como «linaje semántico de los datos», este tipo se centra en cómo se utilizan los datos en un contexto empresarial, en lugar de en su uso interno por parte de los equipos técnicos.

Lo que refleja este tipo de linaje

• Cómo se obtienen los indicadores de negocio o KPI. Por ejemplo, la «tasa de pérdida de clientes» se define y se calcula a partir de determinadas tablas subyacentes.
• ¿Qué informes, paneles de control o procesos empresariales utilizan los datos?
• ¿Quién es el responsable de los datos a nivel empresarial?
• Flujos de datos a alto nivel, como los que van de los sistemas de origen → al almacén de datos → a la implementación empresarial, aunque no incluyen necesariamente todos los detalles técnicos.

¿Quién utiliza este tipo de linaje?

• Analistas de negocio, responsables de datos y equipos de cumplimiento normativo.
• En materia de auditoría y gobernanza, cuando sea necesario armonizar las definiciones empresariales con las implementaciones técnicas.
• Cuando necesites explicar por qué un gráfico de un panel de control tiene ese aspecto.
• A la hora de cumplir los requisitos normativos o de gobernanza de datos.

Este tipo de linaje de datos ayuda a las partes interesadas sin conocimientos técnicos a comprender la procedencia de los datos y a confiar en los resultados que estos proporcionan. Garantiza la coherencia entre las definiciones empresariales y lo que realmente hacen los sistemas técnicos, y facilita el análisis de impacto. Si se produce un cambio en un proceso empresarial, se puede ver qué flujos de datos y métricas pueden verse afectados.

2. Origen de los datos técnicos

A veces denominado «linaje físico», «linaje horizontal» o, simplemente, «linaje a nivel de canalización», este tipo de linaje analiza en profundidad los mecanismos por los que los datos se mueven, se transforman y se almacenan.

Lo que refleja este tipo de linaje

• Movimiento de datos entre sistemas: extracción → transformación → carga (ETL), canalizaciones de datos, tareas por lotes y flujos en tiempo real.
• Detalles como tablas, archivos, columnas, esquemas, lógica de transformación, asignaciones y dependencias.
• La infraestructura y los sistemas que transportan físicamente los datos.

¿Quién utiliza este tipo de linaje?

• Ingenieros de datos, arquitectos de datos y equipos de operaciones.
• Cuando necesites depurar flujos de trabajo, comprender las dependencias y planificar migraciones o cambios en el sistema.
• Cuando tengas que responder a preguntas como: «Si modifico la tabla A, ¿qué tablas y paneles de control posteriores se verán afectados?».

Este tipo de linaje de datos ofrece una trazabilidad detallada, lo que permite analizar la causa raíz de los problemas. Por ejemplo, si un panel de control muestra cifras erróneas, se puede rastrear el problema hasta la transformación que generó el error.

El historial permite supervisar el rendimiento, optimizar los flujos de trabajo y evitar efectos secundarios inesperados cuando se producen cambios en el sistema. Además, facilita la gestión de cambios, ya que permite simular el efecto de los cambios en los sistemas anteriores.

Un breve ejemplo

Por ejemplo, el linaje técnico mostrará que la tabla «orders_cleaned» se obtiene mediante la unión de «raw_orders» y «customer_info», la aplicación de un filtro y una transformación, el almacenamiento de los resultados en un lago de datos y, posteriormente, su incorporación a la tabla «fact_orders» del esquema en estrella.

Advertencias

• Puede resultar abrumador por su nivel de detalle; demasiado para algunas partes interesadas.
• Capturar y mantener un linaje detallado requiere muchos recursos.
• Sin una vinculación con las definiciones empresariales, es posible que el linaje técnico por sí solo no satisfaga las necesidades de gobernanza o de transparencia empresarial.

3. Linaje de datos operativos (o en tiempo de ejecución)

Se trata de una clasificación relativamente nueva que refleja el comportamiento de los datos en tiempo de ejecución. Se centra en observar los flujos de datos a medida que se ejecutan en sistemas en tiempo real o casi en tiempo real. Algunos usuarios con conocimientos técnicos se refieren a ello como «linaje operativo» o «linaje en tiempo real».

Lo que refleja este tipo de linaje

• Registros de ejecución de los flujos de trabajo: cuándo se ejecutó el trabajo, cuánto tiempo tardó y cuántos datos se transfirieron.
• Anomalías, fallos e indicadores de rendimiento relacionados con las transformaciones.
• Seguimiento del movimiento de datos en tiempo real o casi en tiempo real, a menudo para flujos de trabajo de transmisión en continuo.
• Supervisión de los procesos de datos, a diferencia de las definiciones estáticas.

¿Quién utiliza este tipo de linaje?

• Equipos de operaciones de datos, ingenieros de fiabilidad de sistemas (SRE) y DevOps para datos.
• Equipos que supervisan los flujos de datos en cuanto a rendimiento, fallos, latencia y actualidad.
• Equipos de auditoría o de cumplimiento normativo que necesitan saber cuándo se actualizaron los datos por última vez o cuándo se modificó un proceso.

Este tipo de linaje de datos favorece la observabilidad de los datos. Se sabe cuál debería ser el linaje y cómo se ha ejecutado realmente. También resulta útil para la respuesta ante incidentes. Por ejemplo, si un proceso falla o se retrasa, el linaje operativo muestra en qué punto se ha producido el bloqueo. Por último, el linaje operativo ayuda a mantener la actualidad y la fiabilidad de los activos de datos, al garantizar que los conjuntos de datos se mantengan actualizados.

4. Subtipos menos comunes (de diseño, físicos, lógicos y a nivel de columna)

Más allá de las tres categorías principales, muchos marcos describen «tipos» o subtipos adicionales de linaje de datos. Resulta útil entenderlos como variaciones o precisiones de los tipos básicos.

Linaje de diseño (o lógico)

• Recoge los flujos de datos previstos o diseñados: cómo se supone que deben moverse, transformarse e integrarse los datos. Esto suele definirse durante el diseño o la integración del sistema.
• No se trata tanto de lo que ocurrió realmente, sino más bien de lo que se había planeado.
• Resulta útil durante el diseño de sistemas, las migraciones o a la hora de documentar sistemas heredados.

Linaje físico frente a linaje lógico

• Linaje físico. Se centra en archivos, tablas, almacenamiento y sistemas concretos, de forma similar al linaje técnico.
• Linaje lógico. Abstracciones de nivel superior, por ejemplo, cómo se obtienen los datos en lugar de cómo se han movido exactamente.

Linaje a nivel de columna (o a nivel de campo)

• Con un nivel de detalle extremadamente alto, permite realizar un seguimiento de cómo las columnas o campos individuales —y, en ocasiones, las filas individuales— se ven afectados por las transformaciones.
• Resulta útil para ámbitos de alto riesgo, como el financiero y el sanitario, en los que es necesario rastrear con exactitud cómo se ha calculado un valor.

Origen de extremo a extremo

• En muchos marcos de trabajo, una visión del linaje «de extremo a extremo» combina las perspectivas empresarial, técnica y operativa, lo que ofrece una visión completa desde los sistemas de origen hasta el consumo.

Comparación de los tipos de linaje de datos

A continuación se muestra una tabla comparativa en la que se resumen los principales tipos de linajes según criterios clave:

Cuándo utilizar cada tipo de linaje de datos

La elección del tipo adecuado de linaje de datos depende del grado de madurez, los objetivos y el perfil de riesgo de tu organización. A continuación se presentan algunos casos prácticos:

• Tu empresa acaba de iniciar un gobernanza de datos . Empieza por el linaje empresarial. Asigna las métricas empresariales clave a las fuentes de datos y a los informes principales, y asegúrate de que los usuarios empresariales entiendan lo que están utilizando.
• Tienes una arquitectura de datos compleja, con numerosos flujos de datos, transformaciones y sistemas. El linaje técnico cobra importancia, ya que permite rastrear las dependencias y realizar análisis de impacto antes de introducir cambios.
• Tu organización necesita datos actualizados en tiempo real, cuenta con canalizaciones de datos en tiempo real o debe supervisar el estado de las mismas. Añade un linaje operativo para poder detectar rápidamente fallos, latencias o anomalías.
• Te encuentras en un sector de alto riesgo, como el financiero, el sanitario o cualquier sector regulado. Considera la posibilidad de añadir un linaje a nivel de columna o un linaje detallado para cumplir con los requisitos de auditoría y normativos.
• Estás migrando sistemas, consolidando almacenes de datos o implementando una nueva arquitectura. El linaje de diseño/lógico resulta útil para capturar el flujo «previsto» y compararlo con lo que ocurre realmente.

En muchos casos, dentro de una organización deben coexistir varios tipos de linaje de datos. Para contar con una solución integral, a menudo será conveniente que el linaje empresarial, el técnico y el operativo funcionen de forma conjunta.

Consideraciones sobre la implementación

A continuación se exponen algunas consideraciones prácticas clave a la hora de poner en marcha una iniciativa de linaje de datos:

Captura de metadatos y herramientas

• Para crear un historial, se necesitan metadatos precisos, como las fuentes de datos, la lógica de transformación, los detalles del esquema, los registros de los trabajos, etc.
• Elige herramientas que se adapten al tipo de linaje que deseas. Pueden ser catálogos de datos para el linaje empresarial o sistemas de supervisión de flujos de trabajo para el linaje operativo.
• Automatiza siempre que sea posible. La documentación manual del linaje es propensa a errores y difícil de mantener.

Granularidad y alcance

• Decide de antemano qué nivel de detalle necesitas, por ejemplo, a nivel de sistema, de tabla, de columna o de fila. Un nivel demasiado general puede resultar poco útil. Uno demasiado detallado puede resultar abrumador.
• Da prioridad a los activos de datos de alto valor, como los sistemas críticos y los datos sujetos a normativa, en lugar de intentar abarcar todos los activos desde el primer día.

Coordinación entre las partes interesadas

• En lo que respecta al linaje empresarial, asegúrate de que los equipos empresariales y técnicos estén de acuerdo en las definiciones. Evita la deriva semántica, que se produce cuando el significado de los términos empresariales se desvía de su aplicación práctica.
• En lo que respecta al linaje técnico y operativo, asegúrate de que colaboren los ingenieros de datos, los equipos de operaciones y los equipos de gobernanza y gestión.

Visualización y accesibilidad

• El linaje de datos solo resulta útil si las personas pueden verlo y utilizarlo. Los mapas gráficos de linaje, como los diagramas de flujo y los gráficos de dependencias, facilitan la comprensión.
• Adapta la vista al público. Es probable que los usuarios empresariales prefieran una vista simplificada y general, mientras que los ingenieros querrán un análisis detallado de los problemas clave.

Mantenimiento y gobernanza

• El linaje de los datos debe mantenerse actualizado a medida que cambian los sistemas, los flujos de datos y la lógica de negocio. Sin un mantenimiento adecuado, se vuelve obsoleto y puede inducir a error.
• Establecer procesos de gobernanza para los responsables de los datos, los gestores de datos, las normas de documentación y los flujos de trabajo de gestión de cambios.

La plataforma de inteligencia de datos de Actian es compatible con el linaje dinámico de los datos

El linaje de datos es una capacidad fundamental para las organizaciones modernas basadas en datos. Pero no todos los linajes son iguales. Es fundamental comprender los diferentes tipos de linaje de datos:

• Linaje empresarial (semántico) relaciona los datos con su contexto empresarial y con los usuarios.
• Linaje técnico (físico) registra los detalles prácticos del movimiento y la transformación a lo largo del ciclo de vida de un conjunto de datos.
• Linaje operativo (en tiempo de ejecución) supervisa los flujos de datos en tiempo real y facilita la observabilidad.
• Subtipos adicionales de diseño / lógicos / a nivel de columna aportan matices y profundidad.

Al seleccionar los tipos de linaje adecuados para el contexto de su organización, coordinar a las partes interesadas, implementar las herramientas y prácticas de metadatos adecuadas e integrar la gobernanza, podrá mejorar significativamente la confianza en los datos. También podrá mejorar su capacidad de auditoría, su resiliencia operativa y la calidad de la toma de decisiones.

La plataforma Actian Data Intelligence se basa en gráfico de conocimiento y se integra plenamente con los sistemas existentes gracias a más de 100 conectores. ¿Estás listo para descubrir la diferencia que esta plataforma puede suponer para tu organización? Reserva hoy mismo una demostración personalizada de las capacidades de la plataforma.

Acerca del autor

Acerca de Actian Corporation

Actian permite a las empresas gestionar y controlar los datos a gran escala con total confianza. Las organizaciones confían en las soluciones de gestión e inteligencia de datos de Actian para optimizar entornos de datos complejos y acelerar la entrega de datos preparados para la IA. Diseñadas para ofrecer flexibilidad, las soluciones de Actian se integran a la perfección y funcionan de forma fiable tanto en entornos locales como en la nube y en entornos híbridos. Obtén más Acerca de Actian, la división Acerca de Actian datos e IA de HCL Software, en actian.com.