El linaje de los datos en un entorno de big data: cómo visualizarlo
Principales conclusiones
- El linaje de los datos es una representación detallada de los datos a lo largo del tiempo: su origen, sus procesos y sus transformaciones.
- El big data ha complicado el seguimiento centralizado del linaje, ya que los datos se encuentran ahora repartidos entre numerosas tecnologías y sistemas de almacenamiento.
- Un catálogo de datos centraliza los metadatos de todos los sistemas de almacenamiento, lo que te permite visualizar el linaje en un único lugar.
- El linaje a nivel de conjunto de datos muestra los procesos y los conjuntos de datos que han dado lugar al conjunto de datos final.
- El historial a nivel de columna muestra qué columnas y acciones dieron lugar a un campo concreto.
El linaje de datos es un tipo de ciclo de vida de los datos. Se trata de una representación detallada de cualquier dato a lo largo del tiempo: su origen, sus procesos y sus transformaciones. Aunque no se trata de un concepto totalmente nuevo, se está produciendo un cambio de paradigma.
¿Por qué resulta más complicado el linaje de datos en un entorno de big data?
Obtener el linaje de los datos de un almacén de datos solía ser una tarea sencilla. Dado que un almacén de datos es un sistema de almacenamiento centralizado, se podía obtener el linaje, por su propia naturaleza, a partir de los datos almacenados en un único lugar.
El ecosistema de datos ha evolucionado rápidamente desde la aparición del el big data, ya que las nuevas tecnologías y los sistemas de almacenamiento han complicado los sistemas de información empresariales. Se ha vuelto imposible imponer una única herramienta centralizada en toda la organización. El software y los métodos que los arquitectos empresariales utilizaban en el «viejo mundo» se han vuelto más difíciles de mantener, lo que ha dejado su trabajo obsoleto e ilegible.
¿Cómo se visualiza el linaje de los datos en un entorno de big data?
Para obtener una visión global de los datos de una empresa, están surgiendo nuevas herramientas. Una de ellas es el catálogo de datos. Este procesa la máxima cantidad de metadatos procedentes de todos los almacenes de datos a través de una interfaz fácil de usar. Al centralizar esa información, es posible crear un linaje de datos en un entorno de big data en dos niveles.
| Linaje a nivel de conjunto de datos | Linaje a nivel de columna | |
|---|---|---|
| Lo que muestra | Los procesos y conjuntos de datos que dieron lugar al conjunto de datos final | Las etapas de transformación de un conjunto de datos como una línea temporal de acciones y acontecimientos |
| Ejemplos de fuentes | Una tabla en Oracle, un tema en Kafka o un directorio en el lago de datos | Un campo concreto que selecciones |
| Lo que aprenderás | ¿Qué procesos y conjuntos de datos han dado lugar a este resultado? | ¿Qué columnas y acciones crearon ese campo? |
| Límite | No responde a preguntas sobre datos confidenciales ni sobre qué columnas se crearon y mediante qué procesos. | Es más detallado, por lo que responde a esas preguntas |
A nivel del conjunto de datos
Un conjunto de datos puede ser una tabla en Oracle, un tema en Kafka o un directorio en el lago de datos. Un catálogo de datos destaca los procesos y los conjuntos de datos que han permitido crear el conjunto de datos final.
Sin embargo, esta norma sobre el linaje de los datos, por sí sola, no permite a los usuarios de los datos responder a todas sus preguntas. Entre otras, siguen sin respuesta las siguientes: ¿qué ocurre con los datos sensibles? ¿Qué columnas se crearon y mediante qué procesos?
A nivel de columna
Un enfoque más detallado consiste en representar las diferentes etapas de transformación de un conjunto de datos como una línea temporal de acciones y eventos. Al seleccionar un campo concreto, los usuarios pueden ver qué columnas y acciones lo han generado.
¿Cómo es el linaje de los datos en la actualidad?
La plataforma Actian Data Intelligence captura automáticamente el linaje en entornos tanto en la nube como locales y lo conecta a un repositorio federado de datos ( gráfico de conocimiento), de modo que el linaje, los términos del glosario, los responsables y las políticas se asocian al mismo activo. Su linaje inteligente permite visualizar el flujo de datos de principio a fin para realizar análisis de impacto, rastrear las causas raíz y mantener la documentación actualizada.
Para obtener una visión general completa, lee «El linaje de los datos: una guía completa para equipos empresariales».