7 mentiras de los catálogos de datos #6: Hay que confiar en la automatización

El mercado de los catálogos de datos se ha desarrollado rápidamente, y ahora se considera esencial a la hora de desplegar una estrategia basada en datos. Víctima de su propio éxito, este mercado ha atraído a numerosos actores de mercados adyacentes.

Un catálogo de datos debe basarse en la automatización

Algunos proveedores de catálogos de datos, que proceden del mundo de la cartografía, han desarrollado la retórica de que la automatización es un tema secundario, que puede abordarse en una fase posterior.

Le dirán que basta con unas pocas importaciones manuales de archivos, junto con una generosa comunidad de usuarios que colabore en su herramienta para alimentar y utilizar el catálogo. Basta un poco de aritmética para entender por qué este enfoque está condenado al fracaso en una organización centrada en los datos.

Un Data Lake activo, aunque sea modesto, acumula rápidamente, en sus diferentes capas, cientos e incluso miles de conjuntos de datos. Junto a estos conjuntos de datos, se pueden añadir los procedentes de otros sistemas (aplicaciones de bases de datos, APIs diversas, CRMs, ERPs, noSQL, etc) que habitualmente queremos integrar en el catálogo.

Los órdenes de magnitud superan rápidamente los miles, a veces decenas de miles de conjuntos de datos. Cada conjunto de datos contiene decenas de campos. Los conjuntos de datos y los campos representan por sí solos varios cientos de miles de objetos (también podríamos incluir otros activos: modelos ML, cuadros de mando, informes, etc.). Para que el catálogo sea útil, no basta con inventariar esos objetos.

También hay que combinar con ellos todas las propiedades (metadatos) que permitirán a los usuarios finales encontrar, comprender y explotar estos activos. Hay varios tipos de metadatos: información técnica, clasificación empresarial, semántica, seguridad, sensibilidad, calidad, normas, usos, popularidad, contactos, etc. También en este caso, para cada activo existen decenas de propiedades.

Volver a la aritmética: En general, se trata de millones de atributos que hay que mantener.

Estos volúmenes por sí solos deberían descalificar cualquier tentación de optar por el enfoque manual. Pero hay más. El stock de activos informativos no es estático. Crece constantemente. En una organización centrada en los datos, cada día se crean conjuntos de datos, otros se mueven o cambian.

El catálogo de datos debe reflejar estos cambios.

De lo contrario, su contenido quedará permanentemente obsoleto y los usuarios finales lo rechazarán. ¿Quién va a confiar en un catálogo de datos incompleto y erróneo? Si cree que su organización puede absorber la carga y mantener su catálogo actualizado, estupendo. De lo contrario, le sugerimos que supervise lo antes posible el nivel de automatización que ofrecen las distintas soluciones que está estudiando.

¿Qué podemos automatizar en un catálogo de datos?

En términos de automatización, la capacidad más importante es el inventario.

Un catálogo de datos debe ser capaz de escanear periódicamente todas sus fuentes de datos y actualizar automáticamente el inventario de activos (conjuntos de datos, estructuras y metadatos técnicos, como mínimo) para reflejar la realidad cotidiana de los sistemas de alojamiento.

Créanos: un Catálogo de Datos que no pueda conectarse a sus fuentes de datos se volverá rápidamente inútil, porque su contenido estará siempre en duda.

Una vez completado el inventario, el siguiente reto es automatizar la alimentación del metamodelo.

Aquí, más allá de los metadatos técnicos, la automatización completa parece un poco difícil de imaginar. Aun así, es posible reducir considerablemente la carga de trabajo necesaria para el mantenimiento del metamodelo. El valor de ciertas propiedades puede determinarse simplemente aplicando reglas en el momento de la integración de los objetos en el catálogo.

También es posible sugerir valores de propiedades utilizando algoritmos más o menos sofisticados (análisis semántico, concordancia de patrones, etc.).

Por último, a menudo es posible alimentar una parte del catálogo integrando los sistemas que producen o contienen metadatos. Esto puede aplicarse, por ejemplo, a la medición de la calidad, a la información sobre el linaje, a las ontologías empresariales, etc.

Para que este enfoque funcione, el Catálogo de Datos debe ser abierto y ofrecer un conjunto completo de API que permitan actualizar los metadatos desde otros sistemas.

Para llevar

Un Catálogo de Datos maneja millones de informaciones en un panorama en constante cambio.

Mantener esta información manualmente es prácticamente imposible, o extremadamente costoso. Sin automatización, el contenido del catálogo siempre estará en duda, y los equipos de datos no lo utilizarán.

Acerca de Actian Corporation

Actian hace que trabajar con datos sea fácil. Nuestra plataforma de datos simplifica la forma en que las personas conectan, gestionan y analizan datos en entornos cloud, híbridos y locales. Con décadas de experiencia en gestión y analítica de datos, Actian ofrece soluciones de alto rendimiento que ayudan a las empresas a tomar decisiones basadas en datos. Estamos reconocidos por los principales analistas del sector y hemos recibido premios por nuestro rendimiento e innovación. Nuestros equipos comparten casos de éxito en conferencias (como Strata Data) y contribuyen activamente a proyectos de código abierto. En el blog de Actian tratamos temas como la ingesta de datos en tiempo real, el análisis de datos, la gobernanza y gestión de datos, la calidad de los datos, la inteligencia de datos y el análisis impulsado por IA.