Inteligencia de datos

Trampas a evitar en un proyecto de catálogo de datos - Integración técnica

Corporación Actian

29 de septiembre de 2022

Ilustración Gráfica Abstracta de Mapa del Mundo sobre Fondo Azul, Concepto de Big Data y Redes 3d Rendering

La gestión de metadatos es un componente importante en un proyecto de gestión de datos y requiere algo más que la solución de catálogo de datos, por muy conectada que esté.

Por supuesto, una herramienta de catálogo de datos reducirá la carga de trabajo, pero no garantizará por sí sola el éxito del proyecto.

En esta serie de artículos, descubra los escollos y las ideas preconcebidas que deben evitarse al poner en marcha un proyecto de catálogo de datos en toda la empresa. Las trampas descritas se articulan en torno a 4 temas centrales que son cruciales para el éxito de la iniciativa:

  1. Cultura de datos dentro de la organización.
  2. Patrocinio interno del proyecto.
  3. Dirección del proyecto.
  4. Integración técnica del Catálogo de Datos.

La integración del catálogo de datos en el ecosistema empresarial ofrecerá oportunidades para crear valor. Es esencial tener en cuenta estos aspectos y comprender las posibles recompensas.

No todos los metadatos deben introducirse manualmente

Cada vez son más los sistemas que producen, agregan y permiten introducir metadatos de valor local. Esta información debe recuperarse y consolidarse en el catálogo, sin introducirse dos veces, por razones obvias (ahorro de dinero, fiabilidad y disponibilidad de los datos).

El catálogo de datos, por tanto, presenta una oportunidad para consolidar esta información con los conocimientos de los colaboradores en sus respectivos campos. Sin embargo, esta consolidación tiene que plantearse a través de una integración técnica y no de un esfuerzo manual. Aunque es obvio que introducir dos veces la misma información no es eficiente, tampoco lo es llevar a cabo importaciones/exportaciones entre sistemas mediante acciones humanas.

El punto fuerte de un catálogo de datos sigue siendo su capacidad para ingerir metadatos a través de cadenas de integración técnica y garantizar así una sincronización sólida entre sistemas.

El catálogo de datos no es una herramienta "automática

Por otro lado, pensar que un catálogo de datos puede extraer todo tipo de metadatos, independientemente de su fuente o formato, sería engañoso.

Por supuesto, el catálogo debe facilitar la recuperación de metadatos, pero algunos metadatos no podrán recuperarse automáticamente. Por tanto, siempre habrá un coste ligado a la intervención de los contribuidores.

La primera razón reside en el origen de algunos metadatos: es posible que cierta información simplemente no esté presente en los sistemas porque procede únicamente del conocimiento de los expertos. El catálogo de datos es, por tanto, en este caso, un candidato potencial para convertirse en el sistema maestro y poder recibir esta información.

Y a la inversa, cierta información puede estar presente en un sistema y ser imposible recuperarla de forma automatizada... por muchas razones. Por ejemplo, puede faltar
una interfaz que permita acceder a la información de manera estable. El riesgo de que se produzca ruido en torno a la información es, por tanto, elevado y puede provocar una degradación de la calidad del contenido del catálogo y, en última instancia, hacer que los usuarios dejen de utilizarlo.

El catálogo de datos no debe estar conectado a una fuente de metadatos única

Los metadatos proceden de estratos muy variados. Como consecuencia, intervienen fuentes múltiples y complementarias para una comprensión global. Es precisamente la conciliación de esta información en una solución central, un catálogo de datos, lo que proporcionará los elementos necesarios a los usuarios.

Optar por un catálogo de datos conectado es una verdadera ventaja, porque el descubrimiento de activos y la recuperación de metadatos asociada se facilitan considerablemente como resultado de la automatización.

Esta conectividad también puede extenderse a otros sistemas complementarios. Estos sistemas pueden ser anteriores o posteriores al primero, permitiendo, en caso necesario, la materialización del linaje y documentando así los flujos y transformaciones entre sistemas.

Los sistemas también pueden ser independientes entre sí y permitir simplemente, mediante su incorporación al catálogo, una cartografía exhaustiva del patrimonio de la empresa.

Por último, dada la variedad de tipos de activos que pueden documentarse en el catálogo, las distintas fuentes conectadas también pueden contribuir a enriquecer un universo específico del catálogo de datos: capas semánticas para unos, capas físicas para otros, etc.

Siempre con un enfoque iterativo en mente, las múltiples fuentes que alimentarán el catálogo de datos se integrarán progresivamente, de acuerdo con una estrategia que busca la producción de valor, bajo la supervisión global de la Oficina de Datos.

logo avatar actian

Acerca de Actian Corporation

Actian hace que los datos sean fáciles. Nuestra plataforma de datos simplifica el modo en que las personas conectan, gestionan y analizan los datos en entornos en la nube, híbridos y locales. Con décadas de experiencia en gestión de datos y análisis, Actian ofrece soluciones de alto rendimiento que permiten a las empresas tomar decisiones basadas en datos. Actian cuenta con el reconocimiento de los principales analistas y ha recibido premios del sector por su rendimiento e innovación. Nuestros equipos comparten casos de uso probados en conferencias (por ejemplo, Strata Data) y contribuyen a proyectos de código abierto. En el blog de Actian, cubrimos temas que van desde la ingestión de datos en tiempo real hasta el análisis impulsado por IA.