What is a Smart Data Catalog?
La idea de un catálogo de datos inteligente lleva varios años presente en la literatura relacionada con la gestión de metadatos, aunque no existe una definición oficial. El consenso general es que un catálogo de datos moderno debe contar con aprendizaje automático e inteligencia artificial para desarrollar todo su potencial.
- Metamodeling
- Inventario de datos
- Metadata management
- Motor de búsqueda
- User experience
MetamodelingConsiga su eBook
(i.e. sales@..., support@...)
Visión general
Independientemente de su tamaño, un sistema de información contiene varias docenas de sistemas y aplicaciones que almacenan datos a través de una amplia variedad de fuentes (bases de datos relacionales y no relacionales, sistemas de archivos distribuidos, API, soluciones en la nube, etc.), de acuerdo con protocolos, formatos y reglas específicos. Cada sistema gestiona cientos o miles de conjuntos de datos, normalmente tablas o archivos, que a su vez están compuestos por docenas de campos (o columnas). Y cada conjunto de datos y cada campo se alimenta de un metamodelo (es decir, un conjunto de metadatos estructurados) que hace posible la exploración de datos.
En última instancia, un catálogo de datos tendrá que aprovechar enormes cantidades de información muy diversa, y su volumen crecerá exponencialmente, al igual que el volumen de datos utilizables. Este volumen de información planteará dos problemas importantes:
- Cómo alimentar y mantener el volumen de información sin triplicar (o más) el coste de la gestión de metadatos.
- Cómo encontrar los conjuntos de datos más relevantes para cualquier caso de uso específico.
Para nosotros, un catálogo de datos inteligente debe tener un alcance mucho más amplio que la integración de algoritmos de IA y debe incluir una serie de características tecnológicas y conceptuales inteligentes que proporcionen respuestas a las dos preguntas anteriores.