Ciencia de datos: Acelera tus iniciativas de lago de datos con metadatos

Los «data lakes» ofrecen un almacenamiento ilimitado de datos y presentan numerosas ventajas potenciales para los científicos de datos a la hora de explorar y crear nuevos modelos analíticos. Sin embargo, estos datos estructurados, no estructurados y semiestructurados se mezclan, y los usuarios de los datos suelen pasar por alto o malinterpretar la información empresarial que contienen.

El motivo es que muchas de las tecnologías utilizadas para implementar los lagos de datos carecen de las capacidades de información necesarias que las organizaciones suelen dar por sentadas. Por lo tanto, es necesario que estas empresas gestionen sus lagos de datos mediante la implantación de una gestión eficaz de los metadatos que tenga en cuenta la búsqueda de metadatos, la catalogación de datos y la gestión global de los metadatos de la empresa aplicada al lago de datos de la compañía.

2020 será el año en el que la mayoría de los casos de uso de datos y análisis requerirán conectarse a fuentes de datos distribuidas, lo que llevará a las empresas a duplicar sus inversiones en gestión de metadatos. – Gartner 2019.

Cómo sacar el máximo partido a tu lago de datos mediante la gestión de metadatos

Para sacar partido a su lago de datos, las empresas deben contar tanto con usuarios cualificados (como científicos de datos o «científicos de datos ciudadanos») como con una gestión eficaz de los metadatos para sus iniciativas de ciencia de datos. Para empezar, una organización podría centrarse en un conjunto de datos concreto y en sus metadatos relacionados. A continuación, podría aprovechar esos metadatos a medida que se vayan añadiendo más datos al lago de datos. Establecer un sistema de gestión de metadatos puede facilitar a los usuarios del lago de datos la puesta en marcha de esta tarea.

A continuación se indican las áreas clave para una gestión eficaz de los metadatos en tu lago de datos

Creación de un repositorio de metadatos

El etiquetado semántico es esencial para el descubrimiento de metadatos empresariales. El descubrimiento de metadatos se define como el proceso de utilizar soluciones para descubrir la semántica de los elementos de datos presentes en los conjuntos de datos. Este proceso suele dar lugar a un conjunto de correspondencias entre los distintos elementos de datos en un repositorio centralizado de metadatos. Esto permite a los usuarios de la ciencia de datos comprender sus datos y saber si están limpios, actualizados, son fiables, etc.

Automatización de la búsqueda de metadatos

Dado que cada día se añaden a un lago de datos cantidades ingentes y muy variadas de datos, mantener la ingesta puede suponer todo un reto. El uso de soluciones automatizadas no solo facilita a los científicos de datos o a los CDS la búsqueda de la información que necesitan, sino que también contribuye al descubrimiento de metadatos.

Catalogación de datos

Un catálogo de datos está compuesto por metadatos en los que se almacenan diversos objetos de datos, categorías, propiedades y campos. La catalogación de datos se utiliza tanto para datos internos como externos (por ejemplo, de socios o proveedores). En un lago de datos, se utiliza para recopilar un conjunto sólido de atributos de cada elemento de contenido del lago y enriquece el catálogo de metadatos aprovechando estos activos de información. Esto permite a los usuarios de ciencia de datos tener una visión del flujo de datos, realizar análisis de impacto, disponer de un vocabulario empresarial común, así como de responsabilidad y un registro de auditoría para garantizar el cumplimiento normativo.

Gobernanza de datos y análisis

La gobernanza de los datos y el análisis es un caso de uso importante en lo que respecta a la gestión de metadatos. Cuando se aplica a los lagos de datos, la pregunta «¿podría divulgarse?» debe convertirse en una parte esencial del modelo de gobernanza de la organización. Por lo tanto, las empresas deben ampliar sus modelos actuales de gobernanza de la información para abordar específicamente los casos de uso relacionados con el análisis empresarial y la ciencia de datos que se basan en los lagos de datos. La gestión de metadatos empresariales ayuda a proporcionar los medios necesarios para comprender mejor las normas de gobernanza vigentes relacionadas con los tipos estratégicos de activos de información.

A diferencia de los enfoques tradicionales, el objetivo principal de la gestión de metadatos es impulsar un enfoque coherente en la gestión de los activos de información. Cuanto mayor sea la coherencia semántica de los metadatos en todos los activos, mayor será la coherencia y la comprensión, lo que permitirá aprovechar el conocimiento de la información en toda la empresa. A la hora de invertir en lagos de datos, las organizaciones deben plantearse una estrategia eficaz de metadatos para poder aprovechar esos activos de información a partir del lago de datos.

Iniciar la gestión de metadatos

Como se ha mencionado anteriormente, incorporar la gestión de metadatos a la estrategia de datos de su organización no solo es beneficioso, sino esencial para las empresas que desean generar valor empresarial a partir de sus datos. Los equipos de ciencia de datos que trabajan con distintos volúmenes de datos en un lago de datos necesitan las soluciones adecuadas para poder confiar en sus activos de información y comprenderlos. Para respaldar esta disciplina emergente, la plataforma Actian Data Intelligence Platformle ofrece todo lo que necesita para recopilar, actualizar y aprovechar sus metadatos a través de su plataforma de última generación.

Acerca del autor

Acerca de Actian Corporation

Actian permite a las empresas gestionar y controlar los datos a gran escala con total confianza. Las organizaciones confían en las soluciones de gestión e inteligencia de datos de Actian para optimizar entornos de datos complejos y acelerar la entrega de datos preparados para la IA. Diseñadas para ofrecer flexibilidad, las soluciones de Actian se integran a la perfección y funcionan de forma fiable tanto en entornos locales como en la nube y en entornos híbridos. Obtén más Acerca de Actian, la división Acerca de Actian datos e IA de HCL Software, en actian.com.