WhereHows: un portal de descubrimiento y linaje de datos para LinkedIn

Los metadatos están cobrando cada vez más importancia para las empresas modernas basadas en datos. En un mundo en el que el panorama de los datos crece a un ritmo vertiginoso y los sistemas de información son cada vez más complejos, las organizaciones de todos los sectores han comprendido la importancia de poder identificar, comprender y confiar en sus activos de datos.

Tanto si tu empresa pertenece al sector del streaming, como Spotify o Netflix, al sector del transporte compartido, como Uber o Lyft, o incluso al sector del alquiler, como Airbnb, los equipos de datos deben estar contar con las herramientas y soluciones adecuadas que les permitan innovar y generar valor a partir de sus datos.

En este artículo nos centraremos en WhereHows, un proyecto de código abierto liderado por el equipo de datos de LinkedIn cuyo objetivo es crear un repositorio central y un portal para las personas, los procesos y los conocimientos relacionados con los datos. Con más de 50 000 conjuntos de datos, 14 000 comentarios y 35 millones de ejecuciones de tareas, junto con la información de linaje correspondiente, queda claro que el portal de descubrimiento de datos de LinkedIn es todo un éxito.

Estadísticas clave de LinkedIn

Fundada por Reid Hoffman, Allen Blue, Konstantin Guericke, Eric Ly y Jean-Luc Vaillant en 2003 en California, la empresa tuvo unos comienzos muy lentos. En 2007, por fin alcanzó la rentabilidad y, en 2011, contaba con más de 100 millones de miembros en todo el mundo.

En 2020, LinkedIn ha experimentado un crecimiento significativo:

• LinkedIn cuenta con más de 660 millones de miembros en todo el mundo, de los cuales 206 millones son usuarios activos en Europa.
• Más de 80 millones de usuarios en LinkedIn Slideshare.
• Más de 9 000 millones de impresiones de contenido.
• 30 millones de empresas registradas en todo el mundo.

LinkedIn es, sin duda, una red social profesional imprescindible para los responsables de selección de personal, los profesionales del marketing e incluso los comerciales. Entonces, ¿cómo se las arregla este gigante de Internet para gestionar todos estos datos?

Cómo empezó todo

Al igual que la mayoría de las empresas con un ecosistema de BI consolidado, LinkedIn comenzó con un equipo de almacén de datos, encargado de integrar diversas fuentes de información en conjuntos de datos de referencia consolidados. A medida que aumentaba el número de conjuntos de datos, productores y consumidores, el equipo se sentía cada vez más abrumado por la colosal cantidad de datos que se generaban cada día. Algunas de sus preguntas eran:

• ¿Quién es el responsable de este flujo de datos?
• ¿Cómo han llegado estos datos hasta aquí?
• ¿Dónde están los datos?
• ¿Qué datos se están utilizando?

En respuesta a ello, LinkedIn decidió crear un repositorio central de metadatos para recopilar sus metadatos de todos los sistemas y presentarlos a través de una plataforma única con el fin de simplificar la búsqueda de datos: WhereHows.

¿Qué es WhereHows?

WhereHows se integra con todos los entornos de procesamiento de datos y extrae metadatos de ellos.

A continuación, muestra esta información a través de dos interfaces diferentes:

1. Una aplicación web que permite la navegación, la búsqueda, la visualización de linajes, los debates y la colaboración.
2. Un punto final de API que permite la automatización de otros procesos de datos y aplicaciones.

Este repositorio permite a LinkedIn resolver problemas relacionados con el linaje de los datos, la propiedad de los datos, la detección de esquemas, la integración de metadatos operativos, la elaboración de perfiles de datos y la comparación entre clústeres. Además, han implementado la detección automática de patrones y la asociación entre el glosario empresarial y sus conjuntos de datos, y crearon una comunidad basada en la participación y la colaboración que les permite mantener la documentación de metadatos fomentando el diálogo y el orgullo por la responsabilidad sobre los datos.

WhereHows consta de tres componentes principales:

1. Un repositorio de datos que almacena todos los metadatos.
2. Un servidor web que facilita el acceso a los datos a través de una API y una interfaz de usuario.
3. Un servidor backend que recupera metadatos de otras fuentes de información.

¿Cómo funciona WhereHows?

El potencial de WhereHows reside en los metadatos que recopila del ecosistema de datos de LinkedIn. Recopila los siguientes metadatos:

• Metadatos operativos, como tareas, flujos, etc.
• Información sobre el linaje, que es lo que vincula entre sí los conjuntos de datos de los trabajos.
• La información catalogada, como la ubicación del conjunto de datos, la estructura de su esquema, la titularidad, la fecha de creación, etc.

Cómo utilizan los metadatos

WhereHows utiliza un modelo universal que permite a los equipos de datos sacar mayor partido al valor de los metadatos; por ejemplo, realizando búsquedas en las distintas plataformas en función de diferentes aspectos de los conjuntos de datos.

Además, los metadatos de un conjunto de datos y los metadatos operativos de un trabajo son dos puntos finales. La información de linaje los conecta entre sí y permite a los equipos de datos realizar un seguimiento desde un conjunto de datos o un trabajo hasta los trabajos o conjuntos de datos anteriores o posteriores. Si todo el ecosistema de datos se recopila en WhereHows, se puede rastrear el flujo de datos de principio a fin.

Cómo recopilan los metadatos

El método utilizado para recopilar metadatos depende de la fuente. Por ejemplo, los conjuntos de datos de Hadoop cuentan con tareas de extracción que analizan las carpetas y los archivos de HDFS, leen los metadatos y, a continuación, los vuelven a almacenar.

En el caso de programadores como Azkaban, conectan su repositorio de fondo para obtener los metadatos, los agregan y los transforman al formato que necesitan, y luego los cargan en WhereHows. En cuanto a la información de linaje, analizan el registro de un trabajo de MapReduce y el registro de ejecución del programador, y luego combinan esa información para obtener el linaje.

¿Qué le depara el futuro a WhereHows?

En la actualidad, WhereHows se utiliza de forma activa en LinkedIn no solo como repositorio de metadatos, sino también para automatizar otros proyectos relacionados con los datos, como la eliminación automática de datos con fines de cumplimiento normativo. En 2016, lo integraron con los siguientes sistemas:

En el futuro, los equipos de datos de LinkedIn esperan ampliar la cobertura de sus metadatos mediante la integración de más sistemas, como Kafka o Samza. También tienen previsto integrarse con sistemas de gestión del ciclo de vida de los datos y de aprovisionamiento, como Nuage o Goblin, para enriquecer los metadatos. WhereHows aún no ha dicho su última palabra.

Fuentes:

• Las 50 estadísticas más importantes de LinkedIn para 2020
• WhereHows de código abierto: un portal de descubrimiento y linaje de datos

Acerca del autor

Acerca de Actian Corporation

Actian permite a las empresas gestionar y controlar los datos a gran escala con total confianza. Las organizaciones confían en las soluciones de gestión e inteligencia de datos de Actian para optimizar entornos de datos complejos y acelerar la entrega de datos preparados para la IA. Diseñadas para ofrecer flexibilidad, las soluciones de Actian se integran a la perfección y funcionan de forma fiable tanto en entornos locales como en la nube y en entornos híbridos. Obtén más Acerca de Actian, la división Acerca de Actian datos e IA de HCL Software, en actian.com.