Marquez : La solution de découverte des métadonnées chez WeWork

Résumé

WeWork a développé Marquez, une métadonnées open source métadonnées destinée à gérer et à visualiser son écosystème de données.
métadonnées essentielles pour garantir la qualité des données, assurer leur traçabilité et permettre un accès libre-service .
Marquez centralise métadonnées un dépôt, une API et utilisateur .
Il améliore découverte de données indexant jeux de données de critères contextuels tels que la propriété et la documentation.
La plateforme favorise une culture libre-service évolutif et libre-service , dans laquelle les utilisateurs peuvent explorer les données en toute confiance.

Created in 2010, WeWork is a global office and workspace leasing company. Their objective is to provide space for teams of any size, including startups, SMEs, and major corporations, to collaborate. To achieve this, what WeWork provides can be broken down into three different categories:

Space: To ensure companies have optimal space, WeWork must provide the appropriate infrastructure, which consists of booking rooms for interviews / one-on-ones or even entire buildings for huge corporations. They also must make sure they are equipped with the appropriate facilities, such as kitchens for lunch and coffee breaks, bathrooms, etc.
Community: Via WeWork’s internal application, the firm enables WeWork members to connect with one another, whether it’s local within their own WeWork space or globally. For example, if a company is in need of feedback for a project from specific job titles (such as a developer or UX designer), they can directly ask for feedback and suggestions via the application to any member, regardless of their location.
Services: WeWork also provides its members with full IT services if there are any problems, as well as other services such as payroll services, utility services, etc

In 2020, WeWork represented:

Plus de 600 000 adhésions.
Des sites dans 127 villes de 33 pays différents.
850 bureaux dans le monde.
a généré des recettes de 1,82 milliard de dollars.

Il est clair que WeWork travaille avec toutes sortes de données provenant de son personnel et de ses clients, qu'il s'agisse d'individus ou d'entreprises. La grande entreprise avait donc besoin d'une plateforme où ses experts en données pourraient voir, collecter, agréger et visualiser les métadonnées de leur écosystème de données. Ce besoin a été résolu par la création de Marquez.

Cet article se concentrera sur la mise en œuvre de Marquez par WeWork, principalement par le biais de la documentation gratuite et accessible fournie sur divers sites Web, afin d'illustrer l'importance de disposer d'une plateforme de métadonnées à l'échelle de l'entreprise afin de devenir véritablement axé sur les données.

Pourquoi gérer et utiliser des métadonnées?

Dans sa conférence "A métadonnées Service for Data Abstraction, Data Lineage & Event-Based Triggers" au Data Council en 2018, Willy Lulciuc, ingénieur logiciel pour le projet Marquez chez WeWork, a expliqué que les métadonnées sont cruciales pour trois raisons :

Assurer la qualité des données: Lorsque les données n'ont pas de contexte, il est difficile pour les citoyens de faire confiance à leurs données : y a-t-il des champs manquants ? La documentation est-elle à jour ? Qui est le propriétaire des données et l'est-il toujours ? L'utilisation de métadonnées permet de répondre à ces questions.
Comprendre l'historique des données: Connaître les origines et les transformations de vos données est essentiel pour être en mesure de savoir par quelles étapes vos données sont passées au fil du temps.
Démocratisation des jeux de données: Selon Willy Lulciuc, la démocratisation des données dans l'entreprise est essentielle ! Disposer d'un portail central ou d'une interface utilisateur permettant aux utilisateurs de rechercher et d'explorer leurs jeux de données est l'un des moyens les plus importants dont disposent les entreprises pour créer une véritable culture de données en libre-service .

En résumé, il s'agit de créer un écosystème de données sain. Willy explique que la capacité à gérer et à utiliser les métadonnées crée une culture de données durable où les individus n'ont plus besoin de demander de l'aide pour trouver et travailler avec les données dont ils ont besoin. Dans sa diapositive, il passe en revue trois catégories différentes qui constituent un écosystème de données sain :

Être un écosystème en libre-service, où les utilisateurs de données et les entreprises ont la possibilité de découvrir les données et les métadonnées dont ils ont besoin, et d'explorer les ressources de données de l'entreprise lorsqu'ils ne savent pas exactement ce qu'ils recherchent. Fournir des données en contexte permet à tous les utilisateurs et citoyens des données de travailler efficacement sur leurs cas d'utilisation des données.
Être autonome en donnant aux utilisateurs de données la liberté d'expérimenter avec leurs jeux de données ainsi que la flexibilité de travailler sur chaque aspect de leurs jeux de données , qu'il s'agisse de jeux de données données d'entrée ou de jeux de données sortie, par exemple.
Enfin, au lieu de s'appuyer sur certaines personnes ou certains groupes, un écosystème de données sain permet à tous les employés d'être responsables de leurs propres données. Chaque utilisateur a la responsabilité de connaître ses données, ses coûts (ces données produisent-elles suffisamment de valeur ?) et de suivre la documentation de ses données afin d'instaurer la confiance autour de ses jeux de données.

Pipeline de réservation de chambres Avant

Comme mentionné ci-dessus, l'utilisation des métadonnées est cruciale pour que les utilisateurs de données puissent trouver les données dont ils ont besoin. Dans sa présentation, Willy a partagé une situation réelle qui prouve que métadonnées sont essentielles : Le pipeline de données de WeWork pour la réservation d'une chambre.

Pour un "WeWorker", les étapes sont les suivantes :

Trouver un lieu (l'exemple était un complexe immobilier à San Francisco).
Choose the appropriate room size (usually split into the number of attendees – in this case, they chose a room that could accommodate 1 – 4 people).
Choisissez la date à laquelle la réservation aura lieu.
Décidez du créneau horaire pour lequel la salle est réservée ainsi que de la durée de la réunion.
Confirmer la réservation.

Maintenant que nous avons un exemple du fonctionnement de leur pipeline de réservation, Willy nous montre comment une équipe de données typique travaillerait pour extraire des données sur les réservations de WeWork. Dans ce cas, l'exercice consistait à trouver le bâtiment qui contenait le plus de réservations de chambres, et à extraire ces données pour les envoyer à la direction. Les étapes qu'il a décrites sont les suivantes :

Lire les réservations de chambres à partir d'une source de données (généralement inconnue).
Récapitulez toutes les réservations de chambres et indiquez les lieux les plus importants.
Une fois l'emplacement du sommet calculé, l'étape suivante consiste à l'écrire dans une source de données de sortie.
Run the job once an hour.
Traiter les données à l'aide de fichiers .csv et les stocker quelque part.

Cependant, Willy a déclaré que même si ces étapes semblent suffisantes, des problèmes surviennent généralement. Il passe en revue trois types de problèmes au cours du processus d'embauche :

Où puis-je trouver le jeu de données de l'agence pour l'emploi ?
Le jeu de données a-t-il un propriétaire ? De qui s'agit-il ?
À quelle fréquence le jeu de données est-il mis à jour ?

Most of these questions are difficult to answer, and jobs end up failing. Without being sure and trusting this information, it can be hard to present numbers to management. These sorts of problems and issues are what made WeWork develop Marquez.

Qu'est-ce que Marquez ?

Willy définit la plateforme comme une "solution ouverte pour l'agrégation, la collecte et la visualisation des métadonnées de l'écosystème de données [de WeWork]". En effet, Marquez est un système modulaire et a été conçu comme une solution agnostique de plateforme hautement évolutif et hautement extensible pour la gestion desmétadonnées . Il se compose des éléments suivants :

Metadata Repository: Stores all job and dataset metadata, including a complete history of job runs and job-level statistics (i.e., total runs, average runtimes, success/failures, etc).
métadonnées API: API RESTful permettant à un ensemble diversifié de clients de commencer à collecter des métadonnées autour de la production et de la consommation de jeu de données .
Metadata UI: Used for dataset discovery, connecting multiple datasets, and exploring their dependency graph.

Marquez's Design

Marquez provides language-specific clients that implement the Metadata API. This enables a diverse set of data processing applications to build a metadata collection. In their initial release, they provided support for both Java and Python.

L'API métadonnées extrait des informations sur la production et la consommation de jeux de données. Il s'agit d'une couche sans état responsable de la spécification de la persistance et de l'agrégation des métadonnées . L'API permet aux clients de collecter et/ou d'obtenir des informations sur les jeu de données vers/depuis ledépôt métadonnées .

métadonnées doit être collectée, organisée et stockée de manière à permettre des requêtes exploratoires riches via l'interface utilisateur de métadonnées . Ledépôt métadonnées sert de catalogue d'informations de jeu de données encapsulées et proprement abstraites par l'API de métadonnées .

According to Willy, what makes a very strong data ecosystem is the ability to search for information and datasets. Datasets in Marquez are indexed and ranked through the use of a search engine-based keyword or phrase, as well as the documentation of a dataset: the more a dataset has context, the more it is likely to appear first in the search results. Examples of a dataset’s documentation are its description, owner, schema, tag, etc.

You can see more details of Marquez’s data model in the presentation itself here: https://www.youtube.com/watch?v=dRaRKob-lRQ&ab_channel=DataCouncil

L'avenir de la gestion des données chez WeWork

Deux ans après le lancement du projet, Marquez s'est avéré être d'une grande aide pour le géant du leasing. Sa feuille de route à long terme est de se concentrer uniquement sur l'interface utilisateur de sa solution, en incluant davantage de visualisations et de représentations graphiques afin d'offrir aux utilisateurs des moyens plus simples et plus amusants d'interagir avec leurs données.

Ils proposent également diverses communautés en ligne via leur page Github, ainsi que des groupes sur LinkedIn pour ceux qui sont intéressés par Marquez, afin de poser des questions, d'obtenir des conseils ou même de signaler des problèmes sur la version actuelle de Marquez.