Marquez : La solution de découverte des métadonnées chez WeWork

Résumé

WeWork a développé Marquez, une métadonnées open source métadonnées destinée à gérer et à visualiser son écosystème de données.
métadonnées essentielles pour garantir la qualité des données, assurer leur traçabilité et permettre un accès libre-service .
Marquez centralise métadonnées un dépôt, une API et utilisateur .
Il améliore découverte de données indexant jeux de données de critères contextuels tels que la propriété et la documentation.
La plateforme favorise une culture libre-service évolutif et libre-service , dans laquelle les utilisateurs peuvent explorer les données en toute confiance.

Fondée en 2010, WeWork est une entreprise internationale spécialisée dans la location de bureaux et d'espaces de travail. Son objectif est de mettre à disposition des espaces permettant à des équipes de toutes tailles, qu'il s'agisse de start-ups, de PME ou de grandes entreprises, de collaborer. Pour y parvenir, l'offre de WeWork se décline en trois catégories distinctes :

Espace: Afin de garantir aux entreprises un espace optimal, WeWork doit fournir l’infrastructure adéquate, qui consiste à réserver des salles pour les entretiens ou les réunions en tête-à-tête, voire des immeubles entiers pour les grandes entreprises. L’entreprise doit également s’assurer que ces espaces sont équipés des installations appropriées, telles que des cuisines pour le déjeuner et les pauses-café, des sanitaires, etc.
Communauté: Grâce à l’application interne de WeWork, l’entreprise permet aux membres de WeWork d’entrer en contact les uns avec les autres, que ce soit au niveau local, au sein de leur propre espace WeWork, ou à l’échelle mondiale. Par exemple, si une entreprise a besoin d’avis sur un projet de la part de profils professionnels spécifiques (tels que des développeurs ou des concepteurs UX), elle peut solliciter directement des avis et des suggestions via l’application auprès de n’importe quel membre, quel que soit son lieu de travail.
Services: WeWork propose également à ses membres une gamme complète de services informatiques en cas de problème, ainsi que d'autres services tels que la gestion de la paie, la facturation des charges, etc.

En 2020, WeWork représentait :

Plus de 600 000 adhésions.
Des sites dans 127 villes de 33 pays différents.
850 bureaux dans le monde.
a généré des recettes de 1,82 milliard de dollars.

Il est clair que WeWork travaille avec toutes sortes de données provenant de son personnel et de ses clients, qu'il s'agisse d'individus ou d'entreprises. La grande entreprise avait donc besoin d'une plateforme où ses experts en données pourraient voir, collecter, agréger et visualiser les métadonnées de leur écosystème de données. Ce besoin a été résolu par la création de Marquez.

Cet article se concentrera sur la mise en œuvre de Marquez par WeWork, principalement par le biais de la documentation gratuite et accessible fournie sur divers sites Web, afin d'illustrer l'importance de disposer d'une plateforme de métadonnées à l'échelle de l'entreprise afin de devenir véritablement axé sur les données.

Pourquoi gérer et utiliser des métadonnées?

Dans sa conférence "A métadonnées Service for Data Abstraction, Data Lineage & Event-Based Triggers" au Data Council en 2018, Willy Lulciuc, ingénieur logiciel pour le projet Marquez chez WeWork, a expliqué que les métadonnées sont cruciales pour trois raisons :

Assurer la qualité des données: Lorsque les données n'ont pas de contexte, il est difficile pour les citoyens de faire confiance à leurs données : y a-t-il des champs manquants ? La documentation est-elle à jour ? Qui est le propriétaire des données et l'est-il toujours ? L'utilisation de métadonnées permet de répondre à ces questions.
Comprendre l'historique des données: Connaître les origines et les transformations de vos données est essentiel pour être en mesure de savoir par quelles étapes vos données sont passées au fil du temps.
Démocratisation des jeux de données: Selon Willy Lulciuc, la démocratisation des données dans l'entreprise est essentielle ! Disposer d'un portail central ou d'une interface utilisateur permettant aux utilisateurs de rechercher et d'explorer leurs jeux de données est l'un des moyens les plus importants dont disposent les entreprises pour créer une véritable culture de données en libre-service .

En résumé, il s'agit de créer un écosystème de données sain. Willy explique que la capacité à gérer et à utiliser les métadonnées crée une culture de données durable où les individus n'ont plus besoin de demander de l'aide pour trouver et travailler avec les données dont ils ont besoin. Dans sa diapositive, il passe en revue trois catégories différentes qui constituent un écosystème de données sain :

Être un écosystème en libre-service, où les utilisateurs de données et les entreprises ont la possibilité de découvrir les données et les métadonnées dont ils ont besoin, et d'explorer les ressources de données de l'entreprise lorsqu'ils ne savent pas exactement ce qu'ils recherchent. Fournir des données en contexte permet à tous les utilisateurs et citoyens des données de travailler efficacement sur leurs cas d'utilisation des données.
Être autonome en donnant aux utilisateurs de données la liberté d'expérimenter avec leurs jeux de données ainsi que la flexibilité de travailler sur chaque aspect de leurs jeux de données , qu'il s'agisse de jeux de données données d'entrée ou de jeux de données sortie, par exemple.
Enfin, au lieu de s'appuyer sur certaines personnes ou certains groupes, un écosystème de données sain permet à tous les employés d'être responsables de leurs propres données. Chaque utilisateur a la responsabilité de connaître ses données, ses coûts (ces données produisent-elles suffisamment de valeur ?) et de suivre la documentation de ses données afin d'instaurer la confiance autour de ses jeux de données.

Pipeline de réservation de chambres Avant

Comme mentionné ci-dessus, l'utilisation des métadonnées est cruciale pour que les utilisateurs de données puissent trouver les données dont ils ont besoin. Dans sa présentation, Willy a partagé une situation réelle qui prouve que métadonnées sont essentielles : Le pipeline de données de WeWork pour la réservation d'une chambre.

Pour un "WeWorker", les étapes sont les suivantes :

Trouver un lieu (l'exemple était un complexe immobilier à San Francisco).
Choisissez une salle de taille adaptée (généralement en fonction du nombre de participants – dans ce cas précis, ils ont choisi une salle pouvant accueillir entre 1 et 4 personnes).
Choisissez la date à laquelle la réservation aura lieu.
Décidez du créneau horaire pour lequel la salle est réservée ainsi que de la durée de la réunion.
Confirmer la réservation.

Maintenant que nous avons un exemple du fonctionnement de leur pipeline de réservation, Willy nous montre comment une équipe de données typique travaillerait pour extraire des données sur les réservations de WeWork. Dans ce cas, l'exercice consistait à trouver le bâtiment qui contenait le plus de réservations de chambres, et à extraire ces données pour les envoyer à la direction. Les étapes qu'il a décrites sont les suivantes :

Lire les réservations de chambres à partir d'une source de données (généralement inconnue).
Récapitulez toutes les réservations de chambres et indiquez les lieux les plus importants.
Une fois l'emplacement du sommet calculé, l'étape suivante consiste à l'écrire dans une source de données de sortie.
Exécutez la tâche une fois par heure.
Traiter les données à l'aide de fichiers .csv et les stocker quelque part.

Cependant, Willy a déclaré que même si ces étapes semblent suffisantes, des problèmes surviennent généralement. Il passe en revue trois types de problèmes au cours du processus d'embauche :

Où puis-je trouver le jeu de données de l'agence pour l'emploi ?
Le jeu de données a-t-il un propriétaire ? De qui s'agit-il ?
À quelle fréquence le jeu de données est-il mis à jour ?

Il est souvent difficile de répondre à la plupart de ces questions, et les projets finissent par échouer. Sans certitude ni confiance dans ces informations, il peut être difficile de présenter des chiffres à la direction. C'est précisément ce genre de problèmes et de difficultés qui a poussé WeWork à développer Marquez.

Qu'est-ce que Marquez ?

Willy définit la plateforme comme une "solution ouverte pour l'agrégation, la collecte et la visualisation des métadonnées de l'écosystème de données [de WeWork]". En effet, Marquez est un système modulaire et a été conçu comme une solution agnostique de plateforme hautement évolutif et hautement extensible pour la gestion desmétadonnées . Il se compose des éléments suivants :

métadonnées dépôt: Stocke toutesmétadonnées relatives aux tâches et jeu de données , y compris l'historique complet des exécutions de tâches et les statistiques au niveau des tâches (c'est-à-dire le nombre total d'exécutions, les durées moyennes d'exécution, les réussites/échecs, etc.).
métadonnées API: API RESTful permettant à un ensemble diversifié de clients de commencer à collecter des métadonnées autour de la production et de la consommation de jeu de données .
métadonnées : utilisées pourla découverte jeu de données , la mise en relation jeux de données plusieurs jeux de données et l'exploration de leur graphe de dépendances.

Marquez's Design

Marquez propose des clients spécifiques à chaque langage qui implémentent métadonnées . Cela permet à un large éventail d'applications de traitement de données de constituer une métadonnées . Dans leur version initiale, ils offraient support à la fois support Java et support Python.

L'API métadonnées extrait des informations sur la production et la consommation de jeux de données. Il s'agit d'une couche sans état responsable de la spécification de la persistance et de l'agrégation des métadonnées . L'API permet aux clients de collecter et/ou d'obtenir des informations sur les jeu de données vers/depuis ledépôt métadonnées .

métadonnées doit être collectée, organisée et stockée de manière à permettre des requêtes exploratoires riches via l'interface utilisateur de métadonnées . Ledépôt métadonnées sert de catalogue d'informations de jeu de données encapsulées et proprement abstraites par l'API de métadonnées .

Selon Willy, ce qui fait la force d’un écosystème de données, c’est la capacité à rechercher des informations et jeux de données. jeux de données Marquez, jeux de données sont indexés et classés à l’aide de mots-clés ou d’expressions via un moteur de recherche, ainsi qu’en fonction de la documentation associée à chaque jeu de données: plus un jeu de données contexte, plus il a de chances d’apparaître en tête des résultats de recherche. La documentation d'un jeu de donnéescomprend notamment sa description, son propriétaire, son schéma, ses balises, etc.

Vous trouverez plus de détails sur le modèle de données de Marquez dans la présentation elle-même, disponible ici : https://www.youtube.com/watch?v=dRaRKob-lRQ&ab_channel=DataCouncil

L'avenir de la gestion des données chez WeWork

Deux ans après le lancement du projet, Marquez s'est avéré être d'une grande aide pour le géant du leasing. Sa feuille de route à long terme est de se concentrer uniquement sur l'interface utilisateur de sa solution, en incluant davantage de visualisations et de représentations graphiques afin d'offrir aux utilisateurs des moyens plus simples et plus amusants d'interagir avec leurs données.

Ils proposent également diverses communautés en ligne via leur page Github, ainsi que des groupes sur LinkedIn pour ceux qui sont intéressés par Marquez, afin de poser des questions, d'obtenir des conseils ou même de signaler des problèmes sur la version actuelle de Marquez.