Marquez: Die Metadaten bei WeWork

Zimmerbuchungs-Pipeline Vorher

Wie bereits erwähnt, ist die Verwendung von Metadaten von entscheidender Bedeutung für Datenbenutzer, um die von ihnen benötigten Daten zu finden. In seiner Präsentation teilte Willy eine reale Situation, um zu beweisen, dass Metadaten unerlässlich sind: Die Datenpipeline von WeWork für die Buchung eines Zimmers.

Für einen "WeWorker" sind die Schritte wie folgt:

1. Finden Sie einen Standort (das Beispiel war ein Gebäudekomplex in San Francisco).
2. Wählen Sie die geeignete Raumgröße (in der Regel nach der Anzahl der Teilnehmer aufgeteilt - in diesem Fall wurde ein Raum gewählt, der 1 - 4 Personen aufnehmen kann).
3. Wählen Sie das Datum, an dem die Buchung stattfinden soll.
4. Legen Sie das Zeitfenster fest, für das der Raum gebucht wird, sowie die Dauer der Sitzung.
5. Bestätigen Sie die Buchung.

Nachdem wir nun ein Beispiel dafür haben, wie die Buchungspipeline funktioniert, demonstriert Willy, wie ein typisches Datenteam vorgehen würde, wenn es Daten über die Buchungen von WeWork auslesen wollte. In diesem Fall bestand die Beispielübung darin, das Gebäude mit den meisten Raumbuchungen zu finden und diese Daten zu extrahieren, um sie an das Management zu senden. Die Schritte, die er nannte, waren die folgenden:

• Lesen Sie die Raumbuchungen aus einer (meist unbekannten) Datenquelle.
• Fassen Sie alle Zimmerbuchungen zusammen und geben Sie die besten Standorte an.
• Sobald die oberste Position berechnet ist, besteht der nächste Schritt darin, sie in eine Ausgabedatenquelle zu schreiben.
• Führen Sie den Auftrag einmal pro Stunde aus.
• Verarbeiten Sie die Daten über .csv-Dateien und speichern Sie sie irgendwo.

Willy erklärte jedoch, dass, auch wenn diese Schritte gut genug zu sein scheinen, in der Regel doch Probleme auftreten. Er geht auf drei Arten von Problemen während des Arbeitsprozesses ein:

1. Wo finde ich den Datensatz des Job-Inputs?
2. Hat der Datensatz einen Eigentümer? Wer ist es?
3. Wie oft wird der Datensatz aktualisiert?

Die meisten dieser Fragen sind schwer zu beantworten, und die Aufträge scheitern am Ende. Wenn man sich nicht sicher ist und diesen Informationen nicht vertraut, kann es schwierig sein, dem Management Zahlen zu präsentieren. Diese Art von Problemen und Fragen waren es, die WeWork dazu veranlassten, Marquez zu entwickeln.

Was ist Marquez?

Willy definiert die Plattform als eine "Open-Source-Lösung für die Aggregation, Sammlung und Visualisierung von Metadaten des Datenökosystems von [WeWork]". In der Tat ist Marquez ein modulares System und wurde als hoch skalierbar, hochgradig erweiterbare, plattformunabhängige Lösung für das Metadaten konzipiert. Es besteht aus den folgenden Komponenten:

• Metadaten Lager: Speichert alle Job- undMetadaten, einschließlich einer vollständigen Historie der Job-Läufe und Statistiken auf Job-Ebene (d.h. Gesamtläufe, durchschnittliche Laufzeiten, Erfolge/Misserfolge usw.).
• Metadaten API: RESTful API, die es einer Vielzahl von Kunden ermöglicht, Metadaten rund um die Datensatz und -nutzung zu sammeln.
• Metadaten UI: Dient derEntdeckung von Datensatz , der Verbindung mehrerer Datensätze und der Erkundung ihres Abhängigkeitsgraphen.

Marquez's Entwurf

Marquez bietet sprachspezifische Clients, die die Metadaten implementieren. Dies ermöglicht es einer Vielzahl von Datenverarbeitungsanwendungen, eine Metadaten aufzubauen. In der ersten Version wurden sowohl Java als auch Python unterstützt.

Die Metadaten extrahiert Informationen über die Produktion und den Verbrauch von Datensätzen. Es handelt sich um eine zustandslose Schicht, die für die Spezifikation der Persistenz und Aggregation von Metadaten verantwortlich ist. Die API ermöglicht es den Clients, Datensatz zu sammeln und/oder aus demLager zu beziehen.

Metadaten müssen so gesammelt, organisiert und gespeichert werden, dass sie über die Metadaten UI abgefragt werden können. DasLager dient als Katalog von Datensatz , die von der Metadaten gekapselt und sauber abstrahiert werden.

Laut Willy macht ein starkes Daten-Ökosystem die Fähigkeit aus, nach Informationen und Datensätzen zu suchen. Die Datensätze in Marquez werden durch die Verwendung eines suchmaschinenbasierten Schlüsselworts oder einer Phrase sowie der Dokumentation eines Datensatz indiziert und eingestuft: Je mehr Kontext ein Datensatz hat, desto wahrscheinlicher ist es, dass er in den Suchergebnissen an erster Stelle erscheint. Beispiele für die Dokumentation eines Datensatzsind seine Beschreibung, sein Eigentümer, sein Schema, sein Tag, usw.

Weitere Einzelheiten zu Marquez' Datenmodell können Sie in der Präsentation selbst sehen: https://www.youtube.com/watch?v=dRaRKob-lRQ&ab_channel=DataCouncil