Daten-Intelligenz

Metacat: Netflix macht seine Big Data zugänglich und nützlich

Actian Germany GmbH

März 29, 2019

metacat-netflix

Wie viele andere Unternehmen verfügt auch Netflix über eine große Menge an Daten, die aus vielen verschiedenen Datenquellen in unterschiedlichen Formaten stammen. Als führendes Streaming (SVOD) ist die Nutzung von Daten natürlich ein wichtiger strategischer Vorteil. Angesichts der Vielfalt ihrer Datenquellen suchte die Streaming nach einer Möglichkeit, diese Daten mit Hilfe eines einzigen Tools zu bündeln und mit ihnen zu interagieren. Dies führte zur Schaffung von Metacat.

Dieser Artikel erläutert die Beweggründe für die Entwicklung von Metacat, einer Metadaten , die das Auffinden, die Bearbeitung und die Verwaltung der Daten von Netflix erleichtern soll.

Lesen Sie unsere früheren Artikel über Google und AirBnB.

Die Kennzahlen von Netflix

Netflix hat seit seinem DVD-Verleih in den 1990er Jahren einen langen Weg zurückgelegt. Der Videokonsum auf Netflix macht 15 % des weltweiten Internetverkehrs aus. Aber Netflix ist heute auch:

  • 130 Millionen zahlende Abonnenten weltweit (400 % Anstieg seit 2011).
  • 10 Milliarden Dollar Umsatz, davon 403 Millionen Dollar Gewinn.
  • 100 Milliarden Dollar Marktkapitalisierung oder die Summe aller führenden Fernsehkonzerne in Europa.
  • 6 Milliarden Dollar Investitionen in Eigenproduktionen (Fernsehsendungen und Filme).

Netflix verfügt außerdem über ein Datenlager von 60 Petabyte (60 Millionen Milliarden Byte), was eine echte Herausforderung für das Unternehmen darstellt, diese Daten zu nutzen und zu verbinden.

Netflix' Big Data

Seine grundlegende Architektur umfasst drei Schlüsseldienste. Diese sind der Ausführungsdienst (Genie), der Metadaten (Metacat) und der Ereignisdienst (Microbot).

Um zwischen den verschiedenen Sprachen und Datenquellen, die nicht sehr kompatibel sind, zu operieren, wurde Metacat geboren. Dieses Tool fungiert als Daten- und Metadaten für die Datenquellen von Netflix. Ein zentraler Dienst, auf den jeder Nutzer zugreifen kann, um die Entdeckung, Bearbeitung und Verwaltung von Daten zu erleichtern.

Metacat und seine Merkmale

Netflix verfügt über Datenabfragen wie Hive, Pig oder Spark, die nicht gemeinsam betrieben werden können. Durch die Einführung einer gemeinsamen Abstraktionsschicht kann Netflix seinen Nutzern unabhängig von ihren Speichersystemen Datenzugriff bieten.

Darüber hinaus geht Metacat so weit, dass die Übertragung eines Datensatz auf einen anderen Datenspeicher vereinfacht wird.

Geschäftliche Metadaten

Handgeschriebene, Nutzer, geschäftsorientierte Metadaten, in freiem Format können über Metacat hinzugefügt werden. Zu den Hauptinformationen gehören die Verbindungen, Konfigurationen, Metriken und die Lebenszyklen der einzelnen Datensatz.

Data Discovery

Mit der Entwicklung von Metacat erleichtert Netflix seinen Nutzern das Auffinden von Geschäftsdaten. Das Tool veröffentlicht von seinen Nutzern definierte Schemata und geschäftliche Metadaten in Elasticsearch und erleichtert so die Suche nach Volltextinformationen in seinen Datenquellen.

Datenmodifikation und Audit

Als bereichsübergreifendes Werkzeug für alle Datenbestände registriert und meldet Metacat alle Änderungen an den Metadaten und den Daten selbst aus seinen Speichersystemen.

Metacat und die Zukunft von Netflix

Nach Angaben von Netflix ist die aktuelle Version von Metacat ein Schritt in Richtung der neuen Funktionen, an denen sie arbeiten. Sie wollen die Visualisierung ihrer Metadaten noch verbessern, da dies für Restaurierungszwecke sehr nützlich wäre.

Metacat sollte nach Ansicht von Netflix auch eine Plug-in-Architektur haben. So könnte ihr Tool alle seine Metadaten validieren und pflegen. Der Grund dafür ist, dass die Benutzer Metadaten in freier Form definieren. Daher muss Netflix einen Validierungsprozess einrichten, der vor der Speicherung der Metadaten durchgeführt werden kann.

Als zentralisierendes Werkzeug für Daten aus mehreren Quellen und in mehreren Formaten hat Netflix' Metacat eindeutig Fortschritte gemacht.

Die Entwicklung dieses in-house Dienstes hat sich an alle vom Unternehmen verwendeten Tools angepasst, so dass Netflix datengesteuert werden konnte.

Quellen

actian avatar logo

Über Actian Corporation

Actian macht Daten einfach. Unsere Datenplattform vereinfacht die Verbindung, Verwaltung und Analyse von Daten in Cloud-, Hybrid- und lokalen Umgebungen. Mit jahrzehntelanger Erfahrung in den Bereichen Datenmanagement und -analyse liefert Actian leistungsstarke Lösungen, die es Unternehmen ermöglichen, datengesteuerte Entscheidungen zu treffen. Actian wird von führenden Analysten anerkannt und wurde für seine Leistung und Innovation mit Branchenpreisen ausgezeichnet. Unsere Teams präsentieren bewährte Anwendungsfälle auf Konferenzen (z. B. Strata Data) und tragen zu Open-Source-Projekten bei. Im ActianBlog behandeln wir Themen wie Echtzeit-Dateneingabe, Datenanalyse, Data Governance, Datenmanagement, Datenqualität, Datenintelligenz und KI-gesteuerte Analysen.