Metacat: Netflix hace accesibles y útiles sus macrodatos

Este artículo explica las motivaciones que llevaron a crear Metacat, una solución de metadatos destinada a facilitar el descubrimiento, el tratamiento y la gestión de los datos de Netflix.

Lea nuestros artículos anteriores sobre Google y AirBnB.

Cifras clave de Netflix

Netflix ha recorrido un largo camino desde su empresa de alquiler de DVD en los años noventa. El consumo de vídeo en Netflix representa el 15% del tráfico mundial de Internet. Pero Netflix hoy también lo es:

Netflix cuenta además con un almacén de datos de 60 petabytes (60 millones de billones de bytes), lo que supone un verdadero reto para la empresa a la hora de explotar y federar estos datos.

Arquitectura de la plataforma de Big Data de Netflix

Para poder operar entre sus diferentes idiomas y fuentes de datos, poco compatibles entre sí, nació Metacat. Esta herramienta actúa como una capa de acceso a los datos y metadatos de las fuentes de datos de Netflix. Un servicio centralizado accesible por cualquier usuario de datos para facilitar su descubrimiento, tratamiento y gestión.

Metacat y sus características

Netflix tiene consultas de datos, como Hive, Pig o Spark, que no son operables conjuntamente. Al introducir una capa de abstracción común, Netflix puede proporcionar acceso a los datos a sus usuarios, independientemente de sus sistemas de almacenamiento.

Además, Metacat llega a simplificar la transferencia de un conjunto de datos de un almacén de datos a otro.

Metadatos empresariales

A través de Metacat pueden añadirse metadatos escritos a mano, definidos por el usuario y orientados a la empresa, en formato libre. Su información principal incluye las conexiones, configuraciones, métricas y ciclos de vida de cada conjunto de datos.

Descubrimiento de datos

Con la creación de Metacat, Netflix facilita a los consumidores la búsqueda de conjuntos de datos empresariales. La herramienta publica esquemas y metadatos empresariales definidos por sus usuarios en Elasticsearch, lo que facilita la búsqueda de información a texto completo en sus fuentes de datos.

Modificación y auditoría de datos

Como herramienta transversal para todos los almacenes de datos, Metacat registra y notifica todos los cambios realizados en los metadatos y en los propios datos de sus sistemas de almacenamiento.

Metacat y el futuro de Netflix

Según Netflix, la versión actual de Metacat es un paso hacia las nuevas funciones en las que están trabajando. Aún quieren mejorar la visualización de sus metadatos, ya que sería muy útil para la restauración.

Metacat, según Netflix, también debería poder tener una arquitectura plug-in. Así, su herramienta podría validar y mantener todos sus metadatos. Esto se debe a que los usuarios definen los metadatos de forma libre. Por lo tanto, Netflix necesita poner en marcha un proceso de validación que pueda realizarse antes de almacenar los metadatos.

Como herramienta centralizadora de datos de múltiples fuentes y formatos, Metacat de Netflix ha progresado claramente.

El desarrollo de este servicio interno se ha adaptado a todas las herramientas utilizadas por la empresa, permitiendo a Netflix convertirse en Data Driven.

Fuentes