Marquez: La solución de descubrimiento de metadatos en WeWork

Reserva de habitaciones Antes

Como ya se ha dicho, la utilización de metadatos es crucial para que los usuarios de datos puedan encontrar los datos que necesitan. En su presentación, Willy compartió una situación real para demostrar que los metadatos son esenciales: El proceso de datos de WeWork para reservar una habitación.

Para un "WeWorker", los pasos son los siguientes:

1. Busca una ubicación (el ejemplo era un complejo de edificios en San Francisco).
2. Elegir el tamaño adecuado de la sala (normalmente se divide en función del número de asistentes; en este caso eligieron una sala que podía acoger de 1 a 4 personas).
3. Elija la fecha en la que se realizará la reserva.
4. Decide la franja horaria para la que se reserva la sala, así como la duración de la reunión.
5. Confirme la reserva.

Ahora que tenemos un ejemplo de cómo funciona su canal de reservas, Willy procede a demostrar cómo funcionaría un equipo de datos típico que quisiera extraer datos sobre las reservas de WeWork. En este caso, el ejercicio de ejemplo consistía en encontrar el edificio con más reservas de habitaciones y extraer esos datos para enviarlos a la dirección. Los pasos que indicó fueron los siguientes:

• Leer las reservas de habitaciones de una fuente de datos (normalmente desconocida).
• Suma todas las reservas de habitaciones y devuelve las mejores ubicaciones.
• Una vez calculada la ubicación superior, el siguiente paso es escribirla en alguna fuente de datos de salida.
• Ejecuta el trabajo una vez cada hora.
• Procesa los datos mediante archivos .csv y almacénalos en algún sitio.

Sin embargo, Willy afirma que, aunque estos pasos parezcan suficientes, suelen surgir problemas. Repasa tres tipos de problemas durante el proceso de trabajo:

1. ¿Dónde puedo encontrar el conjunto de datos de entrada de trabajo?
2. ¿Tiene propietario el conjunto de datos? ¿Quién es?
3. ¿Con qué frecuencia se actualiza el conjunto de datos?

La mayoría de estas preguntas son difíciles de responder y los trabajos acaban fracasando. Sin estar seguro y confiar en esta información, puede ser difícil presentar números a la dirección. Este tipo de problemas y cuestiones son los que hicieron que WeWork desarrollara Marquez.

¿Qué es Márquez?

Willy define la plataforma como una "solución de código abierto para la agregación, recopilación y visualización de metadatos del ecosistema de datos [de WeWork]". De hecho, Marquez es un sistema modular y se diseñó como una solución para la gestión de metadatos altamente escalable y extensible independientemente de la plataforma. Consta de los siguientes componentes

• Repositorio de metadatos: Almacena todos los metadatos de trabajos y conjuntos de datos, incluido un historial completo de ejecuciones de trabajos y estadísticas a nivel de trabajo (es decir, ejecuciones totales, tiempos medios de ejecución, éxitos/fracasos, etc.).
• API de metadatos: API RESTful que permite a un conjunto diverso de clientes comenzar a recopilar metadatos en torno a la producción y el consumo de conjuntos de datos.
• Interfaz de metadatos: Se utiliza para descubrir conjuntos de datos, conectar múltiples conjuntos de datos y explorar su gráfico de dependencias.

Diseño de Márquez

Marquez proporciona clientes específicos para cada idioma que implementan la API de metadatos. Esto permite a un conjunto diverso de aplicaciones de procesamiento de datos crear una colección de metadatos. En su versión inicial, ofrecían soporte tanto para Java como para Python.

La API de metadatos extrae información sobre la producción y el consumo de conjuntos de datos. Es una capa sin estado responsable de especificar tanto la persistencia como la agregación de metadatos. La API permite a los clientes recopilar y/u obtener información sobre conjuntos de datos del repositorio de metadatos.

Los metadatos deben recopilarse, organizarse y almacenarse de forma que permitan realizar consultas exploratorias a través de la interfaz de usuario de metadatos. El repositorio de metadatos sirve como catálogo de la información del conjunto de datos encapsulada y limpiamente abstraída por la API de metadatos.

Según Willy, lo que hace que un ecosistema de datos sea muy sólido es la capacidad de buscar información y conjuntos de datos. En Márquez, los conjuntos de datos se indexan y clasifican mediante el uso de una palabra o frase clave basada en un motor de búsqueda, así como en la documentación de un conjunto de datos: cuanto más contextualizado esté un conjunto de datos, más probabilidades tendrá de aparecer el primero en los resultados de búsqueda. Ejemplos de la documentación de un conjunto de datos son su descripción, propietario, esquema, etiqueta, etc.

Puede ver más detalles del modelo de datos de Márquez en la propia presentación aquí: https://www.youtube.com/watch?v=dRaRKob-lRQ&ab_channel=DataCouncil