Libro de datos: Cómo Uber convierte los datos en conocimiento explotable con metadatos

Uber es una de las empresas más fascinantes surgidas en la última década. Fundada en 2009, Uber creció hasta convertirse una de las empresas emergentes mejor valoradas del mundo.. De hecho, existe incluso un término para definir su éxito: "uberización"que se refiere a cambiar el mercado de un servicio introduciendo una forma diferente de comprarlo o utilizarlo, especialmente a través de la tecnología móvil.

Desde los servicios de transporte entre pares hasta los pedidos a restaurantes, está claro que la plataforma de Uber se basa en los datos. Los datos son el centro del mercado global de Uber, creando mejores experiencias de usuario a través de sus servicios para sus clientes, así como capacitando a sus empleados para ser más eficientes en su trabajo.

Sin embargo, el Big Data por sí solo no era suficiente; la cantidad de datos generados en Uber requiere contexto para tomar decisiones empresariales. Así que, al igual que muchas otras empresas unicornio, como Airbnb con Data Portal, el equipo de ingeniería de Uber creó Databook. Esta plataforma interna tiene como objetivo escanear, recopilar y agregar metadatos para ver con mayor claridad la ubicación de los datos en el SI de Uber y sus referentes. En definitiva, una plataforma que quiere transformar los datos en bruto en datos contextualizados.

Cómo creció el negocio (y los datos) de Uber

Desde 2016, Uber ha añadido nuevas líneas de negocio a su plataforma, incluyendo Uber Eats y Jump Bikes. Algunas estadísticas sobre Uber incluyen:

• 15 millones de viajes al día.
• Más de 75 millones de usuarios activos.
• 18.000 empleados desde su creación en 2009.

A medida que la empresa crecía, también lo hacían sus datos y metadatos. Para garantizar que sus datos y análisis pudieran seguir su rápido ritmo de crecimiento, necesitaban un sistema más potente para descubrir sus conjuntos de datos relevantes. Esto llevó a la creación de Databook y su sistema de conservación de metadatos..

La llegada de Databook

La plataforma Databook gestiona metadatos enriquecidos sobre los conjuntos de datos de Uber y permite a los empleados de toda la empresa explorar, descubrir y utilizar eficazmente sus datos. La plataforma también garantiza que el contexto de sus datos no se pierda entre los cientos de miles de personas que intentan analizarlos. En definitiva, los metadatos de Databook permiten a todos los ingenieros, científicos de datos y equipos informáticos pasar de la mera visualización de sus datos a convertirlos en conocimiento explotable.

Databook permite a los empleados aprovechar los metadatos automatizados para recopilar una amplia variedad de metadatos que se actualizan con frecuencia. Proporciona una amplia variedad de metadatos de Hive, MySQL, Cassandra y otros sistemas de almacenamiento interno.Para hacerlos accesibles y buscables, Databook ofrece a sus consumidores una interfaz de usuario con un motor de búsqueda de Google o su API RESTful.

Arquitectura de Databook

La arquitectura de Databook se divide en tres partes: cómo se recopilan y almacenan los metadatos y cómo se muestran sus datos..

Conceptualmente, la arquitectura del Databook se diseñó para permitir cuatro funciones clave:

• Extensibilidad: Es fácil añadir nuevos metadatos, almacenamiento y entidades.
• Accesibilidad: Los servicios pueden acceder a todos los metadatos mediante programación.
• Escalabilidad: Respaldar las necesidades de los usuarios empresariales y la novedad tecnológica.
• Ejecución: Potencia y velocidad.

Para profundizar en la arquitectura de Databook, lea su artículo https://eng.uber.com/databook/.

¿Cuál es el futuro de Databook?

Con Databook, los metadatos en Uber son ahora más útiles que nunca.

Pero aún esperan desarrollar otras funcionalidades, como la capacidad de generar conocimientos sobre los datos con modelos de aprendizaje automático y crear mecanismos avanzados de detección, prevención y mitigación de problemas.

Fuentes

• Libro de datos: Convertir Big Data en conocimiento con metadatos en Uber
• La historia de Uber
• Definición de Uberización, Diccionario de Cambridge

Acerca de Actian Corporation

Actian hace que trabajar con datos sea fácil. Nuestra plataforma de datos simplifica la forma en que las personas conectan, gestionan y analizan datos en entornos cloud, híbridos y locales. Con décadas de experiencia en gestión y analítica de datos, Actian ofrece soluciones de alto rendimiento que ayudan a las empresas a tomar decisiones basadas en datos. Estamos reconocidos por los principales analistas del sector y hemos recibido premios por nuestro rendimiento e innovación. Nuestros equipos comparten casos de éxito en conferencias (como Strata Data) y contribuyen activamente a proyectos de código abierto. En el blog de Actian tratamos temas como la ingesta de datos en tiempo real, el análisis de datos, la gobernanza y gestión de datos, la calidad de los datos, la inteligencia de datos y el análisis impulsado por IA.