El viaje a la malla de datos - Parte 2 - Creación de un equipo y una plataforma de datos
Resumen
- Una prueba piloto de Data Mesh debe ser desarrollada por un pequeño equipo multidisciplinar dentro del ámbito empresarial correspondiente.
- Un equipo piloto típico suele estar formado por un responsable de productos de datos, ingenieros de dominio e ingenieros de datos, y una persona capaz de crear los elementos destinados al usuario, como un panel de control.
- Uno de los principales objetivos es descentralizar la propiedad de los datos sin obligar a cada dominio a reconstruir toda la infraestructura desde cero.
- Para ello, la plataforma Data Mesh debe abarcar tres ámbitos: el aprovisionamiento de la infraestructura, la experiencia de los desarrolladores en lo que respecta a los productos de datos y la supervisión general de la malla.
- Las organizaciones suelen empezar por aprovechar las inversiones ya realizadas en la nube y en plataformas de datos, para luego ir mejorando la automatización y las herramientas de forma gradual con el tiempo.
Aunque la bibliografía sobre la «data mesh» es muy amplia, a menudo se limita a describir un estado final y rara vez explica cómo alcanzarlo en la práctica. De ahí surge la pregunta:
¿Qué enfoque se debería adoptar para transformar la gestión de datos e implementar una «data mesh»?
En esta serie de artículos, te ofrecemos un extracto de nuestra «Guía práctica sobre Data Mesh», en la que proponemos un enfoque para iniciar el proceso de implantación de una Data Mesh en tu organización, estructurado en torno a los cuatro principios de la Data Mesh (propiedad y arquitectura de datos descentralizadas y orientadas al dominio, los datos como producto, infraestructura de datos de autoservicio como plataforma y gobernanza computacional federada) y aprovechando los recursos humanos y tecnológicos existentes.
A lo largo de esta serie de artículos, y con el fin de ilustrar este enfoque para sentar las bases de una «data mesh» eficaz, nos basaremos en un ejemplo: el de la empresa ficticia Premium Offices, una empresa inmobiliaria comercial cuya actividad consiste en adquirir inmuebles para alquilarlos a otras empresas.
En el artículo anterior, hablamos de los requisitos previos esenciales para definir el alcance de su proyecto piloto de descentralización de la gestión de datos, mediante la identificación de dominios y la selección de un caso de uso. En este artículo, explicaremos cómo establecer su equipo de desarrollo y su plataforma de datos.
Creación del equipo de desarrollo de pilotos
Como ya se ha mencionado, el primer paso de nuestro enfoque consiste en identificar un caso de uso inicial y, lo que es más importante, desarrollarlo aplicando los 4 principios de la malla de datos con los recursos existentes. Formar el equipo responsable de desarrollar el proyecto piloto ayudará a aplicar el primer principio de la malla de datos, la propiedad descentralizada de datos orientada al dominio.
EJEMPLO DE OFICINAS PREMIUM
Los datos necesarios para el piloto pertenecen al dominio Brokerage, donde se creará el equipo responsable del desarrollo del piloto. Este equipo multidisciplinar incluye:
- Propietario de producto de datos
- Debe tener tanto una buena comprensión del negocio como una sólida cultura de datos para cumplir las siguientes responsabilidades: diseñar productos de datos y gestionar su ciclo de vida, definir y aplicar políticas de uso, garantizar el cumplimiento de las normas y reglamentos internos, y medir y supervisar el rendimiento económico y el cumplimiento de su cartera de productos.
- Dos ingenieros
- Uno de los equipos del dominio Brokerage, que aporta conocimientos de sistemas operativos y prácticas de ingeniería de software del dominio, y el otro del equipo de datos, familiarizado con DBT, GCP y BigQuery.
- Un desarrollador de visualización
- Quién puede diseñar y construir el salpicadero.
Herramientas de dominio: La plataforma de datos de la malla de datos
Uno de los principales obstáculos a la descentralización es el riesgo de multiplicar los esfuerzos y las competencias necesarias para explotar los conductos y las infraestructuras de cada dominio. Pero a este respecto, también existe un sólido estado del arte heredado de las arquitecturas distribuidas.
La solución consiste en estructurar un equipo responsable de proporcionar a los dominios las primitivas tecnológicas y las herramientas necesarias para extraer, procesar, almacenar y servir los datos de su dominio.
Este modelo existe desde hace varios años para las infraestructuras de aplicaciones y se ha ido generalizando y automatizando gradualmente a través de la virtualización, la contenedorización, las herramientas DevOps y las plataformas en la nube. Aunque las herramientas de infraestructura de datos no están tan maduras como las de infraestructura de software, especialmente en términos de automatización, la mayoría de las soluciones son transferibles, y las capacidades ya están presentes en las organizaciones como resultado de inversiones anteriores. Por lo tanto, nada impide crear un equipo de infraestructura de datos, establecer su hoja de ruta y mejorar gradualmente su oferta de servicios: la simplificación y la automatización son los ejes principales de esta progresión.
Los tres planos de la plataforma Data Mesh
La plataforma de malla de datos abarca una amplia gama de capacidades, más amplia que los servicios de infraestructura. Esta plataforma se divide en tres planos:
- El plano de aprovisionamiento de la infraestructura de datos - Proporciona servicios de bajo nivel para asignar los recursos físicos necesarios para la extracción de big data, procesamiento, almacenamiento, distribución en tiempo real o no distribuida, cifrado, almacenamiento en caché, control de acceso, red, coubicación, etc.
- El plano de experiencia del desarrollador de productos de datos - Proporciona las herramientas necesarias para desarrollar productos de datos: declaración de productos de datos, construcción y despliegue continuos, pruebas, controles de calidad, supervisión, seguridad, etc. Se trata de proporcionar abstracciones por encima de la infraestructura para ocultar su complejidad y automatizar las convenciones adoptadas a escala de malla.
- El plano de supervisión de la malla de datos - Proporciona un conjunto de capacidades globales para descubrir productos de datos, linaje, gobernanza, cumplimiento, informes globales, control de políticas, etc.
En cuanto a la infraestructura, la malla de datos no requiere nuevas capacidades: la gran mayoría de las organizaciones ya disponen de una plataforma de datos. La implantación de la malla de datos tampoco requiere una plataforma centralizada. Algunas empresas ya han invertido en una plataforma común, y parece lógico aprovechar las capacidades de esta plataforma para desarrollar la malla; pero otras tienen varias plataformas, algunas entidades o ciertos dominios que cuentan con su infraestructura. Es totalmente posible desplegar la malla de datos en estas infraestructuras híbridas: mientras los productos de datos respeten unas normas comunes de direccionabilidad, interoperabilidad y control de acceso, las modalidades técnicas de su ejecución tienen poca importancia.
EJEMPLO DE OFICINAS PREMIUM
Premium Offices ha invertido en una plataforma en la nube compartida, en concreto, GCP (Google Cloud Platform). La plataforma incluye expertos en un equipo central que conocen sus entresijos. Para su proyecto piloto, Premium Offices optó simplemente por integrar a uno de estos expertos en el equipo del proyecto. Esta persona se encargará de encontrar soluciones para automatizar al máximo el despliegue de los productos de datos y de identificar los pasos manuales que puedan automatizarse más adelante, así como las herramientas que falten
En conclusión, establecer un equipo de desarrollo dedicado es esencial para el éxito de su proyecto piloto de descentralización de la gestión de datos. Al reunir a personas con conocimientos y experiencia diversos, las organizaciones pueden aplicar eficazmente los principios de la malla de datos y obtener información significativa a partir de sus datos. Además, aprovechar las plataformas existentes e invertir en automatización facilita el proceso de desarrollo, allanando el camino para la escalabilidad y el éxito a largo plazo.
En nuestro próximo artículo, aprenderá a ejecutar su proyecto piloto de malla de datos mediante el diseño y desarrollo de sus primeros productos de datos.
Guía práctica sobre Data Mesh: configuración y supervisión de una red Data Mesh en toda la empresa
Escrita por Guillaume Bodet, nuestra guía ha sido diseñada para proporcionarte estrategias prácticas para implementar la «data mesh» en tu organización, ayudándote a:
- Empieza tu andadura en el mundo del data mesh con un proyecto piloto específico.
- Descubre métodos eficaces para ampliar tu data mesh.
- Reconocer el papel fundamental que desempeña un mercado interno a la hora de facilitar el uso eficaz de los productos de datos.
- Descubre cómo la plataforma Actian Data Intelligence se erige como un sólido sistema de supervisión que coordina una red de datos en toda la empresa.
Mantente conectado
Te ofrecemos información detallada sobre los datos.
(por ejemplo, sales@..., support@...)
