Inteligencia de datos

El viaje a la malla de datos - Parte 2 - Creación de un equipo y una plataforma de datos

Corporación Actian

15 de abril de 2024

Aunque la bibliografía sobre el mallado de datos es extensa, a menudo describe un estado final, rara vez cómo conseguirlo en la práctica. Surge entonces la pregunta:

¿Qué enfoque adoptar para transformar la gestión de datos e implantar una malla de datos?

En esta serie de artículos, encontrará un extracto de nuestra Guía práctica de la malla de datos, en la que proponemos un enfoque para poner en marcha un viaje de malla de datos en su organización, estructurado en torno a los cuatro principios de la malla de datos (propiedad y arquitectura de datos descentralizada y orientada al dominio, datos como producto, infraestructura de datos de autoservicio como plataforma y gobernanza computacional federada) y aprovechando los recursos humanos y tecnológicos existentes.

A lo largo de esta serie de artículos, y con el fin de ilustrar este enfoque para construir los cimientos de una malla de datos de éxito, nos basaremos en un ejemplo: el de la empresa ficticia Premium Offices, una inmobiliaria comercial cuya actividad consiste en adquirir propiedades para arrendarlas a empresas.

En el artículo anterior, hablamos de los requisitos previos esenciales para definir el alcance de su proyecto piloto de descentralización de la gestión de datos, mediante la identificación de dominios y la selección de un caso de uso. En este artículo, explicaremos cómo establecer su equipo de desarrollo y su plataforma de datos.

Creación del equipo de desarrollo de pilotos

Como ya se ha mencionado, el primer paso de nuestro enfoque consiste en identificar un caso de uso inicial y, lo que es más importante, desarrollarlo aplicando los 4 principios de la malla de datos con los recursos existentes. Formar el equipo responsable de desarrollar el proyecto piloto ayudará a aplicar el primer principio de la malla de datos, la propiedad descentralizada de datos orientada al dominio.

EJEMPLO DE OFICINAS PREMIUM

Los datos necesarios para el piloto pertenecen al dominio Brokerage, donde se creará el equipo responsable del desarrollo del piloto. Este equipo multidisciplinar incluye:

  • Propietario de producto de datos
    • Debe tener tanto una buena comprensión del negocio como una sólida cultura de datos para cumplir las siguientes responsabilidades: diseñar productos de datos y gestionar su ciclo de vida, definir y aplicar políticas de uso, garantizar el cumplimiento de las normas y reglamentos internos, y medir y supervisar el rendimiento económico y el cumplimiento de su cartera de productos.
  • Dos ingenieros
    • Uno de los equipos del dominio Brokerage, que aporta conocimientos de sistemas operativos y prácticas de ingeniería de software del dominio, y el otro del equipo de datos, familiarizado con DBT, GCP y BigQuery.
  • Un desarrollador de visualización
    • Quién puede diseñar y construir el salpicadero.

Herramientas de dominio: La plataforma de datos de la malla de datos

Uno de los principales obstáculos a la descentralización es el riesgo de multiplicar los esfuerzos y las competencias necesarias para explotar los conductos y las infraestructuras de cada dominio. Pero a este respecto, también existe un sólido estado del arte heredado de las arquitecturas distribuidas.

La solución consiste en estructurar un equipo responsable de proporcionar a los dominios las primitivas tecnológicas y las herramientas necesarias para extraer, procesar, almacenar y servir los datos de su dominio.

Este modelo existe desde hace varios años para las infraestructuras de aplicaciones y se ha ido generalizando y automatizando gradualmente a través de la virtualización, la contenedorización, las herramientas DevOps y las plataformas en la nube. Aunque las herramientas de infraestructura de datos no están tan maduras como las de infraestructura de software, especialmente en términos de automatización, la mayoría de las soluciones son transferibles, y las capacidades ya están presentes en las organizaciones como resultado de inversiones anteriores. Por lo tanto, nada impide crear un equipo de infraestructura de datos, establecer su hoja de ruta y mejorar gradualmente su oferta de servicios: la simplificación y la automatización son los ejes principales de esta progresión.

Los tres planos de la plataforma Data Mesh

La plataforma de malla de datos abarca una amplia gama de capacidades, más amplia que los servicios de infraestructura. Esta plataforma se divide en tres planos:

  1. El plano de aprovisionamiento de la infraestructura de datos - Proporciona servicios de bajo nivel para asignar los recursos físicos necesarios para la extracción de big data, procesamiento, almacenamiento, distribución en tiempo real o no distribuida, cifrado, almacenamiento en caché, control de acceso, red, coubicación, etc.
  2. El plano de experiencia del desarrollador de productos de datos - Proporciona las herramientas necesarias para desarrollar productos de datos: declaración de productos de datos, construcción y despliegue continuos, pruebas, controles de calidad, supervisión, seguridad, etc. Se trata de proporcionar abstracciones por encima de la infraestructura para ocultar su complejidad y automatizar las convenciones adoptadas a escala de malla.
  3. El plano de supervisión de la malla de datos - Proporciona un conjunto de capacidades globales para descubrir productos de datos, linaje, gobernanza, cumplimiento, informes globales, control de políticas, etc.

En cuanto a la infraestructura, la malla de datos no requiere nuevas capacidades: la gran mayoría de las organizaciones ya disponen de una plataforma de datos. La implantación de la malla de datos tampoco requiere una plataforma centralizada. Algunas empresas ya han invertido en una plataforma común, y parece lógico aprovechar las capacidades de esta plataforma para desarrollar la malla; pero otras tienen varias plataformas, algunas entidades o ciertos dominios que cuentan con su infraestructura. Es totalmente posible desplegar la malla de datos en estas infraestructuras híbridas: mientras los productos de datos respeten unas normas comunes de direccionabilidad, interoperabilidad y control de acceso, las modalidades técnicas de su ejecución tienen poca importancia.

EJEMPLO DE OFICINAS PREMIUM

Premium Offices ha invertido en una plataforma en la nube compartida, en concreto, GCP (Google Cloud Platform). La plataforma incluye expertos en un equipo central que conocen sus entresijos. Para su proyecto piloto, Premium Offices optó simplemente por integrar a uno de estos expertos en el equipo del proyecto. Esta persona se encargará de encontrar soluciones para automatizar al máximo el despliegue de los productos de datos y de identificar los pasos manuales que puedan automatizarse más adelante, así como las herramientas que falten

En conclusión, establecer un equipo de desarrollo dedicado es esencial para el éxito de su proyecto piloto de descentralización de la gestión de datos. Al reunir a personas con conocimientos y experiencia diversos, las organizaciones pueden aplicar eficazmente los principios de la malla de datos y obtener información significativa a partir de sus datos. Además, aprovechar las plataformas existentes e invertir en automatización facilita el proceso de desarrollo, allanando el camino para la escalabilidad y el éxito a largo plazo.

En nuestro próximo artículo, aprenderá a ejecutar su proyecto piloto de malla de datos mediante el diseño y desarrollo de sus primeros productos de datos.

Guía práctica de Data Mesh: Configuración y supervisión de una malla de datos para toda la empresa

Redactada por Guillaume Bodet, nuestra guía ha sido diseñada para dotarle de estrategias prácticas para implantar la malla de datos en su organización, ayudándole:

  • Comience su viaje por la malla de datos con un proyecto piloto específico.
  • Descubra métodos eficaces para ampliar su malla de datos.
  • Reconocer el papel fundamental que desempeña un mercado interno para facilitar el consumo efectivo de productos de datos.
  • Descubra cómo la Plataforma de Inteligencia de Datos Actian emerge como un sistema de supervisión robusto, orquestando una malla de datos en toda la empresa.
Descargar eBook.
logo avatar actian

Acerca de Actian Corporation

Actian hace que trabajar con datos sea fácil. Nuestra plataforma de datos simplifica la forma en que las personas conectan, gestionan y analizan datos en entornos cloud, híbridos y locales. Con décadas de experiencia en gestión y analítica de datos, Actian ofrece soluciones de alto rendimiento que ayudan a las empresas a tomar decisiones basadas en datos. Estamos reconocidos por los principales analistas del sector y hemos recibido premios por nuestro rendimiento e innovación. Nuestros equipos comparten casos de éxito en conferencias (como Strata Data) y contribuyen activamente a proyectos de código abierto. En el blog de Actian tratamos temas como la ingesta de datos en tiempo real, el análisis de datos, la gobernanza y gestión de datos, la calidad de los datos, la inteligencia de datos y el análisis impulsado por IA.