Blog | Estrategia de datos y análisis | | 6 minutos de lectura

El camino hacia el Data Mesh – Parte 4 – Gobernanza computacional federada

Resumen

  • La gobernanza computacional federada es el principio de Data Mesh que combina la propiedad descentralizada con normas y estándares compartidos en toda la organización.
  • Su objetivo es permitir que los dominios mantengan su autonomía sin dejar de cumplir los requisitos comunes en materia de gobernanza, calidad, seguridad y rendición de cuentas.
  • El mayor reto es de carácter cultural: los equipos de gobernanza centrales suelen mostrarse reacios a delegar, y es posible que los equipos locales aún no estén preparados para asumir responsabilidades de gobernanza.
  • La automatización es fundamental para que la gobernanza federada sea viable, especialmente en lo que respecta a los controles de calidad, el linaje, la gestión de metadatos y la aplicación de las políticas de acceso.
  • En la práctica, muchas organizaciones comienzan con un modelo mayoritariamente centralizado y luego avanzan gradualmente hacia una gobernanza más descentralizada a medida que aumenta la madurez del dominio.

Aunque la bibliografía sobre la «data mesh» es muy amplia, a menudo se limita a describir un estado final y rara vez explica cómo alcanzarlo en la práctica. De ahí surge la pregunta:

¿Qué enfoque se debería adoptar para transformar la gestión de datos e implementar una «data mesh»?

En esta serie de artículos, te ofrecemos un extracto de nuestra «Guía práctica sobre Data Mesh», en la que proponemos un enfoque para iniciar el proceso de implantación de una Data Mesh en tu organización, estructurado en torno a los cuatro principios de la Data Mesh (propiedad y arquitectura de datos descentralizadas y orientadas al dominio, los datos como producto, infraestructura de datos de autoservicio como plataforma y gobernanza computacional federada) y aprovechando los recursos humanos y tecnológicos existentes.

A lo largo de esta serie de artículos, y con el fin de ilustrar este enfoque para sentar las bases de una «data mesh» eficaz, nos basaremos en un ejemplo: el de la empresa ficticia Premium Offices, una empresa inmobiliaria comercial cuya actividad consiste en adquirir inmuebles para alquilarlos a otras empresas.

En los artículos anteriores de esta serie, hemos identificado los ámbitos, definido un caso de uso inicial, formado el equipo encargado de su desarrollo y creado nuestros primeros productos de datos. Ahora es el momento de pasar al último principio de la malla de datos: la gobernanza computacional federada.

¿Qué es la gobernanza computacional federada?

La gobernanza computacional federada se refiere a un sistema de gobernanza en el que los procesos de toma de decisiones se distribuyen entre múltiples entidades u organizaciones, mediante el uso de algoritmos computacionales y tecnologías distribuidas. En este sistema, la autoridad para la toma de decisiones está descentralizada, de modo que cada entidad participante conserva un grado de autonomía al tiempo que colabora dentro de un marco más amplio. Las características clave de la gobernanza computacional federada son:

  • Descentralización: La autoridad para la toma de decisiones se distribuye entre varias entidades, en lugar de concentrarse en una única autoridad central.
  • Algoritmos computacionales: Los algoritmos desempeñan un papel fundamental en la gestión de los procesos, ya que contribuyen a automatizar la toma de decisiones, hacer cumplir las normas y garantizar la transparencia y la equidad.
  • Marco de colaboración: Las entidades colaboran dentro de un marco más amplio, compartiendo recursos, datos y responsabilidades para alcanzar objetivos comunes.
  • Transparencia y rendición de cuentas: El uso de algoritmos computacionales y de libros de contabilidad distribuidos puede mejorar la transparencia al proporcionar un registro claro de los procesos y garantizar la rendición de cuentas entre las entidades participantes.
  • Adaptabilidad y resiliencia: Los sistemas de gobernanza computacional federados están diseñados para ser adaptables y resilientes, capaces de evolucionar y responder a los cambios en el entorno o a las necesidades de los participantes.

Los retos de una gobernanza federada en una red de datos (Data Mesh)

El cuarto principio de la «data mesh», la gobernanza computacional federada, implica que un organismo central define las normas y estándares que deben cumplir los dominios. Los responsables locales se encargan de aplicar estas normas en su dominio y de proporcionar al organismo central pruebas de su cumplimiento, normalmente mediante la presentación de informes.

Aunque el modelo es sencillo desde el punto de vista teórico, su aplicación suele tropezar con obstáculos culturales internos. Esto ocurre especialmente en sectores muy regulados, en los que los equipos de gobernanza centralizados se muestran reacios a delegar la totalidad o parte de los controles de los que históricamente han sido responsables.

La gobernanza federada también se enfrenta a una realidad sobre el terreno que rara vez resulta favorable: la gobernanza de los datos está estrechamente vinculada a la gestión de riesgos y al cumplimiento normativo, dos ámbitos que rara vez despiertan el interés de los equipos operativos.

En consecuencia, resulta difícil identificar a los responsables locales o transferir determinados aspectos de la gobernanza a los propietarios de los productos de datos, quienes, en su mayoría, ya deben aprender una nueva profesión. Por lo tanto, en la mayoría de las grandes organizaciones, es probable que la estructura federada sea adoptada por el órgano central y, posteriormente, se vaya implantando gradualmente en los distintos ámbitos a medida que estos vayan madurando.

Para evitar un aumento desmesurado de los costes de gobernanza o la fragmentación, Dehghani prevé que, con el tiempo, la plataforma de datos podría gestionar automáticamente todos los aspectos de la gobernanza.

Los aspectos de la gobernanza que pueden automatizarse

Creemos firmemente en el aprovechamiento de la automatización para abordar este reto desde múltiples frentes:

  • Controles de calidad – Ya existen muchas soluciones.
  • Trazabilidad – Los equipos de desarrollo ya pueden extraer automáticamente información completa sobre el linaje de sus productos de datos y documentar las transformaciones.
  • Gestión detallada de las políticas de acceso – Ya existen soluciones, todas ellas basadas, como mínimo, en el etiquetado de la información.

Con un poco de imaginación, incluso se podría imaginar que una IA generativa analizara consultas SQL de transformación y las tradujera a lenguaje natural (ya existen soluciones). El camino es largo, por supuesto, pero la descentralización permite un progreso iterativo, ámbito por ámbito, producto por producto. Y recordemos también que cualquier avance en la automatización de la gobernanza, sea cual sea el aspecto, depende de la generación y el procesamiento de metadatos.

Ejemplo de oficinas de lujo:

En Premium Offices, el Departamento de Datos tiene una cultura de gobernanza muy conservadora, ya que, al operar en el mercado de capitales, la empresa está sujeta a estrictas restricciones normativas.

Como parte del proyecto piloto, se decidió no modificar el marco de gobernanza. La calidad y la trazabilidad siguen siendo responsabilidad de la Oficina de Datos y se abordarán de forma retroactiva con sus herramientas y métodos. El control de acceso también será responsabilidad de esta: ya existe un proceso en marcha, en forma de flujo de trabajo de ServiceNow (configurar los permisos en BigQuery requiere varias operaciones manuales y revisiones). La única concesión es que se modificará el flujo de trabajo para que las solicitudes de acceso sean verificadas por el responsable del producto de datos antes de que la Oficina de Datos las apruebe y procese. En otras palabras, un pequeño paso hacia la gobernanza federada.

En lo que respecta a los metadatos, las nuevas tablas y vistas de BigQuery deben documentarse, tanto a nivel conceptual como físico, en el catálogo central de datos (que no tiene en cuenta el concepto de «producto de datos»). Se trata de un proceso declarativo que el equipo piloto ya conoce. El etiquetado de las columnas lo llevará a cabo la Oficina de Datos tras su evaluación.

Por lo demás, la documentación para los usuarios sobre los productos de datos se publicará en un espacio específico de la wiki interna, organizada por ámbitos, lo que permite disponer de una documentación muy completa y estructurada y cuenta con un motor de búsqueda bastante eficaz.

Guía práctica sobre Data Mesh: configuración y supervisión de una red Data Mesh en toda la empresa

Escrita por Guillaume Bodet, nuestra guía ha sido diseñada para proporcionarte estrategias prácticas para implementar la «data mesh» en tu organización, ayudándote a:

  • Empieza tu andadura en el mundo del data mesh con un proyecto piloto específico.
  • Descubre métodos eficaces para ampliar tu data mesh.
  • Reconocer el papel fundamental que desempeña un mercado interno a la hora de facilitar el uso eficaz de los productos de datos.
  • Descubre cómo la plataforma Actian Data Intelligence se erige como un sólido sistema de supervisión que coordina una red de datos en toda la empresa.
Descargue el eBook