El viaje hacia la malla de datos - Parte 4 - Gobernanza informática federada
Corporación Actian
6 de mayo de 2024
Aunque la bibliografía sobre el mallado de datos es extensa, a menudo describe un estado final, rara vez cómo conseguirlo en la práctica. Surge entonces la pregunta:
¿Qué enfoque adoptar para transformar la gestión de datos e implantar una malla de datos?
En esta serie de artículos, encontrará un extracto de nuestra Guía práctica de la malla de datos, en la que proponemos un enfoque para poner en marcha un viaje de malla de datos en su organización, estructurado en torno a los cuatro principios de la malla de datos (propiedad y arquitectura de datos descentralizada y orientada al dominio, datos como producto, infraestructura de datos de autoservicio como plataforma y gobernanza computacional federada) y aprovechando los recursos humanos y tecnológicos existentes.
- Parte 1: Determinación del alcance del proyecto piloto
- Parte 2: Reunir un equipo de desarrollo y una plataforma de datos para el proyecto piloto
- Parte 3: Creación de los primeros productos de datos
- Parte 4: Implantación de la gobernanza informática federada
A lo largo de esta serie de artículos, y con el fin de ilustrar este enfoque para construir los cimientos de una malla de datos de éxito, nos basaremos en un ejemplo: el de la empresa ficticia Premium Offices, una inmobiliaria comercial cuya actividad consiste en adquirir propiedades para arrendarlas a empresas.
En los artículos anteriores de la serie, hemos identificado los dominios, definido un caso de uso inicial, reunido al equipo responsable de su desarrollo y creado nuestros primeros productos de datos. Ahora es el momento de pasar al último principio de la malla de datos: la gobernanza informática federada.
¿Qué es la Gobernanza Computacional Federada?
La gobernanza computacional federada se refiere a un sistema de gobernanza en el que los procesos de toma de decisiones se distribuyen entre múltiples entidades u organizaciones, utilizando algoritmos computacionales y tecnologías distribuidas. En este sistema, la autoridad decisoria está descentralizada, y cada entidad participante conserva cierto grado de autonomía al tiempo que colabora dentro de un marco más amplio. Las características clave de la gobernanza computacional federada son:
- Descentralización: La autoridad decisoria se distribuye entre múltiples entidades en lugar de concentrarse en una única autoridad central.
- Algoritmos computacionales: Los algoritmos desempeñan un papel importante en los procesos de gobierno, ya que ayudan a automatizar la toma de decisiones, hacer cumplir las normas y garantizar la transparencia y la equidad.
- Marco de colaboración: Las entidades colaboran dentro de un marco más amplio, compartiendo recursos, datos y responsabilidades para alcanzar objetivos comunes.
- Transparencia y rendición de cuentas: El uso de algoritmos informáticos y libros de contabilidad distribuidos puede mejorar la transparencia al proporcionar un registro claro de los procesos y garantizar la responsabilidad entre las entidades participantes.
- Adaptabilidad y resistencia: Los sistemas federados de gobernanza informática están diseñados para ser adaptables y resistentes, capaces de evolucionar y responder a los cambios del entorno o a las necesidades de los participantes.
Los retos de una gobernanza federada en una malla de datos
El cuarto principio de la malla de datos, la gobernanza informática federada, implica que un organismo central define las reglas y normas que deben cumplir los dominios. Los líderes locales son responsables de aplicar estas reglas en su dominio y de proporcionar al organismo central pruebas de su cumplimiento, normalmente en forma de informes.
Aunque el modelo es teóricamente sencillo, su aplicación se enfrenta a menudo a retos culturales internos. Esto ocurre sobre todo en sectores muy regulados, donde los equipos de gobierno centralizados son reacios a delegar la totalidad o parte de los controles de los que históricamente eran responsables.
La gobernanza federada también se enfrenta a una realidad del terreno raramente favorable: la gobernanza de datos está estrechamente vinculada a la gestión de riesgos y el cumplimiento, dos áreas que raramente entusiasman a los equipos operativos.
En consecuencia, resulta difícil identificar a los responsables locales o transferir determinados aspectos de la gobernanza a los propietarios de los productos de datos, quienes, en su mayoría, ya deben aprender una nueva profesión. Por lo tanto, en la mayoría de las grandes organizaciones, la estructura federada será probablemente emulada por el organismo central y luego implantada gradualmente en los dominios a medida que progrese su madurez.
Para evitar una explosión de los costes de gobernanza o la fragmentación, Dehghani prevé que la plataforma de datos pueda acabar apoyando automáticamente aspectos enteros de la gobernanza.
Aspectos de la gobernanza que pueden automatizarse
Creemos firmemente en el aprovechamiento de la automatización para abordar este reto en múltiples frentes:
- Controles de calidad - Ya existen muchas soluciones.
- Trazabilidad - Los equipos de desarrollo ya pueden extraer automáticamente información completa sobre el linaje de sus productos de datos y documentar las transformaciones.
- Gestión precisa de las políticas de acceso - Ya existen soluciones, todas ellas basadas al menos en información de etiquetado.
Con un poco de imaginación, se podría incluso imaginar una IA generativa que analizara las consultas SQL de transformación y las tradujera al lenguaje natural (existen soluciones).El camino es largo, por supuesto, pero la descentralización permite un progreso iterativo, dominio por dominio, producto por producto. Y recordemos también que cualquier avance en la automatización de la gobernanza, en cualquier aspecto, se basa en la producción y el tratamiento de metadatos.
Oficinas Premium Ejemplo:
En Premium Offices, la Oficina de Datos tiene una cultura de gobernanza muy defensiva: como la empresa opera en el mercado de capitales, está sujeta a estrictas limitaciones normativas.
Como parte del proyecto piloto, se decidió no incidir en el marco de gobernanza. La calidad y la trazabilidad siguen siendo responsabilidad de la Oficina de Datos y se abordarán retroactivamente con sus herramientas y métodos. El control de acceso también será responsabilidad suya: ya existe un proceso, en forma de flujo de trabajo de ServiceNow (el establecimiento de permisos en BigQuery requiere varias operaciones y revisiones manuales). La única concesión es que el flujo de trabajo se modificará para que las solicitudes de acceso sean verificadas por el propietario del producto de datos antes de ser aprobadas y procesadas por la Oficina de Datos. En otras palabras, un pequeño paso hacia la gobernanza federada.
En cuanto a los metadatos, las nuevas tablas y vistas en BigQuery deben documentarse, tanto a nivel conceptual como físico, en el catálogo central de datos (que desconoce el concepto de producto de datos). Se trata de un proceso declarativo que el equipo piloto ya conoce. Cualquier etiquetado de columnas será realizado por la Oficina de Datos tras la evaluación.
Por lo demás, la documentación de usuario para los productos de datos se difundirá en un espacio específico de la wiki interna, organizado por dominios, que permite una documentación muy rica y estructurada y dispone de un motor de búsqueda decente.
Guía práctica de Data Mesh: Configuración y supervisión de una malla de datos para toda la empresa
Redactada por Guillaume Bodet, nuestra guía ha sido diseñada para dotarle de estrategias prácticas para implantar la malla de datos en su organización, ayudándole:
- Comience su viaje por la malla de datos con un proyecto piloto específico.
- Descubra métodos eficaces para ampliar su malla de datos.
- Reconocer el papel fundamental que desempeña un mercado interno para facilitar el consumo efectivo de productos de datos.
- Descubra cómo la Plataforma de Inteligencia de Datos Actian emerge como un sistema de supervisión robusto, orquestando una malla de datos en toda la empresa.
Suscríbase al blog de Actian
Suscríbase al blog de Actian para recibir información sobre datos directamente en su correo electrónico.
- Manténgase informado: reciba lo último en análisis de datos directamente en su bandeja de entrada.
- No se pierda ni una publicación: recibirá actualizaciones automáticas por correo electrónico que le avisarán cuando se publiquen nuevas publicaciones.
- Todo depende de usted: cambie sus preferencias de entrega para adaptarlas a sus necesidades.