Buenas prácticas para la calidad de los datos en la gobernanza de datos

La calidad de los datos no se deteriora de golpe. Se degrada poco a poco: un campo que se deja sin rellenar, una definición que varía de un sistema a otro, un proceso que se ejecuta sin validación. Para cuando los usuarios posteriores se dan cuenta de que algo va mal, el problema suele llevar semanas agravándose.

Una gestión eficaz de la calidad de los datos en un contexto de gobernanza no consiste en limpiar los datos a posteriori, sino en establecer las normas, las estructuras de rendición de cuentas y los controles automatizados que eviten, desde el principio, que los problemas de calidad lleguen a la fase de producción.

Definir las dimensiones de la calidad de los datos y relacionarlas con el impacto en el negocio

Antes de poder evaluar la calidad de los datos, es necesario ponerse de acuerdo sobre qué se entiende por ello. El marco más utilizado define seis dimensiones fundamentales:

Al relacionar cada dimensión con un impacto empresarial concreto —una auditoría fallida, una mala experiencia del cliente, un informe ejecutivo erróneo—, la calidad de los datos pasa de ser una cuestión técnica a convertirse en una prioridad empresarial. Este enfoque es también lo que permite que los programasde gobernanza de datosobtengan el apoyo organizativo que necesitan para funcionar.

Asignar funciones claras de titularidad y gestión de los datos

La calidad de los datos sin rendición de cuentas es un documento normativo, no un programa. Cada ámbito de datos necesita funciones bien definidas:

Los responsables de los datos son responsables de la calidad de un dominio de datos a nivel empresarial. Establecen normas de calidad, aprueban excepciones y se aseguran de que los datos de su dominio cumplan los requisitos de sus usuarios finales.

Los responsables de datos se encargan del trabajo operativo diario: supervisar los índices de calidad, investigar los fallos, resolver conflictos de definiciones y mantener las entradasdel glosario empresarial.La gestión de datoses el punto de encuentro entre la política de calidad y su ejecución.

Ingenieros de datos implementan y mantienen los controles técnicos —normas de validación, comprobaciones en el flujo de trabajo, aplicación de esquemas— que permiten medir la calidad en los sistemas automatizados.

Sin esta estructura, surgen problemas de calidad, pero no hay nadie a quien atribuir claramente la responsabilidad. Las investigaciones se estancan. Las soluciones dejan de ser prioritarias. Los mismos problemas se repiten.

Establecer umbrales de calidad cuantificables antes de que los datos pasen a producción

Las normas de calidad deben definirse en el momento de la incorporación de un activo de datos, y no cuando ya lleve meses en uso. Para cada conjunto de datos crítico, se debe documentar lo siguiente:

• ¿Qué campos son obligatorios y cuáles son opcionales?
• Rangos de valores aceptables, formatos y listas de enumeración.
• Índices máximos tolerables de valores nulos por columna.
• Requisitos de vigencia: ¿cuánto tiempo pueden tener estos datos antes de que dejen de ser válidos para su uso?
• Reglas de integridad referencial: a qué claves externas deben resolverse.

Estos umbrales constituyen la base para la validación automatizada. Deben almacenarse comometadatosjunto con el activo de datos, de modo que las reglas de calidad acompañen a los datos a medida que estos se transfieren de un sistema a otro.

Implementar la supervisión y las alertas automatizadas en todas las cadenas de trabajo

Los controles de calidad manuales no son escalables. Ante los volúmenes de datos de las grandes empresas, el único enfoque sostenible es la supervisión automatizada continua, que detecta las anomalías antes de que lleguen a los paneles de control, los modelos o los sistemas operativos.

Una supervisión automatizada eficaz abarca:

• Comprobaciones de volumen — ¿Se ha recibido el número esperado de filas?
• Comprobaciones del esquema:¿Ha cambiado de tipo alguna columna, se le ha cambiado el nombre o ha desaparecido?
• Comprobaciones de distribución — ¿Las distribuciones de los valores parecen estadísticamente normales en comparación con los valores de referencia históricos?
• Seguimiento de la tasa de valores nulos — ¿Ha variado de forma significativa la tasa de valores en falta?
• Comprobaciones de vigencia — ¿Se han actualizado los datos dentro del plazo establecido?

Cuando falla una comprobación, las alertas deben enviarse automáticamente al responsable de los datos, en lugar de quedarse en un archivo de registro. Aquí es dondeel linaje de datosresulta esencial: una alerta en una tabla posterior es mucho más útil cuando se puede ver de inmediato qué fuente o transformación anterior ha provocado el problema.

Incorporar la calidad de los datos en las políticas de gobernanza, y no como algo secundario

La calidad de los datos yla gobernanza de los datos resultan más eficaces cuando se diseñan conjuntamente. En la práctica, esto significa:

• Los umbrales de calidad deberían formar parte de los contratos de datos, es decir, acuerdos formales entre los productores y los consumidores de datos sobre el contenido de los datos y la fecha de entrega.
• Las clasificaciones de datos sensibles aplicadas mediante mecanismos de gobernanza deberían dar lugar automáticamente a requisitos de calidad más estrictos.
• Los activos de datos que no superen los controles de calidad deben quedar bloqueados para su certificación en elcatálogo de datos hasta que se resuelvan los problemas.
• El acceso a conjuntos de datos críticos puede estar supeditado al cumplimiento de unos umbrales de calidad, lo que evita que se tomen decisiones posteriores basadas en datos que no cumplan los estándares mínimos.

El objetivo es garantizar un control de calidad automático e integrado en los flujos de trabajo habituales de datos, y no un ciclo de auditoría independiente que se lleve a cabo cada trimestre.

Da prioridad primero a los datos maestros y a los ámbitos de mayor impacto

Intentar aplicar controles de calidad en todos los conjuntos de datos a la vez dispersa demasiado el esfuerzo y genera resultados con demasiada lentitud como para generar confianza en la organización. Empieza por:

• Datos maestros — Clientes, productos, proveedores, empleados. Estas entidades están presentes en todos los sistemas. Los problemas de calidad en este ámbito se agravan en todo el conjunto de datos.
• Datos para la presentación de informes reglamentarios — Cualquier conjunto de datos que alimente un informe de cumplimiento normativo o un estado financiero. El coste de un fallo en la calidad en este caso es directo y cuantificable.
• Datos de entrenamiento para la IA y el aprendizaje automático — Los modelos entrenados con datos de baja calidad producen resultados poco fiables. Los controles de calidad de los conjuntos de datos de entrenamiento deben tratarse con el mismo rigor que los datos financieros de producción.

Una vez que se han establecido programas de calidad en ámbitos de gran impacto, los patrones, las herramientas y la capacidad organizativa se extienden a conjuntos de datos más amplios de forma más eficiente.

Crear un ciclo de retroalimentación entre los fallos de calidad y la corrección de las causas fundamentales

Detectar un problema de calidad es solo la mitad del trabajo. La otra mitad consiste en asegurarse de que la solución aborde la causa raíz y no solo el síntoma.

Un ciclo de corrección estructurado tiene el siguiente aspecto:

1. La supervisión automatizada detecta una anomalía y crea una tarea de gestión.
2. El administrador investiga utilizandoel linaje para rastrear el origen del problema.
3. Se ha identificado la causa raíz: un cambio en el sistema de origen, un error en la lógica del proceso de tratamiento de datos o una incoherencia en las definiciones.
4. La corrección se ha aplicado en el código fuente, no se ha incorporado mediante un parche en las versiones posteriores.
5. Se ha actualizado la regla de calidad o el umbral que no detectó el problema antes.
6. La resolución queda registrada comometadatos en el activo en cuestión.

Si se omite el paso 6, vuelve a aparecer el mismo problema. Si se omite el paso 4, la corrección posterior crea una dependencia oculta que falla la próxima vez que se modifique el código fuente.

Medir y presentar la calidad de los datos como indicador empresarial

Los programas de calidad de datos que no pueden demostrar su impacto no sobreviven a los ciclos presupuestarios. Establece un pequeño conjunto de indicadores que relacionen el rendimiento en materia de calidad con los resultados empresariales y presenta informes sobre ellos de forma sistemática:

• Puntuación global de calidad — Media ponderada de las distintas dimensiones de cada ámbito crítico.
• Tiempo hasta la detección — Tiempo transcurrido entre el momento en que se produce un problema de calidad y el momento en que se detecta.
• Tiempo hasta la resolución — Cuánto tiempo transcurre entre la detección del problema y la confirmación de su solución.
• Índice de incidentes relacionados con la calidad — Número de fallos en fases posteriores (informes erróneos, procesos fallidos, decisiones equivocadas) atribuibles a problemas de calidad de los datos por trimestre.
• Cobertura — ¿Qué porcentaje de los activos de datos críticos cuenta con umbrales de calidad definidos y un sistema de supervisión activa?

Al comunicar estas métricas a los responsables de los datos y a los patrocinadores ejecutivos, la calidad de los datos pasa de ser una cuestión de ingeniería a convertirse en un indicador clave de rendimiento (KPI)de gobernanzacon una responsabilidad claramente definida.

Resumen

La calidad de los datos, en el contexto de la gobernanza, no es un proyecto de corrección puntual. Se trata de una disciplina operativa continua que se basa en normas claras, la asignación de responsabilidades, la supervisión automatizada y la mejora continua.

Las organizaciones que lo hacen bien consideran la calidad como una característica inherente a cada activo de datos: se define en el momento de su incorporación, se supervisa de forma continua, se garantiza mediante políticas y se mide como un resultado empresarial. El resultado son datos que los equipos posteriores —analistas, sistemas de inteligencia artificial, responsables de cumplimiento normativo— pueden utilizar sin tener que verificar primero si son fiables.

Para conocer los fundamentos de la gobernanza yla gestión de metadatosque hacen posible garantizar la calidad de los datos, consulte la«Guía empresarial sobre gobernanza de datos» y la«Guía empresarial sobre gestión de metadatos».

Acerca del autor

Acerca de Actian Corporation

Actian permite a las empresas gestionar y controlar los datos a gran escala con total confianza. Las organizaciones confían en las soluciones de gestión e inteligencia de datos de Actian para optimizar entornos de datos complejos y acelerar la entrega de datos preparados para la IA. Diseñadas para ofrecer flexibilidad, las soluciones de Actian se integran a la perfección y funcionan de forma fiable tanto en entornos locales como en la nube y en entornos híbridos. Obtén más Acerca de Actian, la división Acerca de Actian datos e IA de HCL Software, en actian.com.