La gestión de la calidad de los datos (DQM) es la práctica continua de medir, supervisar, corregir y mejorar la calidad de los datos en todo el conjunto de datos de una organización, con el fin de que los datos sigan siendo precisos, completos, coherentes, actuales, válidos y únicos para los fines a los que están destinados.
Es importante distinguir entre la calidad de los datos y la gestión de la calidad de los datos. La calidad de los datos es un estado: el grado en que los datos cumplen con los estándares definidos en un momento dado. La gestión de la calidad de los datos es el programa: los procesos, las funciones, las herramientas y las estructuras de gobernanza que mantienen y mejoran ese estado a lo largo del tiempo.
Las organizaciones que miden la calidad de los datos una sola vez y corrigen lo que detectan han llevado a cabo una limpieza de datos. Las organizaciones que incorporan en sus operaciones de datos una supervisión continua, la responsabilidad en la gestión de los datos y la mejora continua han establecido una gestión de la calidad de los datos. Actian Data Observability y la plataforma Actian Data Intelligence están diseñadas para este último caso, ya que proporcionan supervisión continua, flujos de trabajo automatizados de gestión de datos e integración de la gobernanza en entornos tanto en la nube como locales.
Calidad de los datos frente a gestión de la calidad de los datos
| Calidad de datos | Gestión de la calidad de los datos | |
|---|---|---|
| Qué es | El estado de los datos: en qué medida cumplen las normas establecidas en un momento dado | El programa: los procesos, las funciones, las herramientas y la gobernanza que mantienen y mejoran ese estado |
| Pregunta principal | ¿Qué grado de precisión, exhaustividad y coherencia tienen estos datos en este momento? | ¿Cómo garantizamos que los datos cumplan los estándares de calidad de forma constante a lo largo del tiempo? |
| Horizonte temporal | Momento concreto | En curso y continuo |
| Resultados | Puntuaciones de calidad, resultados de la elaboración de perfiles, resultados de la validación | Tendencias en la mejora de la calidad, conjuntos de datos certificados, flujos de trabajo de gestión responsable, registros de gobernanza |
| ¿Quién es el responsable? | Medido por ingenieros de datos y administradores de datos | Gestionada mediante un programa con una estructura de responsabilidad, unos procesos y unos indicadores bien definidos |
| Relación | El resultado de DQM es la calidad de los datos | La calidad de los datos es lo que mide y mejora DQM |
El error más habitual en los programas de datos empresariales es considerar la calidad como una solución puntual, en lugar de como una disciplina de gestión continua. Un proyecto de limpieza de datos que mejore los índices de calidad en un 30 %, pero que no vaya acompañado de una gestión continua, da lugar a que la calidad de los datos vuelva a deteriorarse hasta su estado anterior en cuestión de meses, a medida que se acumulan nuevos registros, cambian los flujos de datos y evolucionan los sistemas de origen.
Qué abarca la gestión de la calidad de los datos
Un programa completo de DQM abarca siete disciplinas.
Perfilado de datos
Análisis automatizado de los activos de datos para evaluar sus características de calidad actuales: índices de valores nulos, distribuciones de valores, patrones de formato, índices de duplicados e integridad referencial. La elaboración de perfiles establece la referencia para cada dominio de datos, identifica dónde existen deficiencias de calidad y proporciona la información que los responsables y propietarios necesitan para priorizar las medidas correctoras.
La generación de perfiles debe realizarse de forma continua, no solo al iniciar el programa. Las características de calidad cambian a medida que aumentan los volúmenes de datos, se modifican los sistemas de origen y se adaptan los flujos de trabajo.
Validación de datos
Reglas de negocio que definen qué se considera datos válidos para cada campo: rangos de valores aceptables, formatos obligatorios, restricciones de referencia y dependencias entre campos. Las reglas de validación se aplican en el momento de la introducción y la ingesta de datos para evitar que se introduzcan valores no válidos en el sistema, y se aplican de forma continua a los datos almacenados para detectar valores que ya no se ajustan a los estándares vigentes.
Una validación eficaz requiere la colaboración entre los ingenieros de datos (que se encargan de la implementación técnica de las reglas) y los responsables de datos y los propietarios de los ámbitos de negocio (que definen qué se entiende por «válido» en cada ámbito de negocio). La validación técnica sin tener en cuenta el contexto empresarial da lugar a reglas que permiten el paso de datos erróneos. Los requisitos empresariales sin una implementación técnica dan lugar a normas que nunca se aplican.
Limpieza y corrección de datos
Proceso consistente en corregir, normalizar y enriquecer los datos que no superan los controles de calidad. La limpieza de datos puede automatizarse en el caso de patrones corregibles que se dan en grandes volúmenes —como reformatear los números de teléfono a un formato estándar, corregir los códigos postales cotejándolos con una base de datos de referencia o fusionar registros duplicados que superen un umbral de confianza— y realizarse manualmente en los casos ambiguos que requieran el criterio humano.
El principio más importante en la limpieza de datos es la corrección en el sistema de origen, por encima de la corrección en las fases posteriores. Corregir los datos en un almacén de datos situado en una fase posterior, mientras el sistema de origen sigue generando los mismos errores, genera una carga de mantenimiento indefinida. Toda inversión en limpieza de datos debería incluir una evaluación para determinar si la causa raíz puede abordarse en el sistema de origen.
Control de calidad y alertas
Supervisión continua de los índices de calidad en todos los activos de datos, con alertas automáticas cuando los índices caen por debajo de los umbrales definidos o cuando aparecen anomalías. La supervisión de la calidad detecta los problemas antes de que afecten a los informes de producción, a los sistemas operativos o a los procesos de entrenamiento de IA.
Una supervisión eficaz se integra en los flujos de trabajo de gestión, y no solo en un panel de control. Una alerta que se activa y acaba en una cola de la que nadie se hace cargo no mejora la calidad. Una alerta que se activa, crea un ticket de gestión asignado al responsable, realiza un seguimiento del tiempo de resolución según un SLA y se escala si no se resuelve: eso es gestión de la calidad.
Certificación de datos
El proceso formal de marcar un activo de datos como aprobado para su uso una vez que ha cumplido los umbrales de calidad definidos y ha sido revisado por un responsable de datos. La certificación traduce la medición de la calidad en confianza para el usuario: un conjunto de datos certificado que aparece en el catálogo de datos indica a los usuarios que los datos son fiables, sin que sea necesario que los validen por su cuenta.
La certificación es el punto en el que la gestión de la calidad aporta su valor empresarial más directo. Cuando los analistas y los científicos de datos pueden encontrar conjuntos de datos certificados en el catálogo y utilizarlos sin necesidad de escalación ni validación independiente, el tiempo y el esfuerzo invertidos en la gestión de la calidad se amortizan directamente.
Administración y propiedad
La gestión de la calidad de los datos requiere una responsabilidad humana en dos niveles: los propietarios de los datos, que definen los estándares de calidad y asumen la responsabilidad última del buen estado de los datos de su ámbito, y los gestores de datos, que se encargan de la gestión operativa de la calidad —supervisando las puntuaciones, resolviendo incidencias, manteniendo los términos del glosario y certificando los activos—.
Sin una gestión asignada, los programas de gestión de la calidad se deterioran. Los ingenieros pueden crear infraestructuras de seguimiento, pero no pueden definir qué se entiende por «preciso» en un ámbito empresarial ni certificar si un conjunto de datos es adecuado para un uso empresarial concreto. Esas decisiones requieren conocimientos especializados en la materia y responsabilidad empresarial.
Informes de calidad y gobernanza
La integración de los indicadores de calidad en los informes de gobernanza proporciona a la dirección una visión clara del estado de la calidad de los datos en toda la organización. Los informes de calidad abarcan la tasa de cobertura (porcentaje de activos con supervisión activa de la calidad), las tendencias de la puntuación de calidad por dominio, el tiempo medio de resolución de incidencias de calidad y las tasas de certificación.
La presentación de informes sobre la gobernanza es lo que convierte a DQM en un programa sostenible, en lugar de un simple proyecto. Cuando se comunican periódicamente los indicadores de calidad a la dirección y se establece una responsabilidad clara ante los fallos de calidad, la cultura organizativa en torno a la calidad de los datos mejora con el tiempo.
El ciclo de vida de la gestión de la calidad de los datos
El DQM funciona como un ciclo continuo, en lugar de como un proceso lineal.
1. Descubrir: Realice un inventario de los activos de datos incluidos en el alcance. Conecte las herramientas de análisis de perfiles a cada fuente prioritaria y ejecute un análisis inicial para evaluar la calidad actual en las seis dimensiones: precisión, exhaustividad, coherencia, puntualidad, validez y unicidad. Identifique los ámbitos con mayores deficiencias de calidad y mayor riesgo empresarial.
2. Definir normas: Colabora con los propietarios y los gestores de datos para definir los umbrales de calidad que se aplican a cada ámbito prioritario: índices de valores nulos aceptables, porcentajes de exhaustividad requeridos, reglas de validación de formatos, acuerdos de nivel de servicio (SLA) sobre actualidad y requisitos de unicidad. Documenta estas normas en el catálogo de datos como la política de calidad oficial para cada ámbito.
3. Validar y depurar: Aplicar reglas de validación que garanticen el cumplimiento de los estándares definidos en el momento de la ingesta y que se ejecuten de forma continua sobre los datos almacenados. Ejecutar procesos de limpieza sobre los datos existentes que no cumplan los estándares actuales. Dar prioridad a la corrección en la fuente frente a la limpieza posterior, siempre que sea posible.
4. Supervisión:Implementeuna supervisión continua de la calidad con alertas automatizadas vinculadas a los flujos de trabajo de gestión. Establezca umbrales de supervisión a nivel de dominio basándose en las normas definidas en el paso 2. Realice un seguimiento de la evolución de la puntuación de calidad a lo largo del tiempo.
5. Solucionar: Resolver los incidentes de calidad mediante el flujo de trabajo de gestión: investigar la causa raíz, aplicar la solución en el origen siempre que sea posible, verificar la resolución a través del sistema de supervisión y cerrar el incidente documentando las medidas tomadas. Realizar un seguimiento de los SLA de corrección para evaluar el estado del programa de gestión.
6. Certificar:Revisarlos activos que cumplan los umbrales de calidad definidos y aplicarles el estado de certificación. Publicar los activos certificados en el catálogo de datos, con la evidencia de calidad visible para los usuarios. Revisar y renovar la certificación con una periodicidad definida.
7. Informar y mejorar: Elaborar informes de gestión de la calidad para su revisión por parte de la dirección. Identificar los fallos de calidad recurrentes y abordar sus causas fundamentales. Actualizar los estándares de calidad a medida que evolucionan los requisitos empresariales. Realizar un seguimiento de las tendencias de mejora de la calidad a lo largo del tiempo. Un programa de gestión de la calidad de datos (DQM) que no pueda demostrar una mejora de la calidad a lo largo de 12 meses no está gestionando la calidad, sino que se limita a documentarla.
DQM y gestión de datos maestros
La gestión de la calidad de los datos y la gestión de datos maestros (MDM) son disciplinas estrechamente relacionadas, pero distintas.
Gestión de datos maestros mantiene un único registro de referencia —el «registro de oro»— para las entidades clave de la empresa: clientes, productos, proveedores y empleados. Resuelve los duplicados, garantiza la coherencia y regula cómo se mantiene y distribuye la versión de referencia entre los distintos sistemas.
La gestión de la calidad de los datosmidey mejora la calidad de todos los activos de datos del entorno, incluidos los datos maestros, pero también los datos transaccionales, los datos operativos, los datos de referencia y los datos analíticos.
La gestión de datos maestros (MDM) depende de la gestión de la calidad de los datos (DQM): un programa de datos maestros que no mida ni supervise la calidad de sus registros de referencia genera registros de referencia cuya calidad es desconocida. La DQM depende de la MDM: un programa de calidad que no aborde los problemas de resolución de entidades y de coherencia que resuelve la MDM seguirá fallando en lo que respecta a los duplicados y las incoherencias, independientemente del número de reglas de validación que se implementen.
En la práctica, las organizaciones consolidadas gestionan la gestión de la calidad de los datos (DQM) y la gestión de datos maestros (MDM) como programas complementarios con una gobernanza compartida: los mismos propietarios y administradores de datos son responsables de la calidad en los ámbitos de la MDM, las normas de calidad se aplican a los datos maestros al igual que al resto de datos, y los registros de referencia de la MDM se certifican mediante el mismo proceso de certificación de DQM que el resto de activos de datos.
DQM y gobernanza de datos
La gestión de la calidad de los datos es una de las disciplinas operativas que forman parte de un programa de gobernanza de datos.
La gobernanza define los estándares de calidad: los umbrales, las dimensiones y los criterios de certificación que se aplican a cada ámbito. DQM aplica dichos estándares mediante la elaboración de perfiles, la validación, la supervisión y la corrección.
| La gobernanza define | DQM ejecuta |
|---|---|
| Umbrales de calidad por ámbito | Supervisión continua en relación con dichos umbrales |
| Responsabilidad en la gestión de los recursos | Resolución de problemas de calidad operativa |
| Criterios de certificación | Certificación aplicada a los activos que cumplen los requisitos |
| Requisitos de cumplimiento | Se conservan pruebas de calidad a efectos de auditoría |
| Titularidad de los datos | Responsabilidad de los propietarios respecto a la calidad del estado de los dominios |
Un programa de gobernanza sin la aplicación de la gestión de la calidad (DQM) da lugar a políticas de calidad que nunca se evalúan. Un programa de gestión de la calidad (DQM) sin gobernanza genera indicadores de calidad sobre los que nadie actúa, debido a la ausencia de estructuras de rendición de cuentas.
Herramientas que facilitan la gestión de la calidad de los datos
DQM requiere herramientas que abarquen tres categorías. Se trata de categorías funcionales, no de recomendaciones de proveedores.
Plataformas de análisis y supervisión de datos: Herramientas que se conectan a fuentes de datos, analizan automáticamente las características de calidad, calculan puntuaciones de calidad y generan alertas cuando las puntuaciones caen por debajo de los umbrales establecidos o aparecen anomalías. Las plataformas modernas incluyen detección automática de anomalías que identifica patrones inusuales sin necesidad de definir manualmente reglas para cada posible modo de fallo.
Catálogos de datos con integración de la calidad:un catálogo de datosque muestra las puntuaciones de calidad, el estado de certificación y el historial de validación junto con las definiciones de los activos y su linaje proporciona a los usuarios el contexto que necesitan para evaluar los datos antes de utilizarlos. La información sobre la calidad integrada en el catálogo resulta más accesible que si estuviera oculta en un panel de control independiente.
Plataformas de observabilidad de datos:Las herramientas de observabilidadsupervisan los flujos de datos de principio a fin para detectar la actualidad de los datos, el volumen, los cambios en el esquema y las anomalías en la distribución. Complementan a las herramientas de perfilado al detectar problemas de calidad a nivel del flujo —por ejemplo, un flujo que ha dejado de cargarse o un cambio en el esquema que ha afectado a una dependencia posterior— en lugar de limitarse únicamente a las métricas de calidad a nivel del conjunto de datos.
Marcos de validación y pruebas: Marcos que permiten a los ingenieros de datos escribir y ejecutar pruebas de calidad en forma de código, integradas en los flujos de CI/CD y en las plataformas de orquestación. Las pruebas de calidad que se ejecutan como parte del flujo detectan los problemas en el momento de la transformación, en lugar de cuando los datos ya han llegado a producción.
Resolución de entidades y plataformas de gestión de datos maestros (MDM):herramientasque identifican y fusionan registros duplicados, mantienen registros de referencia para entidades clave y distribuyen versiones autorizadas a los sistemas conectados. Son imprescindibles para cualquier programa de gestión de la calidad de los datos (DQM) que deba abordar las dimensiones de unicidad y coherencia a gran escala.
Gestión del flujo de trabajo de los responsables de calidad:herramientasque gestionan el aspecto humano de la gestión de la calidad de los datos (DQM): derivar los incidentes de calidad al responsable adecuado, realizar un seguimiento de su resolución según los acuerdos de nivel de servicio (SLA), registrar las decisiones de certificación y generar los registros de auditoría que exigen los procesos de gobernanza y cumplimiento normativo.
Creación de un programa de gestión de la calidad de los datos
Empieza por una evaluación de la calidad
Antes de implementar herramientas o definir políticas, realiza una evaluación de la calidad actual en todos los ámbitos prioritarios. Analiza cada conjunto de datos prioritario en función de las seis dimensiones de calidad y establece puntuaciones de referencia. Identifica los ámbitos con mayores deficiencias de calidad y mayor riesgo empresarial: estos serán el punto de partida del programa.
Definir los estándares de calidad por ámbito
Colabora con los propietarios y los gestores de datos para definir umbrales aceptables para cada dimensión de calidad en cada ámbito prioritario. Un ámbito de transacciones financieras puede requerir una precisión del 99,9 % y una exhaustividad del 100 % en los campos obligatorios. Un ámbito de contactos de marketing puede tolerar tasas de valores nulos más elevadas en los campos opcionales. Los umbrales definidos por ámbito permiten medir y certificar la calidad.
Asignar la gestión
Identifica a los responsables y gestores de los datos para cada ámbito prioritario antes de implementar la supervisión. Una supervisión de calidad sin responsabilidades asignadas genera alertas ante las que nadie toma medidas. La estructura de gestión es la base del programa; las herramientas lo hacen escalable.
Implementar la supervisión y conectarse a los flujos de trabajo
Implemente una supervisión continua de la calidad en los ámbitos prioritarios. Vincule las alertas de supervisión a los flujos de trabajo de gestión, en lugar de limitarlas únicamente a un panel de control. Defina los acuerdos de nivel de servicio (SLA) para la respuesta ante incidentes y realice un seguimiento del cumplimiento. Remita las infracciones persistentes a los responsables de los datos.
Implementar la validación en el momento de la ingesta
Aplica normas de validación en el momento de la introducción de datos y de su incorporación al flujo de trabajo para los ámbitos prioritarios. Evita que los datos inválidos, incompletos y duplicados entren en el sistema, en lugar de corregirlos a posteriori. La prevención en el origen genera beneficios cada vez mayores a medida que el programa va madurando.
Certificar los activos prioritarios
Revisa la lista de activos prioritarios y certifica los conjuntos de datos que cumplan los umbrales de calidad definidos. Publica el estado de certificación en el catálogo de datos. Establece una periodicidad de revisión para la renovación de la certificación; normalmente, trimestralmente en los ámbitos de alto riesgo.
Medir e informar
Definir el cuadro de mando de los indicadores clave de rendimiento (KPI) del programa DQM: índice de cobertura del catálogo, tendencias de la puntuación de calidad por dominio, tiempo medio de resolución de incidencias, índice de certificación y cumplimiento del acuerdo de nivel de servicio (SLA) de gestión. Presentar estos datos mensualmente a los responsables de gobernanza. Demostrar la mejora a lo largo del tiempo.
Preguntas frecuentes
La gestión de la calidad de los datos es la práctica continua de medir, supervisar, corregir y mejorar la calidad de los datos en todo el conjunto de datos de una organización. Abarca los procesos, las funciones, las herramientas y las estructuras de gobernanza que garantizan que los datos sean precisos, completos, coherentes, actuales, válidos y únicos para los fines a los que están destinados a lo largo del tiempo, y no solo en un momento concreto.
La calidad de los datos es el estado de los datos en un momento dado: en qué medida cumplen con los estándares definidos. La gestión de la calidad de los datos es el programa que mantiene y mejora ese estado a lo largo del tiempo mediante la elaboración de perfiles, la validación, la supervisión, la administración y la gobernanza. Limpiar los datos una sola vez no es gestión de la calidad de los datos. Lo es, en cambio, crear un programa continuo que mantenga los datos limpios.
Perfilado de datos para establecer valores de referencia; reglas de validación para garantizar el cumplimiento de las normas; limpieza y corrección para resolver los problemas existentes en su origen; supervisión continua con alertas vinculadas a la gestión responsable; certificación de datos para traducir la medición de la calidad en confianza por parte de los usuarios; asignación de responsabilidades de gestión y propiedad; e informes de gobernanza que hagan un seguimiento de la mejora de la calidad a lo largo del tiempo.
La gestión de datos maestros (MDM) mantiene un único registro de referencia oficial para las entidades clave del negocio —clientes, productos, proveedores— y regula su distribución entre los distintos sistemas. La gestión de la calidad de los datos (DQM) mide y mejora la calidad de todos los activos de datos del entorno, incluidos los datos maestros. La MDM aborda las dimensiones de calidad relacionadas con la unicidad y la coherencia de las entidades clave. La DQM abarca las seis dimensiones de calidad para todos los activos de datos. Las organizaciones maduras gestionan ambos programas de forma complementaria.
Las principales categorías de herramientas son: plataformas de perfilado y supervisión de datos, catálogos de datos con integración de puntuaciones de calidad, plataformas de observabilidad de datos, marcos de validación y pruebas que ejecutan controles de calidad como código en los flujos de trabajo, plataformas de resolución de entidades y de gestión de datos maestros (MDM) para la gestión de duplicados, y herramientas de flujos de trabajo de gestión que se encargan del aspecto humano de la resolución de incidencias de calidad y la certificación.
A través de seis indicadores que se supervisan a lo largo del tiempo: tasa de cobertura del catálogo (porcentaje de activos con supervisión activa de la calidad), tendencias de la puntuación de calidad por dominio (¿están mejorando las puntuaciones?), tiempo medio de resolución de incidencias de calidad, tasa de certificación (porcentaje de activos prioritarios con certificación vigente), cumplimiento del SLA de gestión (¿se resuelven las incidencias dentro de los plazos definidos?) y reducción de la frecuencia de incidencias de calidad de los datos respecto al año anterior.
El retorno de la inversión (ROI) proviene de cuatro fuentes: la reducción de las modificaciones de ingeniería gracias a un menor número de fallos en el proceso causados por problemas de calidad; la disminución de las decisiones empresariales erróneas derivadas de datos poco fiables; una menor exposición a sanciones por incumplimiento normativo; y una preparación más rápida de las auditorías. Gartner estima que la mala calidad de los datos cuesta a las organizaciones una media de 15 millones de dólares al año. Un programa de gestión de la calidad de los datos (DQM) que reduzca la frecuencia y la gravedad de los fallos de calidad en un 50 % ofrece un retorno de la inversión sustancial, incluso con una inversión significativa en el programa. La mayoría de las organizaciones obtienen un retorno de la inversión positivo en un plazo de entre 12 y 18 meses tras la puesta en marcha de un programa de gestión de la calidad de los datos (DQM).
Los modelos de IA heredan todos los problemas de calidad presentes en sus datos de entrenamiento. DQM garantiza que los conjuntos de datos de entrenamiento se analicen, validen y certifiquen antes de incorporarse a los flujos de trabajo de IA; que se mantenga la documentación sobre la calidad para garantizar la reproducibilidad de los modelos y para auditorías normativas; y que los datos de producción que alimentan los modelos implementados se supervisen de forma continua, de modo que se detecte cualquier desviación de los datos antes de que afecte al rendimiento de los modelos.
