Realidad: La gestión de la calidad de los datos aumenta el retorno de la inversión
a prise de décision y la resolución de problemas se basan en los datos que usted recibe e interpreta para alcanzar su visión corporativa, ayudar al personal o a los clientes, o abordar un problema. Antes de COVID-19, Gartner calculaba que el impacto financiero anual de la mala calidad de los datos rondaba los 15 millones de dólares.
La gestión de la calidad de los datos (DQM) influye en la capacidad de crear una estrategia de gestion des données maestra gestion des données (MDM). Gartner e ISACA creen que la calidad de los datos debe ser un tema y una preocupación recurrente a nivel de la junta directiva. Sólo la alta dirección que se beneficia de las herramientas y cuadros de mando de gestión de la calidad de los datos puede crear la cultura y los comportamientos que impidan que los datos se conviertan en un pasivo peligroso en lugar de un activo estratégico.
¿Qué es la gestión de la calidad de los datos?
La gestión de la calidad de los datos son los procesos maduros, las herramientas y la comprensión en profundidad de los datos que necesita para tomar decisiones o resolver problemas con el fin de minimizar el riesgo y el impacto para su organización o sus clientes. Se pueden tener datos de alta calidad y, aun así, obtener malos resultados empresariales. DQM es la práctica de utilizar esos datos para servir a sus propósitos con flexibilidad y agilidad. Para ello, debe evaluar los datos de que dispone en la actualidad y los procesos y herramientas que utilizan o apoyan los datos con respecto a las medidas de precisión, integridad, cohérence y puntualidad.
Las prácticas DQM y MDM de adquisición, uso y almacenamiento de datos forman parte del papel de todos, incluidos los proveedores. Esto convierte a los datos en un activo holístico, con lo que queremos decir que los datos son la entrada y la salida de cada tarea y transacción realizada por su empresa. Como tal, la calidad de sus datos mejorará si sigue las mejores prácticas del sector (DQM), que comienzan con el diseño de una visión del flujo y el uso de los datos (MDM).
Unas buenas prácticas de DQM y MDM ayudarán a superarlo:
- La falta de confianza en los datos hace que los empleados creen sus propias versiones de los datos (no estándar en múltiples hojas de cálculo Excel y tablas de datos).
- Datos insuficientes que sustentan las malas decisiones.
- El aumento del coste de la gestion des données y del almacenamiento.
- Falta de uniformidad en el uso o sensación de los datos, lo que complica el uso de las aplicaciones.
- Crear niveles de riesgo inaceptables o posibles daños a la reputación al gestionar los datos de forma incorrecta.
- Silos de comunicación y colaboración causados por datos deficientes o malinterpretados.
- Incapacidad para reaccionar ante los cambios volátiles del mercado o las crisis (por ejemplo, COVID-19).
- La no introducción de prácticas digitales impide el uso interdepartamental de datos no estructurados.
En pocas palabras: la gestion des données es una práctica holística que afecta a todos los aspectos de su organización. Los procesos y el modelo de su Master gestion des données madurarán a medida que introduzca un marco de gestión de la calidad de los datos.
Otra sugerencia sería echar un vistazo a los marcos y herramientas que ofrecen los proveedores de la nube, como Azure Purview. Esta herramienta destaca el linaje de sus datos desde el inicio hasta el archivo o la eliminación. De este modo, se construye un conjunto de fuentes de datos (almacenes de datos, lagos de datos) que son de confianza y soportan todos sus escenarios de gouvernance y auditoría. La mejor sugerencia es aprender de los consultores de gestion des données e integración que pueden ayudar a introducir herramientas y procesos que integren, supervisen, verifiquen, archiven y eliminen sus datos a través de sus modelos definidos de gestion des données maestros y de calidad.
Atributos de la gestión de la calidad de los datos
La calidad en la gestion des données es lo que hace que su empresa sea saludable. Como ya se ha mencionado, DQM tiene los siguientes atributos:
- Exhaustividad: ¿Falta algún campo o información?
- Validez: ¿Se ajustan los datos a su necesidad y uso?
- Unicidad: ¿Te basas en el conjunto de datos correcto y no en un montón de conjuntos de información redundantes pero obsoletos?
- cohérence: ¿Está disponible la misma información para todos los interesados y no varía según la aplicación del ámbito empresarial?
- Oportunidad o antigüedad: ¿Representan los datos la información más precisa y disponible en el momento de su utilización?
- Precisión: ¿Los valores de los datos son los esperados?
- Integridad: ¿Son los datos utilizables según sus normas gouvernance calidad de datos?
Marco de gestión de la calidad de los datos y mejores prácticas
Tener presentes los atributos de la calidad de los datos y su formulación en un sistema de datos maestros ayudará a crear la estructura de su marco. Los marcos DQM y MDM soportan las reglas y medidas de calidad de datos que garantizan su confianza en que las decisiones y problemas de alimentación de datos son sólidos.
Un marco de MDM guiará sus políticas y procesos de gouvernance la calidad de los datos, junto con las métricas y reglas de vigilancia para ayudar al personal, TI y proveedores a mantener sus datos seguros, protegidos y utilizables. A medida que construya el marco, tenga en cuenta:
- Rendición de cuentas: ¿Quién será el principal responsable de su estrategia y gouvernance de datos? Muchos están creando un nuevo cargo de Director de Datos (CDO) para desempeñar esta función.
- Transparencia: ¿Cómo se compartirán las normas de datos? ¿Qué información se recabará para influir en los cambios de las políticas?
- Cumplimiento: ¿Cómo sabrá que se cumplen las políticas y normas? ¿Cuál será la sanción por infringir una política de datos? ¿Cómo se asegurará de que sus políticas cumplen los mandatos normativos?
- Protección: ¿Qué hará para archivar, limpiar, modificar, proteger, hacer copias de seguridad, recuperar y eliminar datos? ¿Cómo sabe que tiene problemas con los datos? ¿Qué tipo de supervisión y alerta debe tener para las fuentes de datos entrantes (de Internet, por ejemplo) o salientes (se están transfiriendo datos ilegalmente o le han pirateado)?
Un modelo excelente para adoptar y adaptar es el de los profesores Richard Wang y Diane Strong Beyond Accuracy: Qué significa la calidad de los datos para los consumidores económicos.
Otra sugerencia sería echar un vistazo a los marcos y herramientas que ofrecen los proveedores de la nube, como Azure Purview. Esta herramienta destaca el linaje de sus datos desde el inicio hasta el archivo o la eliminación. De este modo, se construye un conjunto de fuentes de datos (almacenes de datos, lagos de datos) que son de confianza y soportan todos sus escenarios de gouvernance y auditoría. La mejor sugerencia es aprender de los consultores de gestion des données e integración que pueden ayudar a introducir herramientas y procesos que integren, supervisen, verifiquen, archiven y eliminen sus datos a través de sus modelos definidos de gestion des données maestros y de calidad.
¿Por dónde empezar?
La primera pregunta que debemos hacernos es: ¿qué datos utilizamos? Utilizando una versión sencilla de la cartografía de su trabajo (value stream mapping) puede sacar a la luz los distintos datos de su organización, dónde y por qué se utilizan, y cómo se gestionan. Sin una evaluación, el modelo maestro de gestion des données datos que cree no será adecuado para su propósito, lo que repercutirá en las métricas de calidad que esperaba conseguir. Tras consultar con sus equipos de desarrollo y socios de gestion des données gestion des données gestion des données , un diseño cuidadoso le ayudará a evitar las trampas de las malas prácticas de gestion des données de gestion des données .
Su diseño dará lugar a una serie de pruebas piloto a medida que empiece a evaluar los datos que fluyen por su organización en términos de calidad y control. Los resultados de los pilotos ayudarán a estructurar el marco de gouvernance la calidad de los datos. Este marco ayudará a los equipos de desarrollo y a los usuarios a utilizar y avantage mejor los datos como fuente de información a través de herramientas, plantillas, políticas, formación y supervisión que englobarán su marco maestro gestion des données para cada jeu de données o fuente dentro de su empresa.
El CDO o los propietarios de los datos dentro de cada función empresarial deben formar parte del equipo de gouvernance y ayudar a implantar los derechos de acceso y la gestión convirtiéndose en administradores de datos. Recuerde que TI sólo debe actuar como facilitador de la creación de marcos, almacenes o lagos de datos. Los administradores de datos del ámbito empresarial son los propietarios (los responsables) de sus datos, su uso y su mantenimiento.
Los datos son su activo crítico. Sus proyectos piloto deben empezar por mejorar la calidad y el control de sus datos críticos o más utilizados o actualizados. Cada fuente de datos debe utilizar un enfoque piloto (de aprendizaje) basado en sus marcos de gouvernance datos, calidad y gestion des données maestra gestion des données . De este modo, mantendrá su agilidad y flexibilidad y, a medida que madure sus prácticas, contribuirá a crear una empresa digital más viable, capaz de sobrevivir en un mercado global volátil.
Actividades y ciclo de vida de la calidad de datos
Estas actividades primarias regirán adecuadamente la calidad de sus datos:
- Adquisición: Obtención de los datos de una fuente, entrada manual o como salida de una aplicación.
- Analizar: Decidir si los datos cumplen las normas de calidad para su uso, normalmente se realiza a través de una aplicación que requiere los datos.
- Depuración: Eliminación de cualquier elemento de datos que no sea necesario, manteniendo el tamaño al mínimo.
- Enriquecimiento: Adición de más datos para crear un conjunto de información, como múltiples fuentes de datos para crear informes financieros.
- Supervisión y alerta: La actividad principal para mantener la seguridad, la protección y el cumplimiento.
- Reparar: Si un jeu de données se corrompe, este paso ayudará a corregir los problemas.
- Archivo o supresión: Almacenamiento de datos en función de los requisitos acordados.
- Informes: Podría tratarse de los informes o pantallas habituales que utiliza su empresa, pero en términos de calidad de datos, es el paso que informa y registra los problemas de datos, cómo se abordan y si los problemas se repiten.
Proceso de gestión de la calidad de los datos
Los procesos de gestión de la calidad de los datos variarán en función del uso que se haga de ellos en cada área de negocio. Por eso, su marco debe tener una visión holística, pero debe proporcionar tácticamente unos límites que permitan a cada equipo o actividad esforzarse por alcanzar la calidad necesaria para garantizar la seguridad, la facilidad, la conformidad, el coste y la competitividad. El mismo concepto se aplica a la creación de un marco maestro gestion des données que destaque las normas básicas de adquisición, uso, almacenamiento y acceso a los datos.
Gestión de la calidad de los datos empresariales
Crear un marco sólido de calidad de datos y datos maestros es un conjunto de acciones complejas pero necesarias. Sin el compromiso y el apoyo y la financiación de la alta dirección, la calidad de sus datos será sospechosa y podría hacerle vulnerable. Por lo tanto, examinar los datos desde el nivel de la empresa y luego trabajar hacia abajo es un enfoque excelente para garantizar que lo que se necesita es de la calidad requerida.
Desplácese desde los clientes a los que presta servicio o desde los resultados de las tareas de trabajo internas para comprobar si los datos cumplen las expectativas. Las ideas de gestión de productos, DevOps, Agile e ITSM pueden servir de base para las políticas, normas y herramientas de gestion des données su empresa. Una vez establecidas, puede empezar a ampliar el alcance del uso de los datos para incluir el comportamiento de los clientes, la situación de la competencia, los problemas observados en otras empresas que usted podría solucionar (ser el primero en llegar al mercado), etc.
La elaboración de perfiles de datos es como el trabajo de detectives que se ve en las series de televisión. ¿Coinciden sus datos con las normas necesarias y, si no es así, por qué? Será en estas incoherencias donde deberá limpiar y reparar los datos lo antes posible. Una forma de aplicar el perfilado de datos es disponer de un verificador de productos entre aplicaciones o productos. Otra es mediante un glosario empresarial de datos y términos utilizados en su empresa. Su socio consultor en gestion des données puede proporcionarle plantillas y orientarle sobre la mejor manera de crear y controlar sus datos para que siempre estén listos para ser utilizados en una tarea o para respaldar una decisión basada en el resultado del análisis de datos.
Métricas de calidad de datos
Las métricas de calidad de datos son los guardarraíles de los marcos de calidad de datos y MDM. Los ratios sugeridos a continuación constituyen las medidas estándar de calidad de datos, pero pueden verse influidos por otras métricas empresariales que aplique en la actualidad.
- Relación entre datos y errores: Cuántos problemas hay en cada jeu de données, almacén de datos o lago de datos según los errores de aplicación o las alertas de seguridad.
- Número de valores vacíos: Cuántos campos obligatorios vacíos tiene, ya que provocarán incidencias con los datos o darán lugar a una mala prise de décision.
- Tiempo de obtención de valor de los datos: ¿Cuánto tiempo se tarda en utilizar los datos para tomar una decisión, resolver un problema o realizar una tarea?
- Tasa de error en la transformación de datos: Las aplicaciones transforman datos con frecuencia y, si se realizan de forma incorrecta, requerirán atención inmediata
- Costes de almacenamiento o gestión de datos: ¿Está aumentando el coste del archivo o mantenimiento de datos, y por qué?
Herramientas de gestión de la calidad de los datos
Su empresa, independientemente de su tamaño, tiene demasiados datos para gestionarlos manualmente.. El software es necesario para realizar acciones diarias y, en muchos casos, en tiempo real para:
- Perfilado de datos: ¿son los datos correctos para la tarea?
- Limpieza, análisis sintáctico, desduplicación y eliminación.
- Archivo, copia de seguridad, recuperación, integración y sincronización a petición o en un momento determinado.
- Versionado de datos por aplicación y uso del producto.
- distribution des données a fuentes externas o almacenes de datos.
- Tareas de calidad de datos mediante reglas de Inteligencia Artificial (IA) y Aprendizaje Automático (AM).
- Control continuo de los datos.
Resumen de la gestión de la calidad de los datos
Sus datos son su principal activo después de las personas. Sin datos de calidad, sus esfuerzos por crear y gestionar productos o servicios, tomar decisiones, ayudar a los clientes, mantener la competitividad y la relevancia y cumplir las obligaciones normativas serán difíciles, si no imposibles.
Considere el coste de la insuficiencia de datos, como se ve en este gráfico de Ringlead:
La calidad de los datos fluctuará a medida que cambie su negocio, de forma similar a la salud de su propio cuerpo, ya que las condiciones se alteran en función de lo que esté haciendo o sintiendo. Los marcos y la gouvernance de MDM avantage de las vistas holísticas de la gestion des données empresarial gestion des données , lo que conducirá a buenas prácticas de gestión de la calidad de datos específicas para su organización. El objetivo es establecer métricas de calidad de datos SMART que ayuden a su organización a hacer bien su trabajo, al tiempo que se le alerta si surge algún problema.
Sus clientes se darán cuenta si los datos son insuficientes, erróneos o se utilizan mal, y su reacción puede causar daños irreparables o dar lugar a multas como las del GDPR. Su CDO puede ayudar a crear el marco de gouvernance , pero la calidad de los datos es función del personal y los proveedores. Por último, la gestión de la calidad de los datos debe ser objeto de debate y preocupación a nivel de la junta directiva, lo que establece la cultura de la calidad de los datos como parte de la función de todos, incluidos los proveedores en los que confía.
