Realidad: La gestión de la calidad de los datos aumenta el retorno de la inversión
La toma de decisiones y la resolución de problemas se basan en los datos que recibe e interpreta para alcanzar su visión corporativa, ayudar al personal o a los clientes, o abordar un problema. Gartner estima que el impacto financiero anual de la mala calidad de los datos fue de aproximadamente 13 millones de dólares, y las organizaciones de servicios financieros se enfrentan a riesgos aún mayores debido a las sanciones reglamentarias y la volatilidad del mercado.
La gestión de la calidad de los datos (DQM) influye en la capacidad de crear una estrategia de gestión de datos maestros (MDM). Gartner e ISACA creen que la calidad de los datos debe ser un tema y una preocupación recurrente a nivel de la junta directiva. Sólo el liderazgo de alto nivel que se beneficia de las herramientas de gestión de calidad de datos y cuadros de mando puede crear la cultura y los comportamientos que convierten los datos de un activo estratégico en un pasivo peligroso.
¿Qué es la gestión de la calidad de los datos?
La gestión de la calidad de los datos son los procesos maduros, las herramientas y la comprensión en profundidad de los datos que necesita para tomar decisiones o resolver problemas con el fin de minimizar el riesgo y el impacto para su organización o sus clientes. Se pueden tener datos de alta calidad y, aun así, obtener malos resultados empresariales. DQM es la práctica de utilizar esos datos para servir a sus propósitos con flexibilidad y agilidad. Para ello, debe evaluar los datos de que dispone en la actualidad y los procesos y herramientas que utilizan o apoyan los datos con respecto a las medidas de precisión, integridad, cohérence y puntualidad.
Las prácticas DQM y MDM de adquisición, uso y almacenamiento de datos forman parte del papel de todos, incluidos los proveedores. Esto convierte a los datos en un activo holístico, con lo que queremos decir que los datos son la entrada y la salida de cada tarea y transacción realizada por su empresa. Como tal, la calidad de sus datos mejorará si sigue las mejores prácticas del sector (DQM), que comienzan con el diseño de una visión del flujo y el uso de los datos (MDM).
Unas buenas prácticas de DQM y MDM ayudarán a superarlo:
- La falta de confianza en los datos hace que los empleados creen sus propias versiones de los datos (no estándar en múltiples hojas de cálculo Excel y tablas de datos).
- Datos insuficientes que sustentan las malas decisiones.
- El aumento del coste de la gestion des données y del almacenamiento.
- Falta de uniformidad en el uso o sensación de los datos, lo que complica el uso de las aplicaciones.
- Crear niveles de riesgo inaceptables o posibles daños a la reputación al gestionar los datos de forma incorrecta.
- Silos de comunicación y colaboración causados por datos deficientes o malinterpretados.
- Incapacidad para reaccionar ante los cambios volátiles del mercado o las crisis (por ejemplo, COVID-19).
- La no introducción de prácticas digitales impide el uso interdepartamental de datos no estructurados.
En pocas palabras: la gestion des données es una práctica holística que afecta a todos los aspectos de su organización. Los procesos y el modelo de su Master gestion des données madurarán a medida que introduzca un marco de gestión de la calidad de los datos.
Fuente: Más allá de la precisión: What Data Quality Means to Data ConsumersOtrasugerencia sería examinar los marcos y herramientas que ofrecen los proveedores de servicios en la nube, como Azure Purview. Esta herramienta destaca el linaje de sus datos desde el inicio hasta su archivo o eliminación. De este modo, se construye un conjunto de fuentes de datos de confianza (almacenes de datos, lagos de datos) que soportan todos sus escenarios de gobernanza y auditoría. La mejor sugerencia es aprender de consultores de gestión e integración de datos que puedan ayudar a introducir herramientas y procesos que integren, supervisen, verifiquen, archiven y eliminen sus datos en todos sus modelos definidos de gestión de datos maestros y de calidad.
Atributos de la gestión de la calidad de los datos
La calidad en la gestion des données es lo que hace que su empresa sea saludable. Como ya se ha mencionado, DQM tiene los siguientes atributos:
- Exhaustividad: ¿Falta algún campo o información?
- Validez: ¿Cumplen los datos la finalidad y el uso previstos?
- Singularidad: ¿Te basas en el conjunto de datos correcto, en lugar de en una colección de conjuntos de información redundante pero obsoleta?
- Coherencia: ¿La misma información está disponible para todos los interesados y no varía según la aplicación del ámbito empresarial?
- Oportunidad o antigüedad: ¿Representan los datos la información más precisa y disponible en el momento de su utilización?
- Precisión: ¿Los valores de los datos son los esperados?
- Integridad: ¿Cumplen los datos sus normas de gobernanza de calidad de datos?
Marco de gestión de la calidad de los datos y mejores prácticas
Tener presentes los atributos de la calidad de los datos y su formulación en un sistema de datos maestros ayudará a crear la estructura de su marco. Los marcos DQM y MDM soportan las reglas y medidas de calidad de datos que garantizan su confianza en las decisiones de alimentación de datos y que los problemas son sólidos.
Un marco de MDM guiará sus políticas y procesos de gouvernance la calidad de los datos, junto con las métricas y reglas de vigilancia para ayudar al personal, TI y proveedores a mantener sus datos seguros, protegidos y utilizables. A medida que construya el marco, tenga en cuenta:
- Rendición de cuentas: ¿Quién será el principal proveedor de su estrategia y gobernanza de datos? Muchos están creando un nuevo puesto de Director de Datos (CDO) para desempeñar esta función.
- Transparencia: ¿Cómo se compartirán las normas de datos? ¿Qué información se recabará para influir en los cambios de las políticas?
- Cumplimiento: ¿Cómo sabrá que se cumplen las políticas y normas? ¿Cuál será la sanción por infringir una política de datos? ¿Cómo se asegurará de que sus políticas cumplen los mandatos normativos?
- Protección: ¿Qué hará para archivar, limpiar, modificar, proteger, hacer copias de seguridad, recuperar y eliminar datos? ¿Cómo sabe que tiene problemas con los datos? ¿Qué tipo de supervisión y alerta debe tener para las fuentes de datos entrantes (de Internet, por ejemplo) o salientes (se están transfiriendo datos ilegalmente o ha sido pirateado)?
Un modelo excelente para adoptar y adaptar es el de los profesores Richard Wang y Diane Strong Más allá de la exactitud: Qué significa la calidad de los datos para los consumidores económicos.
Fuente: Más allá de la precisión: What Data Quality Means to Data ConsumersOtra sugerencia sería echar un vistazo a los marcos y herramientas que ofrecen los proveedores en la nube, como Azure Purview. Esta herramienta destaca el linaje de sus datos desde el inicio hasta el archivo o la eliminación. De este modo, se construye un conjunto de fuentes de datos (almacenes de datos, lagos de datos) que son de confianza y soportan todos sus escenarios de gobernanza y auditoría. La mejor sugerencia es aprender de consultores de gestión e integración de datos que puedan ayudar a introducir herramientas y procesos que integren, supervisen, verifiquen, archiven y eliminen sus datos a través de sus modelos definidos de gestión de datos maestros y de calidad.
¿Por dónde empezar?
La primera pregunta que debemos hacernos es: ¿qué datos utilizamos? Utilizando una versión sencilla del mapeo de su trabajo (mapeo del flujo de valor) puede exponer todos los diversos datos de su organización, dónde y por qué se utilizan, y cómo se gestionan. Sin una evaluación, el modelo de gestión de datos maestros que cree no será adecuado, lo que repercutirá en las métricas de calidad que esperaba conseguir. Tras consultar con sus equipos de desarrollo y socios de gestión de datos, un diseño cuidadoso le ayudará a evitar las trampas de las malas prácticas de gestión de datos.
Su diseño dará lugar a una serie de pruebas piloto a medida que empiece a evaluar los datos que fluyen por su organización en términos de calidad y control. Los resultados de los pilotos ayudarán a estructurar el marco de gouvernance la calidad de los datos. Este marco ayudará a los equipos de desarrollo y a los usuarios a utilizar y avantage mejor los datos como fuente de información a través de herramientas, plantillas, políticas, formación y supervisión que englobarán su marco maestro gestion des données para cada jeu de données o fuente dentro de su empresa.
El CDO o los propietarios de los datos dentro de cada función empresarial deben formar parte del equipo de gobernanza y ayudar a implantar los derechos de acceso y la gestión asumiendo el papel de administradores de datos. Recuerde que TI sólo debe actuar como facilitador de la creación de marcos, almacenes o lagos de datos. Los administradores de datos del ámbito empresarial son responsables de sus datos, su uso y su mantenimiento.
Los datos son su activo crítico. Los proyectos piloto deben empezar por mejorar la calidad y el control de los datos críticos, los que se utilizan con más frecuencia o los que se actualizan con más frecuencia. Cada fuente de datos debe utilizar un enfoque piloto (de aprendizaje) basado en sus marcos de gobernanza de datos, calidad y gestión de datos maestros. De este modo, mantendrá su agilidad y flexibilidad y, a medida que madure sus prácticas, contribuirá a crear una empresa digital más viable, capaz de sobrevivir en un mercado global volátil.
Actividades y ciclo de vida de la calidad de datos
Estas actividades primarias regirán adecuadamente la calidad de sus datos:
- Adquisición: Obtención de los datos de una fuente, entrada manual o como salida de una aplicación.
- Analizar: Decidir si los datos cumplen las normas de calidad para su uso, normalmente se realiza a través de una aplicación que requiere los datos.
- Depuración: Eliminación de cualquier elemento de datos innecesario, manteniendo el tamaño al mínimo.
- Enriquecimiento: Adición de más datos para crear un conjunto de información, como múltiples fuentes de datos, para crear informes financieros.
- Supervisión y alerta: La actividad principal para mantener la seguridad, la protección y el cumplimiento.
- Reparar: Si un conjunto de datos se corrompe, este paso ayudará a corregir los problemas.
- Archivo o supresión: Almacenamiento de datos en función de los requisitos acordados.
- Informes: Podría tratarse de los informes o pantallas habituales que utiliza su empresa, pero en términos de calidad de datos, es el paso que informa y registra los problemas de datos, cómo se abordan y si los problemas se repiten.
Proceso de gestión de la calidad de los datos
Los procesos de gestión de la calidad de los datos variarán en función del uso que se haga de ellos en cada área de negocio. Por eso, su marco debe tener una visión holística, pero debe proporcionar tácticamente unos límites que permitan a cada equipo o actividad esforzarse por alcanzar la calidad necesaria para garantizar la seguridad, la facilidad, la conformidad, el coste y la competitividad. El mismo concepto se aplica al crear el marco de gestión de datos maestros, destacando las normas básicas de adquisición, uso, almacenamiento y acceso a los datos.
En los servicios financieros, la gestión de la calidad de los datos financieros engloba procesos especializados para gestionar la alimentación de datos de mercado, los registros de transacciones, la información de cuentas de clientes, los informes reglamentarios y las métricas de riesgo. Las instituciones financieras deben garantizar que los algoritmos de negociación reciban datos de precios precisos, que las carteras de clientes reflejen valoraciones en tiempo real y que los informes reglamentarios contengan información completa y verificada. La gestión de la calidad de los datos financieros también tiene en cuenta la naturaleza vertiginosa de los datos financieros, donde los retrasos de milisegundos o las imprecisiones pueden dar lugar a pérdidas significativas en la negociación o a infracciones de la normativa.
Gestión de la calidad de los datos empresariales
Crear un marco sólido de calidad de datos y datos maestros es un conjunto de acciones complejas pero necesarias. Sin el compromiso, el apoyo de la alta dirección y la financiación, la calidad de sus datos será sospechosa y puede dejarle vulnerable. Por lo tanto, examinar los datos a nivel de empresa y luego trabajar hacia abajo es un enfoque excelente para garantizar que lo que se necesita cumple con la calidad requerida.
Desplácese hacia la izquierda desde los clientes a los que presta servicio o desde los resultados de las tareas de trabajo internas para comprobar si los datos cumplen las expectativas. Las ideas de gestión de productos, DevOps, Agile e ITSM pueden servir de base para las políticas, normas y herramientas de gestión de datos de su empresa. Una vez establecidas, puede ampliar el alcance del uso de los datos para incluir el comportamiento de los clientes, la situación de la competencia, los problemas observados en otras empresas que usted puede resolver (ser el primero en llegar al mercado), etc.
La elaboración de perfiles de datos es como el trabajo detectivesco que se ve en las series de televisión. ¿Cumplen sus datos las normas exigidas y, si no es así, por qué? Será en estas incoherencias donde deberá limpiar y reparar los datos lo antes posible. Una forma de implementar la creación de perfiles de datos es mediante una aplicación o a través de un glosario empresarial de datos y términos utilizados en su empresa. Su socio consultor en gestión de datos puede proporcionarle plantillas y orientarle sobre la mejor manera de crear y controlar sus datos, de modo que siempre estén listos para ser utilizados por una tarea o respaldar una decisión basada en el resultado del análisis de datos.
Retos únicos de la gestión de la calidad de los datos financieros
Las instituciones financieras se enfrentan a distintos retos relacionados con la calidad de los datos que requieren enfoques especializados dentro de su marco general de gestión de datos, tales como:
- Integridad de los datos de mercado: La información sobre precios en tiempo real, volúmenes de negociación e indicadores de mercado debe validarse continuamente con múltiples fuentes para evitar operaciones o cálculos de riesgo erróneos.
- Datos de cumplimiento normativo: Los requisitos de información financiera exigen datos históricos precisos, pistas de auditoría completas y formatos estandarizados para el cumplimiento de la normativa.
- Datos financieros de los clientes: Los saldos de cuentas, los historiales de transacciones y la información crediticia requieren protocolos de seguridad mejorados al tiempo que se mantiene la accesibilidad para el servicio al cliente y los procesos de toma de decisiones.
- Agregación de datos de riesgo: Las instituciones financieras deben agregar los datos de riesgo a través de múltiples líneas de negocio, lo que requiere definiciones de datos coherentes, actualizaciones oportunas y una cobertura completa para cumplir con Basse III y otros requisitos reglamentarios.
Métricas de calidad de datos
Las métricas de calidad de datos sirven de barandilla para los marcos de calidad de datos y MDM. Los ratios sugeridos a continuación constituyen las medidas estándar de calidad de datos, pero pueden verse influidos por otras métricas empresariales que aplique en la actualidad.
- Relación entre datos y errores: Cuántos problemas hay para cada conjunto de datos, almacén de datos o lago de datos según los errores de aplicación o las alertas de seguridad.
- Número de valores vacíos: Cuántos campos obligatorios vacíos tiene, ya que provocarán incidencias con los datos o llevarán a una mala toma de decisiones.
- Tiempo de obtención de valor de los datos: ¿Cuánto tiempo se tarda en utilizar los datos para tomar una decisión, resolver un problema o realizar una tarea?
- Tasa de error en la transformación de datos: Las aplicaciones transforman datos con frecuencia y, si se realizan de forma incorrecta, requerirán atención inmediata
- Costes de almacenamiento o gestión de datos: ¿Está aumentando el coste del archivo o mantenimiento de datos, y por qué?
Herramientas de gestión de la calidad de los datos
Su empresa, independientemente de su tamaño, tiene demasiados datos para gestionarlos manualmente.. El software es necesario para realizar acciones diarias y, en muchos casos, en tiempo real para:
- Perfiles de datos: ¿Son los datos correctos para la tarea?
- Limpieza, análisis sintáctico, desduplicación y eliminación.
- Archivo, copia de seguridad, recuperación, integración y sincronización a petición o en un momento determinado.
- Versionado de datos por aplicación y uso del producto.
- distribution des données a fuentes externas o almacenes de datos.
- Tareas de calidad de datos mediante reglas de Inteligencia Artificial (IA) y Aprendizaje Automático (AM).
- Control continuo de los datos.
Resumen de la gestión de la calidad de los datos
Sus datos son su principal activo después de las personas. Sin datos de calidad, sus esfuerzos por crear y gestionar productos o servicios, tomar decisiones, ayudar a los clientes, mantener la competitividad y la relevancia y cumplir las obligaciones normativas serán difíciles, si no imposibles.
Considere el coste de la insuficiencia de datos, como se ve en este gráfico de Ringlead:
La calidad de los datos fluctuará a medida que cambie su negocio, de forma similar a la salud de su propio cuerpo, ya que las condiciones se alteran en función de lo que esté haciendo o sintiendo. La gobernanza y los marcos de gestión de la calidad de los datos financieros y de MDM se beneficiarán de una visión holística de la gestión de datos empresariales, lo que dará lugar a buenas prácticas de gestión de la calidad de los datos específicas para su organización. El objetivo es establecer métricas de calidad de datos SMART que ayuden a su organización a hacer bien su trabajo, al tiempo que se le alerta si surge algún problema.
Sus clientes se darán cuenta si los datos son insuficientes o erróneos o se utilizan mal, y su reacción puede causar daños irreparables o dar lugar a multas como las del GDPR, especialmente para las instituciones financieras. Su CDO puede ayudar a crear el marco de gobernanza, pero la calidad de los datos es función del personal y los proveedores. Por último, la gestión de la calidad de los datos debe ser objeto de debate y preocupación a nivel de la junta directiva, lo que establece la cultura de la calidad de los datos como parte de la función de todos, incluidos los proveedores en los que confía.
