Elementos de datos críticos: los datos que tu empresa no puede permitirse que sean erróneos

Son las 15:00 horas de un martes. El servicio de atención al cliente empieza a recibir llamadas. Los pedidos realizados esa misma mañana aún no se han enviado:

• El departamento de operaciones comprueba el inventario y los recuentos no cuadran.
• El departamento de Finanzas revisa su panel de control y comprueba que el reconocimiento de ingresos de hoy no cuadra.

Ahora todo el mundo está intentando averiguar qué ha pasado.

Para cuando el equipo localiza el problema, los datos erróneos ya han pasado por varios sistemas. La gente realiza consultas, rastrea los flujos de datos, revisa informes e intenta averiguar qué hay que corregir. Los clientes están frustrados y varios equipos han perdido toda la tarde por un problema que comenzó horas antes.

¿Y si el problema se hubiera detectado a las 10 de la mañana?

Mejor aún, ¿y si tu equipo ya supiera que los datos afectados son críticos, cómo debería ser la situación «óptima», quién es el responsable de ellos y qué procesos de negocio se verían afectados si fallaran?

Ahí es donde entran en juego los elementos de datos críticos.

¿Qué es un elemento de datos crítico?

Un «elemento de datos crítico» (CDE, por sus siglas en inglés) es aquel dato que reviste tal importancia para la empresa que un error en el mismo puede acarrear consecuencias reales.

Piensa en los datos que hay detrás de los pagos, las cuentas de los clientes, la información financiera, las presentaciones reglamentarias, el inventario o la gestión de pedidos. No todos los ámbitos conllevan el mismo nivel de riesgo.

Conocer el idioma preferido de un cliente puede resultar útil. Sin embargo, disponer de un identificador de cliente que vincule a esa persona con sus pedidos, pagos e historial de cuenta es mucho más importante. Esa diferencia es fundamental.

La identificación de los CDE ayuda a las organizaciones a centrar su atención en los datos que tienen mayor impacto en las operaciones empresariales, los requisitos normativos, la experiencia de los clientes y la toma de decisiones.

Pero identificar un CDE es solo el principio.

Definir qué se entiende por «bueno»

El hecho de que algo se considere «crítico» no indica si los datos están realmente en buen estado.

Cada CDE necesita unas expectativas cuantificables basadas en el uso que la empresa hace de él. Dichas expectativas pueden referirse a la exhaustividad, la validez, la unicidad, la coherencia, la puntualidad o la conciliación.

Veamos algunos ejemplos:

• Un importe del pago puede que deba estar dentro de un rango aceptado, utilizar la precisión y la moneda adecuadas, y coincidir con los registros de las transacciones.
• Un identificador de cliente debe ser completo, único y estar correctamente vinculado entre los distintos sistemas.
• Una fecha de negociación debe cumplir con un formato aceptado, caer en una fecha hábil permitida y llegar dentro de un plazo específico.
• Un código postal puede que tenga que seguir el formato previsto y corresponder al país asociado.
• Un número de cuenta puede que tenga que cumplir requisitos de formato, integridad y protección de datos.

Aunque no cumpla esas expectativas, un CDE sigue siendo importante, pero los equipos no disponen de un método sistemático para determinar si es apto para su uso.

Protege también los datos relacionados con el CDE

Un campo de datos puede cumplir todas las reglas de validación y, aun así, resultar inutilizable.

Imagina que todos los importes de los pagos de un conjunto de datos tienen un formato perfecto y se encuentran dentro del rango esperado. Estupendo. Pero, ¿y si el conjunto de datos llegara con seis horas de retraso? ¿O si solo contuviera la mitad de los registros que suele tener? ¿O si un cambio en el esquema de una etapa anterior impidiera que llegara a la aplicación que lo necesita?

Los valores individuales pueden parecer correctos, pero la empresa sigue teniendo un grave problema con los datos.

Por eso, proteger los CDE requiere varias capas de supervisión. Los equipos necesitan tener una visión clara del estado de los conjuntos de datos, incluyendo su actualidad, volumen, integridad y cambios en el esquema. También deben comprender el comportamiento de las columnas, como las tasas de valores nulos, las distribuciones, los rangos y las desviaciones inesperadas.

Las reglas de negocio añaden un nivel adicional al verificar los valores aceptados, las relaciones, los formatos y las conciliaciones. La supervisión del flujo de datos ayuda a identificar fallos o cambios en los sistemas situados tanto antes como después en el proceso que transfieren los datos.

En conjunto, estas señales ofrecen una visión mucho más clara de si los datos críticos están realmente listos para que la empresa los utilice.

Sigue los datos críticos allá donde vayan

Los datos críticos rara vez permanecen en un solo lugar.

Un identificador de cliente puede comenzar en un CRM, pasar por un proceso de integración, llegar a un almacén de datos, transformarse en un producto de datos y, finalmente, aparecer en un panel de control ejecutivo o alimentar una aplicación de inteligencia artificial.

A lo largo del proceso, podría cambiarse de nombre, transformarse, agregarse o copiarse.

Si la supervisión solo se lleva a cabo en la fuente original, los problemas que surjan más adelante en ese proceso pueden pasar desapercibidos. Sin embargo, supervisar cada copia con los mismos controles puede generar ruido innecesario.

Aquí es donde el linaje cobra importancia.

Lineage ayuda a los equipos a comprender el recorrido de un CDE e identificar los puntos en los que su significado, valor o facilidad de uso podrían verse alterados. De este modo, los equipos pueden aplicar controles allí donde más importan.

La criticidad se adapta a los datos, en lugar de limitarse a una sola columna de un único sistema.

Los CDE evolucionan a medida que cambia el negocio

Una lista CDE no debería permanecer inalterada en un repositorio de gobernanza durante años. Aparecen nuevas normativas. Los productos cambian. Nuevos informes y modelos de inteligencia artificial comienzan a utilizar los datos existentes. Se rediseñan los flujos de trabajo. Los procesos de negocio evolucionan.

Esos cambios pueden influir tanto en qué datos se consideran críticos como en cómo se define un comportamiento saludable.

Las reglas fijas siguen siendo importantes, sobre todo cuando la empresa ya sabe exactamente qué debe o no debe ocurrir. La observabilidad de los datos aporta una capa adicional muy útil, ya que permite aprender los patrones normales y ayuda a los equipos a identificar cambios inesperados o desviaciones.

Esto significa que las organizaciones deberían revisar periódicamente las designaciones de CDE, las expectativas de calidad, los umbrales, la titularidad, la cobertura del historial y el seguimiento.

La protección continua requiere que los controles sobre los datos críticos evolucionen al mismo tiempo que los propios datos.

Una alerta tiene que llevar a alguna parte

Detectar un problema es útil. Saber qué hacer a continuación es lo que convierte la detección en acción.

Cuando un CDE no cumple con una expectativa, los equipos deberían poder responder rápidamente a preguntas como:

• ¿A quién pertenecen estos datos?
• ¿Qué expectativa no se cumplió?
• ¿Cuál es la gravedad del problema?
• ¿Qué registros se ven afectados?
• ¿Qué pasó antes?
• ¿Qué informes, aplicaciones o procesos dependen de estos datos?
• ¿Quién tiene que saberlo?
• ¿Cómo comprobaremos que los datos se han recuperado?

En el caso de los datos críticos, una alerta debe incluir suficiente contexto empresarial y técnico para que las personas adecuadas puedan comprender el problema y actuar en consecuencia.

Esa relación entre la detección, la responsabilidad, el origen y el impacto en el negocio puede reducir considerablemente el tiempo que se dedica a averiguar qué ha ocurrido antes de que se pueda empezar a solucionarlo.

Evalúa si tu programa CDE está funcionando realmente

Hay otra pregunta que merece la pena plantearse: ¿Cómo sabes que tus datos críticos están protegidos?

Una simple lista de CDE no responde a esa pregunta.

Las organizaciones pueden empezar por analizar medidas prácticas, como el porcentaje de CDE de alta prioridad sometidos a supervisión activa, si existen controles en puntos clave de su cadena de distribución y cuántos incidentes se detectan antes de que los datos afectados lleguen a los usuarios de la empresa.

Los equipos también pueden hacer un seguimiento del tiempo medio que se tarda en detectar y resolver problemas, identificar conjuntos de datos críticos sin una responsabilidad clara ni expectativas definidas, y analizar con qué frecuencia la monitorización genera ruido en lugar de resultados útiles.

Estas medidas contribuyen a que el debate pase de «¿Hemos documentado nuestros datos críticos?» a «¿Los estamos protegiendo realmente?».

De vuelta a aquella mañana de martes

Ahora imagina de nuevo la escena inicial.

La cantidad de existencias y el importe de las transacciones ya se han identificado como CDE. Para cada una de ellas se han definido los requisitos en materia de exhaustividad, validez, puntualidad y conciliación.

A las 10 de la mañana, el volumen de registros cae repentinamente por debajo de su rango habitual.

Ese cambio provoca un incidente. El equipo puede ver de inmediato que los datos afectados son críticos para el negocio, quién es su responsable, qué expectativa no se ha cumplido y de qué procesos de cumplimiento y financieros dependen.

En lugar de descubrir el problema a las 15:00 h porque los clientes están llamando, el equipo dispone de la información necesaria para investigarlo horas antes.

Cuanto antes se detecte el problema, mejor. Si se añade el contexto empresarial y técnico adecuado, los equipos podrán comprender rápidamente qué es lo importante, quién debe actuar y qué podría verse afectado.

Aunar el contexto empresarial y la observabilidad de los datos

La supervisión técnica ayuda a los equipos a comprender si los sistemas, los conjuntos de datos y los flujos de trabajo se comportan según lo previsto.

El CDE les ayuda a comprender en qué ámbitos los fallos suponen un mayor riesgo para el negocio, qué expectativas son las más importantes y con qué urgencia debe responder la organización.

La combinación de estas dos perspectivas da lugar a un enfoque más sólido para proteger los datos críticos. La detección basada en el comportamiento puede poner de manifiesto cambios inesperados. Las reglas de calidad explícitas pueden validar los requisitos empresariales conocidos. El linaje puede mostrar por dónde circulan los datos críticos y qué depende de ellos. La atribución de responsabilidad y los flujos de trabajo para incidentes pueden ayudar a los equipos a actuar cuando algo sale mal.

El resultado es una forma más práctica de gestionar los datos que tu empresa menos puede permitirse que se equivoquen.

¿Quieres descubrir cómo funciona esto en la práctica? Descubre cómo Actian combina la inteligencia de datos y la observabilidad de los datos para conectar el contexto empresarial en todo tu entorno de datos.

Acerca del autor

Acerca de Thaise Skogstad

Thaise Skogstad es directora de marketing de producto en Actian, donde dirige el marketing de la plataforma de inteligencia de datos. Aporta su experiencia en marketing de producto, gestión de datos, análisis e inteligencia artificial, adquirida en sus puestos anteriores en Great Expectations, data.world, Anaconda y 3M. Su labor se centra en ayudar a las empresas a aprovechar los datos y el análisis para generar un impacto positivo en el negocio.