¿Qué es el tiempo de inactividad de los datos?

Definición de tiempo de inactividad de los datos

El tiempo de inactividad de los datos se refiere a cualquier periodo durante el cual los datos son inexactos, faltan, están incompletos, se retrasan o no están disponibles para su uso. Este tiempo de inactividad puede afectar a los análisis internos, los cuadros de mando orientados al cliente, los sistemas automatizados de toma de decisiones o los canales de aprendizaje automático.

A diferencia de los tiempos de inactividad de los sistemas tradicionales, que suelen ser claramente cuantificables, los tiempos de inactividad de los datos pueden ser silenciosos e insidiosos. Es posible que los flujos de datos sigan funcionando y que los paneles de control sigan cargándose, pero la información que se procesa o se muestra puede ser errónea, incompleta o estar desactualizada. Esto lo hace aún más peligroso, ya que los problemas pueden pasar desapercibidos hasta que causen daños importantes.

3 causas de la interrupción del servicio de datos

Comprender las causas fundamentales de la interrupción del servicio de datos es fundamental para prevenirla. Por lo general, estas causas se pueden clasificar en tres grandes categorías:

1. Fallos técnicos

Se trata de problemas de infraestructura o del sistema que impiden que los datos se recojan, procesen o entreguen correctamente. Algunos ejemplos son:

• Procesos de extracción, transformación y carga (ETL) interrumpidos.
• Caídas del servidor o interrupciones de la nube.
• Cambios de esquema que rompen las dependencias de datos.
• Problemas de latencia o tiempo de espera en API y fuentes de datos.

Incluso los sistemas de datos más sofisticados pueden sufrir tiempos de inactividad si no se mantienen y supervisan adecuadamente.

2. Errores humanos

El ser humano suele ser el eslabón más débil de cualquier sistema, y los sistemas de datos no son una excepción. Los errores más comunes son:

• Trabajos o scripts mal configurados.
• Borrar o modificar datos involuntariamente.
• Lógica incorrecta en las transformaciones de datos.
• Falta de comunicación entre los equipos de ingeniería y de negocio.

Sin los controles y procesos adecuados, incluso un pequeño error puede causar graves problemas de fiabilidad de los datos.

3. Factores externos

A veces, sucesos fuera del control de la organización contribuyen al tiempo de inactividad de los datos. Por ejemplo:

• Fallos de terceros proveedores.
• Cambios normativos que afecten al flujo o almacenamiento de datos.
• Incidentes de ciberseguridad, como ataques de ransomware.
• Catástrofes naturales o cortes de electricidad.

Aunque no siempre se pueden evitar, es posible mitigar el impacto de estos sucesos con los preparativos y las redundancias adecuadas.

Cómo evitar la pérdida de datos

Prevenir el tiempo de inactividad de los datos requiere un enfoque holístico que combine tecnología, procesos y personas.

Configura la observabilidad de los datos en tus conjuntos de datos más importantes

Elige entre 10 y 20 tablas de las que dependan tus paneles de control, informes y modelos de IA más importantes. Configura alertas en cada tabla para:

• Actualización: la tabla no se ha actualizado en el plazo previsto.
• Volumen: el número de filas desciende o se dispara más allá de su rango habitual.
• Esquema: se añade, se elimina o se cambia el tipo de una columna.
• Distribución: los valores se desvían de su patrón histórico.

Utiliza la detección de anomalías junto con umbrales estáticos para detectar los cambios para los que nadie ha creado una regla. Envía cada alerta al responsable designado del conjunto de datos afectado, en lugar de a un canal compartido. Silencia las alertas durante los periodos de mantenimiento programado para evitar falsas alarmas.

Datos de prueba en tus procesos

Incorpora comprobaciones en cada paso de la transformación para que los datos erróneos conocidos nunca pasen a la siguiente fase:

• Las pruebas de esquema confirman que las columnas y los tipos de datos son los esperados.
• Las comprobaciones de valores nulos y de unicidad detectan claves que faltan y registros duplicados.
• Las pruebas de rango y de referencias detectan valores imposibles y filas huérfanas.
• Las comprobaciones de vigencia confirman que los datos de origen se recibieron antes de que se ejecutara el proceso.

Ejecuta estas pruebas con dbt o Great Expectations como parte de cada trabajo. Cuando una prueba falle, detén el trabajo o pon el lote en cuarentena, en lugar de pasar las filas erróneas a las etapas posteriores.

Evita las rupturas de esquema con los contratos de datos

Empieza por todas aquellas fuentes cuyos cambios en el esquema hayan provocado algún fallo en los últimos 90 días. Establece un contrato de datos para cada una de ellas en el que se definan el esquema, las expectativas de actualización, las normas de calidad y el responsable. Ejecuta comprobaciones de los contratos en la integración continua (CI). De este modo, un cambio que provoque un fallo no superará la revisión antes de su lanzamiento, en lugar de que se detecte después de que se haya estropeado un panel de control.

Los productos y contratos de datos de Actian se basan en el estándar Open Data Contract Standard (ODCS) v3.1.0. Los equipos pueden optar por un enfoque «contrato primero», definiendo las especificaciones antes de transferir los datos, o por un enfoque «datos primero», integrando conjuntos de datos existentes sin necesidad de modificar los flujos de trabajo.

Reforzar la gobernanza de los datos

• Asigna un responsable concreto a cada conjunto de datos y proceso crítico, e incluye a dicho responsable en la cadena de alerta.
• Catalogar y clasificar los datos para que los equipos sepan qué hay disponible y quién depende de ellos.
• Realiza una comprobación del impacto en el linaje de datos antes de implementar cualquier cambio en el esquema o la lógica.
• Guarda las definiciones empresariales en un glosario compartido para que la lógica de transformación se ajuste a la forma en que la empresa define cada término.
• Mantén controles de acceso, registros de auditoría y control de versiones para que se pueda rastrear cada cambio.

El glosario y la comprobación del linaje subsanan una de las causas más habituales de los errores humanos: la falta de comunicación entre los equipos de ingeniería y los de negocio. Cuando la gobernanza se integra en la cultura de datos de una organización, los errores y los tiempos de inactividad se reducen y resultan más fáciles de resolver.

Incorporar redundancia y alta disponibilidad en los flujos de trabajo

• Reintentar automáticamente los fallos transitorios y hacer que los trabajos sean idempotentes, de modo que al volver a ejecutarlos nunca se dupliquen los datos.
• Envía los registros fallidos a una cola de mensajes fallidos en lugar de descartarlos o hacer que falle la carga completa.
• Configura la conmutación por error para las fuentes críticas, de modo que una fuente secundaria tome el relevo cuando la principal se retrase o no esté disponible.
• Replica los conjuntos de datos críticos en distintas regiones o entornos en los que el coste de una interrupción del servicio justifique dicha replicación.

Hacer una copia de seguridad de los datos y probar la recuperación

• Establezca un objetivo de tiempo de recuperación (RTO) y un objetivo de punto de recuperación (RPO) para cada conjunto de datos crítico, en función del tiempo que la empresa pueda esperar y del volumen de pérdida de datos que esté dispuesta a aceptar.
• Sigue la regla 3-2-1: tres copias de tus datos, dos en dispositivos locales diferentes y una fuera de las instalaciones o en la nube.
• Comprueba las restauraciones según un calendario. Una copia de seguridad sin comprobar es una suposición.
• En el caso de las tablas de Lakehouse, utiliza instantáneas o el «viaje en el tiempo» en formatos como Apache Iceberg y Delta Lake para revertir una carga errónea.

Supervisar y optimizar el rendimiento del proceso

Un trabajo lento provoca una interrupción en el servicio de datos igual que un trabajo fallido: los datos llegan con retraso. Sigue estos pasos para identificar y resolver los problemas de rendimiento antes de que provoquen retrasos:

• Realiza un seguimiento de la duración de los trabajos y de la latencia de extremo a extremo en función del nivel de actualidad que requiera cada consumidor de datos.
• Configura alertas para los tiempos de espera de la API y de las fuentes, que a menudo se manifiestan como cargas parciales en lugar de fallos totales.
• Revisa periódicamente los trabajos más lentos y optimiza las consultas, la partición o la programación antes de que no cumplan los plazos establecidos.

Realizar revisiones periódicas de salud y llevar a cabo tareas de mantenimiento

• Revisa periódicamente el estado de los conjuntos de datos críticos: pruebas fallidas, alertas pendientes, objetivos de nivel de servicio (SLO) no cumplidos y conjuntos de datos sin responsable.
• Valida los flujos de trabajo tras cada cambio en las fases previas.
• Utiliza la integración y el despliegue continuos para que cada cambio en el proceso de integración se someta a pruebas antes de pasar a producción.
• Programa las actualizaciones y los parches durante las horas de menor actividad e informa con antelación a los usuarios de los datos sobre los cortes de servicio previstos.

Al igual que la infraestructura física, la de datos necesita cuidados periódicos para seguir siendo fiable.

Crear un proceso de respuesta ante incidentes relacionados con los datos

Aun así, seguirán produciéndose algunos incidentes. Un proceso claro, compuesto por cuatro pasos, permite que sean breves y evita que se repitan:

1. Evalúa el incidente. Confirma su alcance, identifica los activos afectados en las fases posteriores mediante el análisis de linaje y notifica a los usuarios.
2. Remitir el asunto al responsable del conjunto de datos, estableciendo un plazo de respuesta concreto para los activos críticos.
3. Realiza un análisis de las causas fundamentales tras cada incidente grave.
4. Convierte cada causa raíz en una nueva prueba, un nuevo proceso de supervisión o una nueva regla contractual para que no vuelva a producirse el mismo incidente.

Si quieres seguir un procedimiento paso a paso, consulta cómo clasificar los incidentes relacionados con los datos.

Más sobre la observabilidad de los datos como solución

La observabilidad de los datos se está convirtiendo en una función fundamental en las arquitecturas de datos modernas. Desplaza el enfoque de la supervisión pasiva hacia el análisis activo y la predicción.

Las plataformas de observabilidad proporcionan:

• Detección automática de anomalías.
• Alertas de desviación del esquema o de falta de datos.
• Seguimiento del linaje de datos para comprender las repercusiones posteriores.
• Diagnósticos detallados para una resolución más rápida.

Al implantar herramientas de observabilidad, las organizaciones obtienen información en tiempo real sobre su ecosistema de datos, lo que les ayuda a pasar de la extinción reactiva a la gestión proactiva de la fiabilidad.

Medición de los avances en la reducción del tiempo de inactividad de los datos

Para demostrar que se está reduciendo el tiempo de inactividad de los datos, necesitas una cifra que te sirva de referencia. Una fórmula muy utilizada es la siguiente:

Tiempo de inactividad de los datos = número de incidencias × (tiempo de detección + tiempo de resolución)

Establece una referencia basada en los incidentes de los últimos 90 días antes de realizar cualquier cambio. A continuación, realiza un seguimiento mensual de estas métricas de observabilidad de datos:

Establece los SLO para cada conjunto de datos crítico. Un SLO define el nivel de fiabilidad del que dependen los usuarios. Por ejemplo: «La tabla de pedidos se actualiza a las 6 de la mañana todos los días, y el número de filas debe estar dentro de un margen del 5 % respecto a la media semanal más reciente». Realiza un seguimiento de la frecuencia con la que se cumple cada SLO y revisa cada incumplimiento en tu proceso de gestión de incidencias.

Para elaborar el análisis de viabilidad de la resolución del problema, multiplica las horas de inactividad por el coste que supone para tu empresa una hora de inactividad de un panel de control, un informe o un modelo de IA que no funcione correctamente.

¿Qué estrategia aplicar primero?

Si necesitas empezar a reducir el tiempo de inactividad de los datos a partir de mañana, no elijas una estrategia de una lista. Elígelo basándote en tu propio historial de incidentes.

Paso 1: Realiza una auditoría de los incidentes de los últimos 90 días

Recopila todos los incidentes relacionados con los datos de los últimos 90 días a partir de los tickets, los hilos de Slack y los análisis posteriores. Para cada uno de ellos, anota dos cosas: cuál fue la causa y quién lo detectó primero.

Paso 2: Haz coincidir tu patrón con un punto de partida

Paso 3: Comprueba que has elegido la estrategia adecuada

Comprueba el KPI al que apunta tu estrategia inicial al cabo de 30 días. Si ha mejorado, amplía la estrategia al siguiente nivel de conjuntos de datos. Si no ha mejorado, revisa cómo has clasificado tus incidentes. Las causas pueden diferir de lo que habías supuesto inicialmente, así que utiliza la tabla anterior para identificar una estrategia inicial más adecuada.

Actian ayuda a organizar los datos y a reducir el tiempo de inactividad relacionado con ellos

La interrupción del servicio de datos supone una grave amenaza para la eficiencia operativa, la toma de decisiones y la confianza en las organizaciones modernas. Aunque sus causas son diversas, sus consecuencias son siempre perjudiciales. Al adoptar herramientas como la observabilidad de datos y soluciones como la plataforma Actian Data Intelligence, las empresas pueden detectar problemas con mayor rapidez, prevenir fallos y crear sistemas de datos resilientes.

Actian ofrece una gama de productos y soluciones para ayudar a las organizaciones a gestionar sus datos y reducir o evitar el tiempo de inactividad de los mismos. Entre las soluciones y capacidades clave se incluyen:

• Plataforma Actian Data Intelligence: Una plataforma nativa en la nube que admite análisis en tiempo real, integración de datos y gestión de canalizaciones en entornos híbridos.
• Visibilidad de extremo a extremo: Supervise la frescura de los datos, el volumen, los cambios de esquema y el rendimiento en una interfaz unificada.
• Herramientas de recuperación automatizadas: Detecte y resuelva problemas rápidamente con alertas inteligentes y flujos de trabajo de reparación.
• Acceso seguro y controlado a los datos: Las funciones de gobernanza integradas ayudan a garantizar la integridad de los datos y el cumplimiento de la normativa.

Las organizaciones que utilizan Actian pueden mejorar la fiabilidad de los datos, acelerar los análisis y eliminar las costosas interrupciones provocadas por datos poco fiables. Reserva una demostración de la plataforma Actian para comprobarlo por ti mismo.

Acerca del autor

Acerca de Actian Corporation

Actian permite a las empresas gestionar y controlar los datos a gran escala con total confianza. Las organizaciones confían en las soluciones de gestión e inteligencia de datos de Actian para optimizar entornos de datos complejos y acelerar la entrega de datos preparados para la IA. Diseñadas para ofrecer flexibilidad, las soluciones de Actian se integran a la perfección y funcionan de forma fiable tanto en entornos locales como en la nube y en entornos híbridos. Obtén más Acerca de Actian, la división Acerca de Actian datos e IA de HCL Software, en actian.com.