¿Qué es un contrato de datos?

Un contrato de datos es un acuerdo formal entre un productor de datos y un consumidor de datos que define el esquema, los estándares de calidad, la titularidad, los acuerdos de nivel de servicio (SLA) de entrega y las condiciones de uso de un conjunto de datos concreto, de modo que los equipos posteriores sepan exactamente qué van a recibir y los productores sepan exactamente qué están obligados a entregar.

Piensa en ello como un contrato de API, pero para datos. Mientras que un contrato de API regula cómo se comunican los sistemas de software, un contrato de datos regula cómo fluyen los datos entre equipos, flujos de trabajo y sistemas.

Definición del contrato de datos

Un contrato de datos es un documento legible por máquina —normalmente redactado en YAML según el Estándar de Contratos de Datos Abiertos (ODCS)— que especifica lo que un productor de datos se compromete a entregar y lo que un consumidor de datos puede esperar recibir. De este modo, las expectativas quedan explícitas, versionadas y exigibles antes de que los problemas lleguen a la fase de producción.

Cuando se integra un contrato de datos en un proceso, los cambios en el esquema activan alertas en lugar de provocar fallos silenciosos; las infracciones de calidad se detectan en el origen en lugar de descubrirse en un informe trimestral; y la responsabilidad se documenta en lugar de quedar relegada a la memoria institucional.

Qué incluye un contrato de datos

Un contrato básico puede comenzar con los aspectos fundamentales, el esquema y las normas de calidad. A medida que el programa va madurando, se van añadiendo los acuerdos de nivel de servicio (SLA), las condiciones de uso y los datos del servidor.

Por qué son importantes los contratos de datos

Sin un contrato de datos, un cambio en el esquema de un sistema fuente provoca, de forma silenciosa, errores en los informes posteriores. Un campo del que dependen los analistas desaparece sin previo aviso. Un proceso de aprendizaje automático recibe valores nulos para una característica que utiliza como predictor clave y nadie se da cuenta hasta que el rendimiento del modelo se deteriora en producción.

Los contratos de datos evitan estos fallos al hacer que la interfaz entre productores y consumidores sea explícita y exigible. Convierten la fiabilidad de los datos de un problema reactivo —que se descubre cuando algo falla— en un compromiso proactivo definido antes de que los datos se transfieran.

Las organizaciones utilizan los contratos de datos para:

• Evita los fallos silenciosos en los esquemas. La validación de contratos detecta los cambios que rompen la compatibilidad antes de que lleguen a los consumidores posteriores.
• Garantizar la calidad de los datos desde el origen.Las reglas de calidaddefinidas en el contrato se aplican automáticamente durante la ejecución del proceso.
• Titularidad del documento.Cadacontrato cuenta con un responsable de su elaboración y un responsable de su gestión, que responden de su contenido.
• Facilita un autoservicio fiable.Los usuariospueden encontrar contratos en el catálogo de datos y trabajar con los datos sin necesidad de pedir garantías al equipo responsable de su generación.
• Apoyar la gobernanza y el cumplimiento normativo. Los contratos proporcionan la documentación que las auditorías normativas exigen en materia de trazabilidad de los datos, calidad y normas de tratamiento.

Contrato de datos frente a conceptos relacionados

Contrato de datos frente a regla de calidad de datos: Una regla de calidad de los datos es una comprobación de validación concreta. Un contrato de datos es un acuerdo más amplio que incluye reglas de calidad, además del esquema, la titularidad, los acuerdos de nivel de servicio (SLA) y las condiciones de uso. Las reglas de calidad indican si los datos son correctos. Un contrato de datos proporciona toda la información sobre los datos y lo que el productor se compromete a cumplir.

Contrato de datos frente a SLA: Un SLA abarca los compromisos de entrega: cuándo llegan los datos, su grado de actualidad y su disponibilidad. Un contrato de datos incluye el SLA, además del esquema, los estándares de calidad, la titularidad y las condiciones de uso. Un SLA es uno de los componentes de un contrato de datos.

Contrato de datos frente a catálogo de datos: Un catálogo de datos documenta qué activos de datos existen y sus metadatos. Un contrato de datos formaliza los compromisos que asume un productor respecto a un activo específico. Una entrada del catálogo describe un conjunto de datos; un contrato de datos regula su entrega. Los contratos de datos suelen publicarse en el catálogo para que los usuarios puedan encontrarlos.

Contrato de datos frente a política de gobernanza de datos: Una política de gobernanza de datos establece normas a nivel de toda la organización sobre cómo se gestionan los datos. Un contrato de datos aplica esas normas a un conjunto de datos concreto que se intercambia entre un productor y un consumidor específicos. Las políticas son de carácter organizativo; los contratos se refieren a conjuntos de datos específicos.

Los contratos de datos en la práctica

El problema que resuelven:Unequipo de ingeniería de datos cambia el nombre de una columna de la tabla de pedidos. Fallan tres flujos de datos posteriores. Dos paneles de control muestran valores nulos. Un flujo de características de aprendizaje automático lleva 48 horas recibiendo ceros sin que nadie se haya dado cuenta. El problema se descubre cuando un vicepresidente pregunta por qué han bajado las cifras de ingresos.

Cuando existe un contrato de datos: Ese mismo cambio de nombre provoca un error de validación del contrato antes de que se aplique el cambio. El contrato especifica que el nombre original de la columna es obligatorio. El sistema identifica a todos los consumidores posteriores que dependen de ella. El equipo coordina el cambio, actualiza la versión del contrato y lo implementa con una ruta de migración. Ningún proceso de datos se ve interrumpido.