Cómo limpiar datos de la empresa desordenados o incoherentes

Señales de que los datos de tu empresa necesitan una limpieza

Tus datos necesitan una limpieza en el momento en que un mismo dato empiece a significar dos cosas diferentes, dependiendo del sistema que consultes ese día.

• Registros duplicados correspondientes a un mismo cliente, producto o transacción, normalmente con variaciones ortográficas o abreviaturas ligeramente diferentes.
• Campos en blanco o que faltan en lugares que siempre deben rellenarse.
• El mismo dato muestra valores diferentes según el sistema o el informe del que se extraiga.
• Formatos que varían de un registro a otro: fechas escritas de tres formas diferentes, números de teléfono con y sin prefijos, y uso inconsistente de mayúsculas y minúsculas en los nombres de las empresas.
• Hay equipos que dedican tiempo real de las reuniones a comprobar manualmente las cifras antes de que nadie se atreva a dar por buenas en voz alta.
• Integraciones que fallan o que requieren una corrección manual cada vez que dos sistemas intentan sincronizarse.

Establece primero tus estándares de calidad de los datos

Antes de modificar ningún registro, determina qué es «limpio» para cada campo de tu esquema. Saltarse este paso convierte la limpieza en un objetivo inalcanzable, lo que provoca que los errores vuelvan a aparecer en cuanto los miembros del equipo olvidan por qué realizaron una corrección.

• Definir los criterios aceptados: Establezca normas explícitas para cada campo, incluyendo formatos válidos, porcentajes de completitud exigidos y rangos numéricos aceptables.
• Mantener un diccionario de datos: Publica una guía de referencia sencilla en la que se indiquen los nombres de cada campo, sus valores permitidos y su responsable designado.
• Establecer una política de datos históricos: Determina cómo gestionar los datos históricos anteriores a las nuevas normas. Aplica parches de forma retroactiva a los campos críticos para el negocio y mantén las entradas heredadas no esenciales con carácter de excepción.

Analiza y evalúa con qué cuentas

El análisis debe realizarse antes de la corrección, no después. Revisa todos los campos antes de tocar nada, para que sepas exactamente cuál es la gravedad real del problema, en lugar de hacer conjeturas basadas en una reunión poco fructífera.

• Realiza un análisis de perfil antes de corregir nada: cuenta los valores nulos, los duplicados y los valores fuera de rango por campo.
• Averigua el origen real de cada problema recurrente —ya sea un formulario concreto, una integración defectuosa o un sistema heredado— en lugar de limitarte a catalogar los síntomas.
• Indica qué campos son fundamentales para el negocio y cuáles es seguro dejar sin completar por el momento.

Si te ves obligado a corregir el mismo dato duplicado o el mismo formato de fecha incorrecto más de una vez, eso es señal de que has solucionado el síntoma en lugar de eliminar la causa.

Estandarizar los formatos y las convenciones de los campos

La estandarización significa que todos los sistemas coinciden en cómo debe presentarse una fecha, un nombre o un número.

• Convierte todos los campos de fecha a un único formato en todos los sistemas con los que interactúe.
• Normaliza los nombres de empresas y personas para que sigan una única convención de mayúsculas y sufijos.
• Guarda los números como números, no como texto, para que los cálculos posteriores no fallen sin que te des cuenta.
• Ajusta las unidades de medida y la moneda antes de fusionar los conjuntos de datos.

Una fecha almacenada como texto en un sistema y como marca de tiempo en otro puede superar todas las comprobaciones de validación y, aun así, provocar un error en el informe que las une.

Eliminar registros duplicados

• Define qué se considera un duplicado por entidad antes de ejecutar cualquier herramienta de comparación: una dirección de correo electrónico compartida no siempre significa que se trate de la misma empresa.
• Utiliza la coincidencia aproximada, y no solo reglas de coincidencia exacta, para detectar casi duplicados como «Smith, John» frente a «John Smith».
• Fusiona automáticamente las coincidencias evidentes, pero deriva las coincidencias con baja fiabilidad a una persona en lugar de fusionarlas a ciegas.
• Documento en el que se registran las decisiones tomadas en caso de conflicto, para que la norma se aplique de forma coherente la próxima vez.

Gestiona los valores perdidos con una política clara

Los datos que faltan se dividen en dos categorías distintas: los campos críticos, que interrumpen los procesos posteriores, y los campos no críticos, que pueden dejarse en blanco.

1. Campos obligatorios: Los ID de cuenta, los números de identificación fiscal y las claves primarias deben rellenarse o marcarse antes de que los registros pasen por el proceso.
2. Campos no críticos: La información de contacto secundaria o las respuestas a las encuestas pueden dejarse en blanco sin que ello afecte al análisis posterior.
3. Métodos de imputación: A la hora de completar los datos que faltan, utiliza métodos estadísticos explícitos en lugar de valores predeterminados arbitrarios:
   • Datos numéricos: Aplica la imputación por media o mediana para los valores con distribución normal, o utiliza el método de los k vecinos más cercanos (k-NN) o modelos de regresión para conjuntos de datos complejos.
   • Datos categóricos: Utiliza la imputación por modo o marca explícitamente las entradas como «DESCONOCIDO».
   • Auditabilidad: Etiqueta siempre los valores imputados en tus metadatos para que las estimaciones estadísticas nunca se confundan con los datos originales facilitados por los clientes.
4. Eliminación frente a conservación: Elimina filas únicamente cuando los valores que faltan hagan que todo el registro sea inservible. Establecer la eliminación de filas como opción por defecto reduce el tamaño de la muestra, al tiempo que descarta silenciosamente señales válidas y valiosas.

Validar y corregir los errores restantes

La validación detecta lo que se pasa por alto en los pasos anteriores: un registro que supera todas las comprobaciones a nivel de campo, pero que falla en cuanto se evalúa según una regla que abarca varios campos o sistemas.

Empieza por comprobar los rangos y la lógica, aplicando restricciones CHECK en el nivel de la base de datos o mediante aserciones en el proceso de carga si realizas la validación antes de la carga. Un porcentaje no puede superar el 100. Una fecha de finalización no puede ser anterior a una fecha de inicio. Una clave externa debe apuntar a un registro que realmente exista. De este modo se detectan errores que ninguna regla de formato señalaría jamás, ya que, técnicamente, todos los valores por separado son válidos.

Comprueba los campos de mayor importancia —direcciones, correos electrónicos, números de identificación fiscal— con una fuente externa cuando esté disponible: una API de validación de direcciones, un servicio de verificación de correos electrónicos o una consulta en un registro oficial. Deja para el final la limpieza estructural, las mayúsculas y minúsculas, los espacios en blanco sobrantes y los caracteres finales. Ejecutar una función TRIM() y una expresión regular es muy sencillo, pero hacerlo antes de las comprobaciones lógicas y de referencias solo significa tener que volver a hacer el trabajo cuando surja un problema más grave.

Automatiza las tareas recurrentes y sigue supervisándolas

Una regla de validación que solo se ejecuta una vez equivale exactamente a una limpieza. Incorpora esa misma lógica en el proceso para que se active con cada nuevo registro, y no solo con el lote que estés revisando en ese momento.

• Convierte cada una de las reglas anteriores en una comprobación automatizada: una biblioteca de validación o una tarea programada en tu orquestador, un DAG de Airflow, un conjunto de pruebas de dbt… pero no una macro de hoja de cálculo que alguien tenga que acordarse de ejecutar.
• Establece umbrales de alerta para que cualquier pequeña anomalía —como un ligero aumento de la tasa de valores nulos o una tasa de duplicados que supere poco a poco los niveles normales— se detecte antes de que se convierta en un problema que haya que notificar.
• Vuelve a ejecutar un proceso completo de perfilado según un calendario establecido. Los datos se van desviando incluso cuando no se aprecia ningún fallo a simple vista.

Manual frente a automatizado: cuándo conviene cada uno

Decidir qué limpiar primero

Tratar todos los conjuntos de datos desorganizados por igual supone un desperdicio de recursos en tablas independientes, mientras que las fuentes de datos críticas que abarcan varios sistemas siguen sin funcionar correctamente. Prioriza los conjuntos de datos en función de las dependencias de las fases anteriores y del impacto global en el negocio.

• Mapeo de dependencias: Prioriza las tablas principales de destino que alimentan múltiples flujos de análisis posteriores o modelos de IA orientados al cliente.
• Matriz de puntuación: Resolver los empates mediante un cálculo directo:

Puntuación de prioridad = (Impacto en el negocio × Urgencia) + Esfuerzo

Qué hacer cuando las fuentes discrepan

El hecho de que dos sistemas muestren cifras diferentes para un mismo cliente no se debe a un error en la introducción de datos. Se trata de una discrepancia en las definiciones, y por mucho que se modifique el formato o se eliminen los datos duplicados, esto no se solucionará.

• Cuando haya un sistema que sea claramente el sistema de referencia, utilízalo y documenta esa decisión para que no vuelva a surgir la misma duda.
• Cuando ninguno de los dos sistemas tiene una autoridad clara, se necesita una única definición consensuada para los conceptos comunes: cliente, ingresos, cuenta activa. Esa definición sirve de referencia para ambos sistemas, en lugar de que cada uno defienda sus propias cifras.
• Registra la discrepancia y avisa a quienes dependan de esos datos. No dejes que surja más adelante como un misterio que alguien tenga que desentrañar durante la elaboración de un informe.

Haz una copia de seguridad antes de tocar nada

Cada regla de limpieza que escribas supone un riesgo de empeorar las cosas, no solo de mejorarlas. Trata los datos que vas a modificar como si fueran de solo lectura hasta que hayas comprobado que la regla realmente funciona.

• Trabaja siempre con una copia, una tabla de prueba o una instantánea, nunca con el original de producción, para que una regla errónea no pueda destruir algo irrecuperable.
• Prueba las reglas de limpieza con una pequeña muestra antes de aplicarlas al conjunto de datos completo.
• Mantén un historial de versiones de los propios pasos de limpieza, no solo del resultado final, para que se pueda rastrear un cambio erróneo y deshacerlo.

Cómo saber si la limpieza ha funcionado de verdad

No se puede saber si una limpieza ha funcionado solo por el aspecto que tienen los datos. Solo se puede saber comparando los resultados medidos antes de empezar con los medidos después.

• Realiza un seguimiento de un pequeño conjunto de métricas antes y después: porcentaje completado, porcentaje de duplicados y porcentaje que supera la validación.
• Fíjate un objetivo concreto, por ejemplo, que el 98 % supere la validación, en lugar de un objetivo vago como «datos más limpios».
• Revisa periódicamente los mismos indicadores para detectar a tiempo cualquier deterioro de la calidad, y no solo una vez, cuando el proyecto haya finalizado.

Cómo hacer que esto sea repetible con Actian

Una estrategia eficaz de calidad de los datos convierte la limpieza manual en un proceso automatizado y continuo que se ejecuta en segundo plano.

Plataforma de inteligencia de datos de Actian incorpora métricas de precisión, exhaustividad y coherencia en tiempo real directamente en los resultados de búsqueda y en los gráficos de linaje, lo que proporciona a su equipo una visibilidad inmediata del estado de los datos sin necesidad de auditorías manuales. En combinación con la gobernanza basada en grafos de conocimiento y Actian DataConnect para la integración híbrida, podrá resolver conflictos entre fuentes y mantener datos limpios y fiables en toda su organización.

Preguntas frecuentes (FAQ)

1. ¿Cuál sería un plazo realista para un primer proyecto de limpieza de datos?

Una limpieza inicial específica, centrada en uno o dos conjuntos de datos de alta prioridad, suele durar entre dos y cuatro semanas. Esto incluye establecer normas para los campos, realizar pases iniciales de perfilado, aplicar transformaciones y verificar las reglas del proceso automatizado.

2. ¿Pueden dos sistemas de origen tener «razón» al mismo tiempo?

Sí. Por ejemplo, un CRM puede registrar los «ingresos» en el momento de la firma del contrato, mientras que un ERP los registra en el momento del pago de la factura. Ambas cifras son correctas en sus respectivos contextos, por lo que es fundamental establecer definiciones claras y reguladas en todos los sistemas.

3. ¿Qué nivel de riesgo de pérdida de datos es aceptable al automatizar las reglas de limpieza?

No se acepta ninguna pérdida de datos irrecuperable. Ejecuta siempre los pasos de limpieza automatizados en copias provisionales, mantén copias de seguridad inmutables de los datos sin procesar y marca o pon en cuarentena las filas con errores en lugar de eliminarlas de forma permanente.

4. ¿Significa dar prioridad al conjunto de datos «peor» ignorar siempre uno más pequeño pero más importante?

No. La priorización siempre debe basarse en el impacto en el negocio y las dependencias, y no en el volumen bruto de errores. Una pequeña tabla de referencia con una tasa de error del 5 % que se utiliza para la presentación de informes reglamentarios tiene prioridad sobre una tabla de registros de gran tamaño con una tasa de error del 30 % que nadie consulta.

5. ¿Puede un equipo pequeño garantizar la calidad de los datos sin contar con un responsable de datos específico?

Sí, siempre que las reglas de validación y el control de calidad estén automatizados dentro de tus flujos de datos. Las plataformas modernas muestran alertas automatizadas y puntuaciones de calidad directamente en los flujos de trabajo de los desarrolladores, lo que permite a los equipos de ingeniería mantener los datos limpios sin tener que realizar tareas manuales adicionales.

Acerca del autor

Acerca de Actian Corporation

Actian permite a las empresas gestionar y controlar los datos a gran escala con total confianza. Las organizaciones confían en las soluciones de gestión e inteligencia de datos de Actian para optimizar entornos de datos complejos y acelerar la entrega de datos preparados para la IA. Diseñadas para ofrecer flexibilidad, las soluciones de Actian se integran a la perfección y funcionan de forma fiable tanto en entornos locales como en la nube y en entornos híbridos. Obtén más Acerca de Actian, la división Acerca de Actian datos e IA de HCL Software, en actian.com.