Gestión de datos

Transformación de datos

La transformación de datos es un paso en los procesos de preparación de datos que los hace más accesibles para su análisis. Existen muchos tipos de transformación de datos, como el filtrado, el relleno de huecos, la mejora del formato y la coherencia de los tipos de datos. La transformación de datos es un paso integral en los procesos de extracción, transformación y carga (ETL) o de extracción, carga y transformación (ELT).

¿Por qué es importante la transformación de datos?

Sin la transformación de datos, muy pocos activos de datos estarían listos para el análisis. Cuando se extraen datos de apoyo a la toma de decisiones de múltiples fuentes, muchas incoherencias entre los conjuntos de datos requerirán la transformación de los datos para hacerlos utilizables para la obtención de conocimientos analíticos.

Tipos de transformación de datos

Las transformaciones de datos pueden clasificarse en los siguientes tipos:

Estética

Las transformaciones estéticas reformatean los datos para facilitar su legibilidad o cumplir los requisitos de la interfaz de programación de aplicaciones (API).

Constructivo

La transformación constructiva aumenta los datos existentes.

Destructivo

Las transformaciones destructivas reducen los datos a nivel de campo de registro.

Estructural

Las transformaciones estructurales alteran los registros fusionando, desplazando o renombrando campos.

Pasos de la transformación de datos

Los datos pueden transformarse de muchas maneras. En cada ETL, ELT o canal de preparación de datos, varios pasos suelen implicar la transformación de los datos. A continuación se ofrecen algunos ejemplos.

Eliminación de datos

Los datos brutos suelen contener datos extraños válidos para la operación que creó el conjunto de datos, pero que no son necesarios para el análisis empresarial. Estos campos o registros sobrantes pueden filtrarse. La mayoría de las herramientas de integración de datos contienen una selección de funciones para eliminar datos. El conjunto de datos resultante es más compacto, lo que facilita y hace más rentable su transferencia a través de redes y su posterior manipulación.

Reformateo de datos

Dado que los datos de un sistema de análisis suelen proceder de múltiples fuentes, es probable que los campos se representen de distintas formas. Los campos de divisas pueden redondearse a diferentes números de decimales y suelen contener símbolos de divisas. El reformateo puede uniformizar estos campos, lo que simplifica las tareas de análisis posteriores. Los registros pueden existir como campos delimitados por comas, cadenas JSON o en más estructuras de propiedades. Una estructura uniforme, como un formato de registro de base de datos relacional, facilitará el análisis.

Datos de reestructuración

La normalización o desnormalización puede combinar o dividir campos para un acceso más eficaz. Los formatos de datos pueden modificarse para que las comparaciones funcionen y comprimirse para aprovechar mejor el almacenamiento.

Enmascaramiento

Los datos que contienen información financiera sensible o de identificación personal deben enmascararse para proteger a la empresa de filtraciones de datos que dañen su reputación.

Transformaciones constructivas

El relleno de huecos, la fusión de datos, los campos precalculados y el binning de valores son transformaciones que enriquecen el contexto de los registros.

Uso de herramientas de transformación de datos

Las empresas pueden utilizar scripts personalizados para transformar datos o herramientas diseñadas para el trabajo. El inconveniente de los scripts escritos a medida es que a menudo resultan difíciles de mantener, sobre todo cuando los desarrolladores se marchan de la empresa y no documentan adecuadamente su trabajo. A medida que crece el volumen de scripts codificados a medida, tardan más en desarrollarse porque los desarrolladores se ocupan demasiado de mantener sus scripts anteriores.

El uso de las herramientas de integración de datos más conocidas ofrece una rentabilidad más rápida gracias a sus componentes preintegrados, y alivia los problemas de mantenimiento al depender de desarrolladores externos para su conservación. Una solución de integración incluye funciones como perfiladores de datos y herramientas visuales para desarrollar y mapear datos. Soluciones como DataConnect permiten a las empresas gestionar de forma centralizada sus canalizaciones de datos, al tiempo que facilitan las arquitecturas de datos en bus o hub-and-spoke.

Streaming y transformación de datos IoT

Las fuentes de datos en streaming y los datos IoT pueden ser de gran volumen, por lo que los datos se transforman mejor cerca de donde se crean, a menudo en el borde de una red. El procesamiento en el borde suele realizarse en un servidor de puerta de enlace situado cerca de donde se genera. Los servidores de pasarela se utilizan porque el dispositivo IoT suele tener recursos de memoria o processeur muy limitados.

Ventajas de la transformación de datos

A continuación se enumeran algunas de las ventajas de la transformación de datos:

Se puede conseguir un tiempo de respuesta más rápido de las consultas de apoyo a la toma de decisiones preparando los datos suficientemente para un almacén de datos.
La calidad de los datos se mejora optimizándolos para el uso previsto.
Añadir métadonnées como nombres de tablas más significativos, etiquetas de campos y un atalogue de données ayuda a descubrir los datos y crea claridad para los usuarios.
La automatización de la transformación de datos puede hacer que una proporción más significativa de los datos operativos esté preparada para el análisis.
Se pueden tomar más decisiones basadas en los datos, ya que es más cómodo realizar análisis con datos fiables.