Una plataforma de datos empresariales (EDP) soporta aplicaciones analíticas proporcionando acceso a múltiples fuentes de datos, como almacenes de datos y lagos de datos. A diferencia de los almacenes de datos empresariales tradicionales, una EDP no intenta centralizar todos los datos analíticos en una única ubicación. La EDP actúa como un índice de todos los activos de datos esenciales de una empresa. La EDP cataloga los activos de datos utilizando métadonnées y aloja sus propios almacenes de datos.
Creación de la plataforma de datos de la empresa
La arquitectura de una PDE debe facilitar a los usuarios la búsqueda de los datos y análisis que necesitan. La EDP debe ser compatible con un sistema de acceso de seguridad basado en roles para limitar el acceso a los activos que una persona o un grupo empresarial en particular están autorizados a ver. Las plataformas de datos modernas, como Actian Data Platform de Actian, pueden trabajar con marcos de seguridad existentes, como Active Directory, para asignar conjuntos de datos a la función de seguridad del usuario.
La PDE debe tener sus propios almacenes de datos que admitan la carga de datos por lotes y proporcionen acceso a datos en flujo. Los datos no almacenados internamente, como algunos datos semiestructurados y no estructurados, deben ser accesibles a través de conectores de integración de datos.
Los lagos de datos existentes, como los clusters Hadoop, pueden conectarse a la EDP, pero ésta debe poder acceder a los formatos de archivo que utiliza Hadoop, como Parquet y ORC.
Funciones clave de una plataforma de datos empresarial
- Las funciones ingestion de données facilitan el aprovisionamiento con conectores y utilidades como los cargadores rápidos paralelos.
- El almacenamiento de datos necesita manejar diferentes formatos de datos almacenando tablas como filas para aplicaciones de procesamiento de transacciones en línea (OLTP) y como formatos columnares para aplicaciones de análisis de datos.
- El procesamiento de datos proporciona las funciones de consulta de datos, paralelización de operaciones y gestión de cohérence y la simultanéité para la EDP.
- Funciones de interfaces de usuario. Entre ellas figuran los conectores a herramientas informatique décisionnelle (BI), API como Open Database Connectivity (ODBC) y conectores directos a sistemas operativos.
- El pipeline de données es responsable del flujo ordenado de datos desde los distintos sistemas fuente hasta la base de données analytique.
Ampliación del procedimiento de déficit excesivo
Una EDP debe admitir instancias híbridas de almacén de datos en las instalaciones y en la nube. El primero puede ser un requisito por razones de cumplimiento. Las plataformas en la nube ofrecen un escalado elástico de la infraestructura informática y de almacenamiento bajo demanda para seguir el ritmo de las cargas de usuarios a medida que crecen.
Conectividad universal
Se debe acceder al EDP desde Embarqué Structured Query Language(SQL) en las aplicaciones, por lo que se necesitan APIs para soportar scripts y lenguajes de desarrollo. outils bi deben conectarse al EDP para permitir a los usuarios consultar y visualizar datos analíticos.
Ventajas de una plataforma de datos empresarial
A continuación se exponen algunas razones para crear una plataforma de datos empresarial:
- Una PDE facilita la localización de datos valiosos. La empresa puede seleccionar las mejores fuentes de datos y fomentar su uso incluyéndolas en la PDE.
- La EDP aumenta la utilización de los activos de datos más valiosos a medida que más usuarios comparten las versiones preferidas de los datos frente a la creación de sus propias copias no gestionadas. El coste de mantener más activos de los necesarios se evita al centrar la organización en las fuentes de datos de mayor calidad.
- Reduce la duplicación de conjuntos de datos en silos fomentando la reutilización de activos existentes que, de otro modo, podrían pasarse por alto.
- Flexibilidad para admitir múltiples formatos de almacenamiento de datos, lo que añade valor a las inversiones existentes en macrodatos y almacenes de datos. El EDP no impone la sustitución total de los almacenes de datos existentes. A medida que se modernizan los sistemas, pueden incluirse como repositorios de primer nivel en la EDP.
- Mejora el cumplimiento de la normativa, ya que la PDE puede aplicar los controles de seguridad adecuados.
- Permite un déploiement más rápido de nuevas fuentes de datos utilizando instancias existentes como plantillas.
- Crea una base para las iniciativas de mallas y tejidos de datos. Tanto las mallas de datos como los tejidos de datos ayudan a aumentar la calidad de los activos de datos y a reducir los costes de gestión.
Aprovechar Actian como plataforma de datos empresariales
A continuación se detallan algunas características clave que hacen de Actian Data Platform una base sólida para una EDP:
- Conectores integrados a cientos de fuentes de datos.
- Programador de operaciones de pipeline de données .
- stockage en colonnes para tablas de relación con el fin de eliminar la necesidad de índices de base de datos tradicionales.
- Compatibilidad con formatos de datos externos, incluido Hadoop Spark.
- Procesamiento distribuido de consultas.
- Procesamiento vectorial en procesadores básicos.
- Aprovisionamiento de nube híbrida.
- Compatibilidad con múltiples nubes.
- Programación de API e integraciones de herramientas de BI.
Visibilidad central para datos distribuidos
La plataforma de datos empresariales puede desplegar almacenes de datos en entornos locales y en la nube y utiliza funciones como un atalogue de données, consultas distribuidas y conectores de datos a fuentes de datos externas para simplificar la navegación a los datos distribuidos.
pipeline de données
A medida que las fuentes de datos operativos cambian con el tiempo, pueden utilizarse canalizaciones de extracción, transformación y carga(ETL) para actualizar los almacenes de datos que gestiona la EDP. Los datos entrantes pueden transformarse, filtrarse y normalizarse antes de almacenarlos en los almacenes de datos a los que está conectada la EDP. Extract Load Transform (ELT) proporciona una alternativa a ETL, donde los datos cargados se limpian y transforman según sea necesario dentro de un almacén de datos. La tecnología de integración de datos puede gestionar pipelines de datos completos, desde conectores predefinidos hasta funciones de programación para ejecutar scripts de pipelines. Una tecnología de integración de datos más completa proporcionará una supervisión de las canalizaciones de datos en toda la empresa, con capacidad para comprobar operaciones, reintentar secuencias de comandos fallidas y alertar de cualquier problema.
Principales conclusiones
