Integración de datos

Creación de integraciones de Actian DataConnect que funcionan

Corporación Actian

29 de diciembre de 2017

cloud powerhouse para actian dataconnect

Hace poco escribí un artículo titulado "Por qué Actian DataConnect se enfrenta a los grandes". Pensé que podría ser beneficioso para mostrar un caso de uso de por qué esto es importante.

Como desarrollador e integrador de datos, hay muchos conceptos importantes a la hora de diseñar un producto. Algunos de ellos son la repetibilidad, la escalabilidad, la estabilidad, la fiabilidad y la facilidad de uso, entre otros. Tengo dos grandes ejemplos en los que DataConnect cumple estos requisitos.

El primer caso de uso fue un proyecto para un cliente que utilizaba una solución ERP para contratistas gubernamentales, llamada Deltek Costpoint. A finales de 2008, creé 5 integraciones que introducían datos en Costpoint o los extraían de Costpoint y los enviaban auna empresa externa que utilizaba Maximus. Estas integraciones pasaron las pruebas de aceptación del cliente con pocos cambios necesarios durante los primeros tres meses, y muy pocos cambios desde entonces. Lo mejor de estas integraciones es que han funcionado de forma constante y fiable durante más de 6 años sin ningún tipo de mantenimiento. Esto habla muy bien del producto en términos de estabilidad y fiabilidad.

Caso real: 

El siguiente proceso toma un archivo de entrada de IBM Maximo (software empresarial utilizado para realizar un seguimiento de la operación, mantenimiento y eliminación de activos), y crea una orden de trabajo en Costpoint de Deltek.

archivo de entrada imb maximo

Ralph Huybrechts, director financiero de Keta Group, LLC, dijo lo siguiente: "Contratamos a Deltek, el proveedor de software, que asignó a David Byrd la redacción de varias integraciones de Pervasive entre el software de contabilidad y control horario del contratista principal y del subcontratista y Maximo. David escribió, probó y finalizó estas integraciones en un período de 45 días antes del inicio de nuestro gran contrato de apoyo a las operaciones de base con el Ejército. Este contrato requiere 350 empleados y gestiona 5.000 órdenes de servicio al mes. Las integraciones han funcionado a la perfección desde el inicio del contrato en 2010.

Del segundo ejemplo hablé recientemente en otro artículo titulado "Web-Services Best Practice: Using parallel queueing to streamline web-service data loads" y de su importancia. Para este caso de uso, diseñé una integración que ejecutaría mensajes de Accumulator Webservices, así como otros, que se almacenaban en una tabla de base de datos. Estos mensajes fueron creados por múltiples integraciones y alimentados en la tabla. Aquí está la parte buena - una sola integración recoge estos diferentes tipos de mensajes y luego establece los parámetros de conexión sobre la marcha de los datos almacenados en la tabla con el mensaje como el punto final de URL, las credenciales de usuario y contraseña y sin problemas procesa la llamada de servicio web y almacena la respuesta en la tabla para su posterior procesamiento. En pocas palabras, esta integración se conecta a múltiples puntos finales de servicios web sin codificar los parámetros necesarios en la integración, lo que demuestra la escalabilidad.

Caso real: 

El proceso que se muestra a continuación lee una tabla de la base de datos en busca de mensajes para procesar, toma ese mensaje y las credenciales requeridas, y envía el mensaje a un servicio web, espera la respuesta y la almacena de nuevo en una tabla. Además, el proceso se ejecuta desde la línea de comandos donde se pasa un número de cola. Este proceso, que utiliza archivos bat similares, se ha ejecutado 75 colas al mismo tiempo.

webservices bat files

archivos bat 75 colas

Pero va más allá, el mismo concepto de diseño se puede llevar un paso más allá utilizando Oracle CX endpoints. Uno podría considerar una integración similar para cargar Oracle Sales Cloud a partir de los datos proporcionados por las exportaciones de CRM à la demande , sin embargo, esto podría encontrarse con algunos problemas con los archivos adjuntos de CRM à la demande , especialmente los grandes. La exportación masiva desde CRM OnDemand proporciona todos los archivos adjuntos pequeños, pero no los grandes. Puede proporcionar su ID de archivo adjunto, que se introduce en la base de datos a través de las solicitudes de exportación de archivos adjuntos de CRM en bloque, y almacenar cada archivo adjunto en la respuesta de la base de datos. Así, en este caso, no sólo se introducen datos en un servicio web para cargarlos, sino que también se obtienen datos de un servicio web, todo ello a través de esta única integración. La mejor parte de este diseño de integración es que a la integración no le importa de dónde viene o a dónde va el mensaje XML, sólo toma el mensaje, se conecta y lo envía, y luego almacena la respuesta. Esto es el colmo de la repetibilidad.

Caso real: 

El siguiente proceso es muy similar al proceso escrito anteriormente. De hecho, hace prácticamente lo mismo. La primera excepción aquí es que los diferentes tipos de mensajes no van a Healthedge (una solución para el mercado de pagadores de asistencia sanitaria), en realidad se utilizan en un proyecto de migración de datos que toma la exportación de datos de Oracle CRM à la demande, que luego se construye en el mensaje que se cargará en Oracle Sales Cloud. Y la segunda excepción es que esto fue construido en Actian DataConnect V10.

 

El archivo Bat que se muestra a continuación es muy similar al proceso anterior. Muestra las diferencias en la ejecución de un proceso v10 desde la línea de comandos en comparación con DataConnect v9.

archivo bat dataconnect

programador de tareas bat

Chris Fuller-Wigg, Director de Servicios Automatizados de Ventas, declaró: "El aumento de eficiencia que experimentamos al cargar los datos en paralelo es algo irreal, casi 10 veces más rápido que en serie. Nos encontrábamos perdiendo un día entero para que se cargaran las Cuentas, sólo para pulsar el botón de cargar Contactos al día siguiente. Eliminar el tiempo de espera y dejar que el sistema procese varias cargas a la vez nos permite cargar los datos 1,5 semanas antes de media".

Lawrence Chan, consultor principal de servicios automatizados de ventas, añadió: "El valor de esta solución no se limita a las increíbles mejoras en la velocidad de migración de datos. Con un solo clic, podemos tener los datos de su sistema actualizados el día anterior a la puesta en marcha con sólo pulsar un botón. Con una planificación adecuada, las noches en vela para actualizar los datos serán cosa del pasado".

El hecho de que Actian DataConnect cumpla el significado de estos términos satisface al expérience client final expérience client. El cliente aquí es doble, el primero es el desarrollador siendo capaz de definir y construir una integración flexible de confianza, y el segundo es el cliente final consiguiendo que los datos funcionen como ellos quieren. Esto es una victoria para Actian, una victoria para el desarrollador y una victoria para el cliente final.

Puede leer más sobre Actian DataConnect aquí y si tiene alguna pregunta no dude en preguntar a la Comunidad DataConnect aquí mismo.

logo avatar actian

Acerca de Actian Corporation

Actian hace que los datos sean fáciles. Nuestra plataforma de datos simplifica el modo en que las personas conectan, gestionan y analizan los datos en entornos en la nube, híbridos y locales. Con décadas de experiencia en gestión de datos y análisis, Actian ofrece soluciones de alto rendimiento que permiten a las empresas tomar decisiones basadas en datos. Actian cuenta con el reconocimiento de los principales analistas y ha recibido premios del sector por su rendimiento e innovación. Nuestros equipos comparten casos de uso probados en conferencias (por ejemplo, Strata Data) y contribuyen a proyectos de código abierto. En el blog de Actian, tratamos temas que van desde la ingesta de datos en tiempo real hasta el análisis basado en IA. Conozca al equipo directivo https://www.actian.com/company/leadership-team/