面向多源异构数据的数据集成中间件的设计与开发

摘要

随着市场竞争从单个企业间的竞争向供应链与供应链之间的竞争演变，以及大数据重要价值逐步凸显，支持产业链企业群精准管理与决策能力的大数据技术成为面向汽车行业的重要研究方向，而大数据分析的质量和有效性则在很大程度上依赖于产业链条中各环节数据的整合与集成质量。但国内汽车产业链中，以汽车制造企业为核心的产业链协同数据存在数据不完整、数据多源异构两大突出问题，而这两大问题恰恰是进行跨企业、跨部门产业链协同数据整合与集成的难点问题。因此，如何在分布、自治的环境下，将产业链上多源异构的业务数据进行全面的集成与共享成为汽车行业大数据分析的关键核心问题，也是前提和基础。 为此，本文依托四川省科技支撑计划课题“面向汽车服务生命周期（SLM）的第三方制造服务云平台支撑技术研究”（2015GZ0076）以及“分布式资源巨系统及资源协同理论”（2017YFB1400301），在对数据集成技术进行深入研究的基础上，提出了分布式多源异构数据集成解决方案，最终开发出跨平台数据集成中间件，以支持产业链上分布式多源异构数据的集成。本文的主要工作包括： （1）根据汽车产业链现有的业务数据交互特点及数据集成的具体需求，在研究现有国内外数据集成技术的基础上，提出基于中间件法的数据集成思路，并分析了多源异构数据集成中间件实现的关键需求问题，在此基础上，完成了数据集成中间件的功能设计、总体设计及详细设计。 （2）围绕数据集成中的两个关键核心问题：多源异构数据的多模式冲突消解以及异构模式下分布自治数据源间通信与访问的一致透明化问题，提出了模式树方法描述异构数据的公共数据模式、通过树形变换解决异构冲突问题；提出了统一通用的请求执行通信方法，提出了查询请求验证、分解、分派算法，实现了以统一的方式请求数据源；提出了一种动态适配器管理方法，对“一数据源一适配器”的传统体系结构进行了优化，降低了适配器维护代价，扩大了适用范围。提出了基于跨平台XML的统一数据表示方法，完成了数据迁移与重组。 （3）采用与平台无关的JAVA、XML等技术，开发了支持汽车产业链协同平台的异构数据集成中间件，并在汽车产业链协同平台中得到初步应用。 本文的中间件具有平台无关性与配置灵活性等特点，因此可在类似的汽车产业链协同平台环境中应用，也可推广到其他分布式多源异构环境的数据集成。

目录

第一个书签之前

A Master Thesis Submitted to

ABSTRACT

第一章 绪 论

1.1 研究背景与意义

1.2 国内外研究现状

1.2.1 模式集成方法

1.2.2 数据复制方法

1.2.3 综合性方法

1.3主要工作内容和论文结构

第二章 多源异构数据集成中间件的设计

2.1 数据集成中间件相关技术研究

2.1.1 数据集成概述

2.1.2 面向服务的体系结构

2.2 需求分析

2.3 中间件功能设计

2.4 数据集成中间件总体设计

2.5 数据集成中间件详细设计

2.5.1 服务总线层详细设计

2.5.2 服务层详细设计

2.6 本章小结

第三章 数据集成关键技术研究

3.1“三类模式+两级映射”模式集成体系的提出

3.2支持模式异构屏蔽的模式树方法研究

3.2.1 模式异构问题

3.2.2 模式树方法

3.2.3 基于模式树方法的模式异构冲突消解

3.2.4 模式树方法的优点

3.3 面向异构数据源的统一通信方法研究

3.3.1 基于服务总线的统一通信架构

3.3.2 Web服务的发布与动态调用

3.3.3 基于统一命令的通信执行过程

3.4 基于循环队列的适配器动态管理方法

3.5结果迁移

3.6 本章小结

第四章 数据集成中间件的实现

4.1 平台无关的开发语言

4.2 集成管理器实现

4.3 模式集成器实现

4.3.1 关系型数据源模式转换实现

4.3.2 关系型数据源模式重组实现

4.4 通信处理器实现

4.4.1 解决互操作性的中间件接口实现

4.4.2 关系型数据源通用操作命令实现

4.4.3 关系型数据源命令语法解析算法实现

4.4.4 关系型数据源命令分解算法实现

4.5 适配器动态管理方法实现

4.6 本章小结

第五章 总结与展望

5.1 全文总结

5.2 展望

致 谢

参考文献