基于Web Services和Quartz的数据整合系统的设计与实现

摘要

随着大数据时代的到来，数据对于企业的重要性越来越凸显，要求企业之间、企业内部各部门之间数据资源能够实现共享、交换、整合集成和再利用。但是由于业务差异和信息化建设周期不同，数据资源分散的存储于不同的网络节点中，服务于单一系统，逐渐形成了一个个信息孤岛。导致数据的利用率低下，数据潜在的价值没有得到充分发挥。大数据时代背景下，数据整合成为关键，企业通过对分散的数据源进行数据提取、数据转换、数据存储和数据分析处理来实现数据资源最大限度的利用。
　　本文设计的数据整合系统旨在以整合有关应急数据为主题，收集整合来自中石油各企业不同数据源中的数据资源，为中石油应急管理系统的正常有效运作提供数据服务支撑。本系统使用Web Services技术结合数据仓库来整合分散异构的数据资源。通过XML转换数据，屏蔽数据异构性，使用Quartz定时调度Web服务，定期更新数据仓库中的数据，保持数据的活力。
　　作者本人参与了数据整合系统建设的整个生命周期过程，从系统需求分析、系统环境搭建与测试、数据库表设计、数据结构映射设计、代码实现与测试到系统上线后运维和性能优化等全部过程。具体工作内容如下:
　　(1)参与了系统的需求分析，确定收集数据的主题、主题内容以及主题之间的关系，并制定相关文档。
　　(2)参与了系统开发环境的搭建，通过调研已有的数据整合解决方案，结合实际需要，整合不同的框架，并测试框架的可用性。
　　(3)采用从对象模型到物理模型方式设计数据库主题表，并且设计数据库表与XML Schema的结构映射规则，编写并维护XML Schema定义文件。
　　(4)参与了大量的Web Services客户端应用程序的开发与测试工作。
　　(5)系统上线后，逐渐发现系统的性能越来越差，经过分析日志，采用JAXB实现对XML的解析，优化系统性能，对数据库表建立分区，提升数据库的查询速度，从而优化了数据库性能。
　　数据整合系统已经上线运行，整合了中石油不同企业的30多个数据源中的有关应急方面的数据，为中石油应急管理系统的有效运行和辅助决策提供了多样化的且可靠的数据服务保障。

目录

声明

致谢

摘要

1．引言

1．1 项目背景与意义

1．1．1 项目背景

1．1．2 项目意义

1．2 课题相关国内外发展现状研究

1．2．1 联邦数据库

1．2．2 数据仓库

1．2．3 中间件模式

1．2．4 Web Services应用

1．3 课题的主要内容和论文的组织结构

1．3．1 主要内容和主要工作

1．3．2 本文的组织结构

1．4 本章小结

2．数据整合相关理论及技术综述

2．1 数据整合相关理论

2．1．1 数据整合概述

2．1．2 数据整合需要考虑的问题

2．1．3 数据整合目标

2．1．4 数据整合方案

2．2 XML

2．2．1 XML简介

2．2．2 XML特点

2．2．3 XML相关技术

2．3 Web Services

2．3．1 Web Services技术简介

2．3．2 Web Services体系结构

2．3．3 SOAP

2．3．4 WSDL

2．3．5 UDDI

2．4 Quartz

2．5 本章小结

3．系统需求分析与总体设计

3．1 需求分析综述

3．1．1 系统需求分析

3．1．2 数据特征分析

3．1．3 系统可行性分析

3．2 技术方案选择

3．2．1 Web Services整合数据的优势

3．2．2 XML与JSON数据交换格式的选择

3．2．3 基于JAVA的XML解析技术选择

3．3 系统总体设计

3．3．1 系统体系结构设计

3．3．2 数据整合流程设计

3．3．3 数据仓库设计

3．4 本章小结

4．系统详细设计与实现

4．1 系统详细设计

4．1．1 数据映射设计

4．1．2 Web Services数据接入模块设计

4．1．3 Quartz调度管理模块设计

4．2 系统实现

4．2．1 数据仓库建模

4．2．2 数据映射实现

4．2．3 Web Services数据接入模块实现

4．2．4 Quartz调度管理模块实现

4．3 本章小结

5．系统测试与性能优化

5．1 系统测试

5．1．1 测试用例设计

5．1．2 测试结果及分析

5．2 系统性能优化

5．2．1 JAXB优化系统性能

5．2．2 表分区优化数据库性能

5．3 本章小结

6．结论与展望

6．1 全文总结

6．2 不足与展望

参考文献

附录

作者简历

学位论文数据集