基于Kettle和Quartz的数据集成平台的研究与实现

摘要

随着“互联网+”时代的不断推进，企事业单位也在不断的发展自己的信息化建设，企事业内部由于各自业务需求不同，分别研发设计出符合自己部门的应用系统，而这些应用系统拥有各自的数据存储和访问方式，最终导致“数据孤岛”的现象，存在大量冗余数据。因此，如何将企业内部的数据有效集成已成为一个重要的课题。数据集成可以有效的解决数据冗余和数据利用率下降的问题，实现数据共享。同时，数据集成也是企业建立数据仓库、进行数据挖掘、上层决策分析的重要组成部分。目前，数据集成的方法和技术虽然有效的解决了“数据孤岛”的现象，但是实施过程中复杂的编程和无调度的运行方式，使得构建数据集成的故障性极高并且开发效率低下，增加了企业的开发成本，亟需设计和开发一个数据集成平台解决现有应用中存在的问题。 本文基于开源的Kettle和Quartz为基础设计并实现了一套全流程支持托拉拽和实时调度的数据集成平台。平台采用AngularJs、SpringMVC、Mybatis框架构建Web平台，采用Twaver作为图形化设计器、Quartz作为实时调度器、Kettle作为数据集成引擎、Postgresql实现数据持久化存储。文中分析了Kettle的不足，然后对Kettle做出了优化改进，提出了执行器的概念并增加实时调度的功能。文中主要介绍了执行器的设计与实现，执行器是作业运行的实际载体，用于调度并且运行服务端发送的作业。实现了执行器的注册和用户隔离功能；还实现了心跳的方式建立了执行器与服务端的通信方式，并且采用指令备份的手段保障了心跳通信的可靠性，一定程度上降低了宕机带来的灾难性影响；对于一些实时调度的作业，实现了本地化功能加速了作业历史信息查询的速度。对Quartz的调度方式做出了改进，使之支持树形调度。 数据集成平台的实现解决了Kettle中操作复杂、无成熟调度、运行监控并且运行效率低下的问题，实现了ETL作业的统一调度、监控和管理，减少了应用开发时间，提高了应用开发效率，从而降低了企事业开发和运维成本。

目录

声明

1 绪论

1.1 课题背景与意义

1.2 国内外研究现状

1.3 本文研究内容

1.4 本文组织结构

2 课题相关理论和技术

2.1 数据集成概述

2.1.1 数据集成的基本概念

2.1.2 数据集成的方法

2.2 数据抽取工具

2.2.1 ETL的相关概念

2.3 图形化设计技术

2.3.1 Twaver简介

2.3.2 Twaver的图形数据模型和应用场景

2.4 实时调度技术

2.4.1 Quartz简介

2.4.2 Quartz 的体系结构

2.4.3 Quartz调度中的优先级和错失触发策略

2.5 本章小结

3 Kettle架构分析与优化改进

3.1 Kettle相关概念

3.2 kettle的体系架构

3.2.1 架构中存在的问题

3.2.2 kettle作业运行方式

3.3 改进后的架构设计

3.4 本章小结

4 执行器的设计

4.1 执行器的需求分析

4.1.1 执行器的功能需求

4.1.2 执行器的非功能需求

4.2 系统架构设计

4.2.1 系统架构

4.2.2 逻辑结构

4.2.3 系统处理流程

4.2.4 系统功能模块划分

4.3 执行器的设计

4.3.1 执行器在平台架构中的位置

4.3.2 执行器的架构设计

4.4 执行器功能设计

4.4.1 注册功能模块

4.4.2 作业本地化功能模块

4.4.3 作业调度功能模块

4.4.4 数据监控功能模块

4.4.5 异常作业处理功能模块

4.5 数据库设计

4.5.1 数据库的选择

4.5.2 数据分析

4.5.3 实体关系图

4.6 本章小结

5 执行器的实现

5.1 平台环境

5.1.1 平台软件环境

5.1.2 平台硬件环境

5.2 系统开发流程

5.2.1 数据持久层

5.2.2 业务逻辑层

5.2.3 表示层

5.3 执行器功能实现

5.3.1 执行器注册的实现

5.3.2 作业本地化功能的实现

5.3.3 作业调度的实现

5.3.4 数据监控的实现

5.3.5 异常作业处理的实现

5.4 本章小结

6 系统测试

6.1 测试方案

6.2 测试方法

6.3 测试环境

6.4 系统测试

6.4.1 系统功能测试

6.4.2 系统性能测试

6.4.3 系统安全测试

6.5 测试结果分析

6.6 本章小结

7 总结与展望

7.1 总结

7.2 展望

参考文献

致谢