批量数据优化处理框架的设计和实现

摘要

一个数据库应用系统在投入运行的初始阶段，大都需要一次性录入在量初始数据。而在使用的过程中，也往往需要从其他系统中获取相关数据。传统的方法是利用数据库应用系统本身提供的数据录入功能完成这一工作，或者针对特定的业务编写特定的代码去实现批量数据的录入。但是，这种方法对大批量数据来说效率非常低，稳定性差，而且无法扩展。
　　论文通过设计和实现大批量数据处理框架，很大程度上优化了数据处理的速度，稳定性和扩展性。这主要从三个方面实现。首先是利用二级缓存机制，利用生产者-消费者体系结构，生产者每次加载一批数据进入内存，经过处理后进入数据仓库。消费者每次从仓库中取出一批数据，写入目标数据库。最大程度上减少了数据库访问的次数，最大程度的提高了数据导入的速度。并且在数据抽取阶段对数据进行分析，在此基础上分类重组，让每组数据对应一个范围小的缓存，提高命中率。第二方面是利用监控器机制，保证数据的正确性。第三方面是利用MVC架构，将抽取数据，导入数据与数据处理业务分离。程序员只需要在View中描述抽取逻辑和导入逻辑，声明由那个业务逻辑处理类处理，接着在业务逻辑类中实现数据的转化。
　　为了实现生产者-消费者的体系结构，框架设计了数据抽取，数据准备和处理，数据监控，数据批量导入，标记位处理五个处理器和存放数据的一个数据仓库。提高了整体的处理速度。而为了加快每条数据的处理速度，框架还建立了三个模型，分别是数据分类模型，缓存优化模型和SQL优化模型。数据分类和sql优化对数据进行分组重排，让数据变得有规律，使缓存模型的命中率提高。为了实现监控器组件，框架主要是使用文件解析器和字符拼接转化器。为了实现MVC架构，框架使用的是JAVA反射机制。
　　本文先介绍处理器在系统中的构成和联系，再介绍优化模型在处理器中的使用。接着给出框架的详细设计。最后介绍了原型系统的设汁与实现，并列举实例进行分析。

目录

声明

摘要

第1章 绪论

1．1 系统开发背景和意义

1．2 国内外研究现状

1．3 本文的主要内容

1．4 本文的组织结构

第2章 批量数据框架的设计

2．1 批量数据处理简介和关键问题

2．2 框架的优化理念和设计

2．3 系统架构和数据流

2．3．1 系统架构

2．3．2 数据流

第3章 组件模型和优化模型

3．1 组建模型

3．1．1 取数据组件

3．1．2 存取数据组件

3．1．3 数据转化组件

3．1．4 数据导入组件

3．2 优化模型

3．2．1 数据分析优化模型

3．2．2 SQL优化模型

3．2．3 缓存优化模型

第4章 系统详细设计

4．1 优化模型的详细设计

4．1．1 数据分析模型

4．1．2 SQL优化模型

4．1．3 LRU缓存置换算法

4．2 框架生产者消费者模型设计

4．2．1 生产者类设计

4．2．2 消费者类设计

4．2．3 数据仓库的设计

4．3 MVC架构和监控器设计

4．3．1 MVC设计

4．3．2 监控器的设计

4．4 类的结构设计

4．4．1 类的设计

4．4．2 类的说明

第5章 系统实现与应用

5．1 生产者实现

5．1．1 数据源连接工厂的实现

5．1．2 数据源对象封装类的实现

5．1．3 数据源获取封装数据工具类的实现

5．1．4 数据转化类的实现

5．2 数据仓库和消费者的实现

5．3 反射机制和监控机制的实现

5．4 系统使用案例

5．4．1 将成绩从清华库导入本科生库

5．4．2 研究生人员信息维护

5．4．3 框架的页面展示

第6章 总结与展望

6．1 总结

6．2 下一步工作

参考文献

致谢