海量历史数据库系统研究

摘要

随着社会经济发展的加快,国家对社会生产的各个方面均提出了长远的发展规划。在工业领域中,政府提出了加快信息化与工业化融合的目标,希望利用高速发展的信息技术促进我国基础行业可持续发展。实时数据库作为电力、通信、工业控制等领域主要的信息化技术被广泛运用。经济的发展促进了企业生产规模的增长,企业所需要管理的数据规模也随之水涨船高。
　　信息数据量的增长给实时历史数据库的数据存储管理能力和数据访问能力提出了更高要求。在实时信息采集和监控过程中,实时历史数据库每天需要处理亿万级的数据,并且数据量随时间推移也在持续增长。面对庞大的数据量,实时历史数据库迫切需要解决数据处理与存储的问题,一方面保证数据处理实时性,另一方面又需要为海量数据存储提供弹性增长空间。对海量历史数据进行良好支持是当前实时历史数据库研究的主要技术方向,已有的大数据存储方案如分布式数据库和集群不能很好的满足历史数据的存储要求,本文在分析当前云计算技术为大数据处理提供的基本方法之上,设计了一套基于Hadoop平台的海量历史数据库系统。针对该海量历史数据库系统实现过程中需要解决的三个问题:数据分布存储、数据索引、数据并行查询,本文分析比较了当前的解决办法,包括理论研究十分成熟的分布式数据存储和分布式索引技术,以及在云计算框架下存储数据、建立索引和数据查询的研究成果。结合各项技术的可取之处,再根据历史数据处理的特殊应用场景,本文给出了三个关键技术点的解决方案。将历史数据进行分块存储,并建立查找数据测量点历史数据的多级索引结构,该结构适应底层分布式文件系统动态变化,最后依据该索引信息对实时历史数据查询事务进行优化调度,给出了具有时间截止期事务的调度策略。
　　在解决关键技术点的基础上,本文给出海量历史数据库系统的总体设计结构。对组成完整系统所需的其他模块:元数据管理、数据采集、数据存储、索引管理以及事务管理等进行具体设计分析,进一步明确了海量历史数据库系统的功能组成与系统组织。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 课题研究背景

1.2 研究现状

1.3 本文研究内容及章节安排

2 海量历史数据库相关技术

2.1 Hadoop云计算平台

2.2 海量数据存储策略

2.3 数据索引机制概述

2.4 事务调度策略

2.5 本章小结

3 海量历史数据库关键技术实现

3.1 海量实时历史数据库系统

3.2 历史数据存储

3.3 历史数据索引机制

3.4 历史数据查询事务调度

3.5 本章小结

4 海量历史数据库系统

4.1 系统总体设计

4.2 数据采集与处理

4.3 数据文件与索引管理

4.4 查询事务处理

4.5 本章小结

5 全文总结与展望

5.1 论文的主要工作

5.2 展望

致谢

参考文献