基于HDF5的海量金融数据存储管理系统

摘要

随着金融公司业务的不断扩大，原有的软件已经越来越不能适应公司快速发展的需要，这就对金融数据处理和存储软件提出了更高的要求。
　　本论文在分析总结了HDF5在国内外的研究现状后，提出了基于HDF5文件格式建立集中存储的解决方案，将原来由多个软件来处理的数据文件由集中的解析程序来进行集中处理。通过对供应商的多种数据文件格式的分析，抽象出公共的处理方法和特别的处理方法，对于公共的处理方法由程序的公共类库和框架本身来处理，同时引入可配置的插件模型技术来处理特别的处理方法。另外引入了基于HDF5文件格式的数据存储管理系统，该系统为数据的存储提供了一个公共的平台和存储机制。由于HDF5文件格式本身不能基于主键进行查找，本文实现了为 HDF5文件建立索引以达到主键的快速查询的目的。本文将系统分为三个大的模块，分别是：存储模块、解析模块、外部接口。其中存储模块解决公共存储平台的问题，提供了一个统一存储的地方；解析模块解决各种不同的数据文件格式的处理；外部接口主要是提供由开发人员使用的低层程序接口及由普通用户使用的Web接口和桌面程序。
　　目前系统已经部署，并且运行良好，很好的解决了信息独岛问题，为用户提供了一个统一的存储平台，减少了需要维护的软件数量，从而降低了运营成本。同时设计的可配置解析系统能够快速的响应多变的客户需求，提高了公司运行的效率。

目录

封面

中文摘要

英文摘要

目录

第1章 绪论

1.1课题来源及项目名称

1.2与本课题有关的国内外研究状况

1.3本课题研究的主要内容

第2章 金融数据存储管理系统需求分析与关键技术

2.1系统需求分析

2.2关键技术

2.3 本章小结

第3章 金融数据存储管理系统的设计

3.1 系统总体设计

3.2系统各模块的详细设计

3.3本章小结

第4章 金融数据存储管理系统的实现

4.1 存储模块的实现

4.2 解析模块的实现

4.3 外部接口模块的实现

4.4 本章小结

第5章 金融数据存储管理系统的测试

5.1 系统测试准备

5.2 系统的功能测试

5.3 系统的非功能测试

5.4 测试结论

5.5 本章小结

结论

参考文献

声明

致谢

个人简历