科学数据查询的可视化构建及查询处理优化技术

摘要

海量科学数据的到来使领域科学家面临前所未有的科学数据管理困境。一方面，传统以表为数据模型的关系型数据库管理系统已经不能满足科学领域大规模科学数据的管理需求；另一方面，数据分析任务通常以分析型查询语句的形式表示，然而对于非计算机专业背景的领域科学家而言，使用查询语言编写复杂查询语句依旧比较困难。
　　为领域科学家提供大规模科学数据的管理分析及可视化查询构建支持，简化领域科学家对于科学大数据的管理工作，同时，优化复杂查询处理技术，提高复杂查询处理效率，具有十分重要的应用价值和研究意义。
　　本文结合科学数据的管理需求与分析型任务的特点，对科学数据查询的可视化构建及查询处理技术进行了深入研究和性能优化。主要研究内容包括:（1）对科学数据管理技术及科学数据常用查询模式进行分析，同时结合可视化查询编制技术，提出了科学数据的可视化构建策略；（2）设计并实现了一个支持任务可视化构建的科学数据分析系统FASTDS，并在天文学领域进行了应用与验证；（3）提出了chunk大小选择策略，加快数据加载的同时保证了查询性能不受影响；（4）使用了多查询调度加单查询优化及多查询优化两条技术路线对系统的多查询处理进行了优化。

目录

封面

声明

目录

中文摘要

英文摘要

第一章 绪论

1.1选题背景及研究意义

1.2国内外研究现状及分析

1.3研究内容及创新点

1.4论文组织结构

第二章 相关技术

2.1科学数据管理技术

2.2科学数据查询的可视化构建技术

2.3科学数据查询处理及优化技术

2.4本章小结

第三章 支持任务可视化构建的科学数据分析系统的设计与实现

3.1分析任务的可视化构建策略

3.2 FASTDS系统总体架构

3.3任务可视化构建子系统

3.4数据分析工具扩展支持子系统

3.5数据存储和分析子系统

3.6 FASTDS系统在天文学领域中的应用

3.7本章小结

第四章 FASTDS中的科学数据查询处理优化

4.1 FASTDS中的科学数据处理

4.2数据加载优化

4.3查询处理优化

4.4本章小结

第五章 总结与展望

5.1总结

5.2展望

致谢

参考文献

附录

图目录

表目录