基于天区划分索引的天文图像数据高效检索方法

摘要

天文学在过去、现在以及将来都一直是一门以数据为基础的学科，由望远镜拍摄到的图像数据是天文学数据中非常重要的一部分。近年来随着望远镜的建设以及各项大型巡天观测项目的开展，天文图像数据量在飞速增长，现在已经到达了TB量级并向着PB量级快速迈进。天文学已经进入了大数据时代。巨大的数据量对于天文学中传统的数据分析处理流程及工具都提出了新的挑战。天文学者的日常研究中往往关注于一个具体的目标，因此不需要也不能够处理全部的海量观测数据，因此，要有效使用大数据的第一步也是最为关键的一步就是要能够在其中寻找到真正需要的数据子集。
　　本文从天文学领域中需要从大量数据中检索FITS图像文件的这一现实需求出发，提出了一套基于天区划分索引的天文图像数据高效检索方法（Accelerating Query Using Area pixelization indexing，AQUAdex）。本方法采用了“原位”（in-situ）的数据处理模式，无需数据导入过程即可对原始图像数据建立索引并进行检索。经过专门设计的索引结构仅保留了检索中需要的关键信息，从而维持了较小的索引数据体积并使其可以被完全载入内存之中而避免了昂贵的磁盘I/O交互开销。另外，本方法还适用于数据中心中多核心多节点的服务器架构，并发请求处理能力优秀。
　　本文使用AQUAdex方法为真实观测数建立了索引，检索实验结果表明基于天区划分的索引查询效率比非基于天区划分的索引查询效率提高了9倍之多。AQUAdexIM采用纯内存计算的方式，其对天文图像数据的检索效率相比于应用广泛的内存数据库Redis也提升了10倍之余。此外，本文中提出的方法还实现了对多核多节点运行环境的支持，尽可能充分地利用现有的计算资源来提高并发响应速度。

目录

声明

第1章 绪论

1.1 课题背景

1.2 国内外研究现状及发展趋势

1.3 主要工作和贡献

1.4 本文内容和结构

第2章 天文图像数据检索概述

2.1 天文图像数据概述

2.1.1 天文时序数据介绍

2.1.2 FITS数据格式

2.1.3 伪球面划分方法介绍

2.2 大规模数据管理相关工作概述

2.2.1 NoSQL型数据库介绍

2.2.2 内存数据库介绍

第3章 天文时序图像数据的高效索引与查询方法设计与实现

3.1 问题定义与分析

3.2 AQUAdex索引方法设计

3.2.1 一种简单的直接索引方法

3.2.2 AQUAdex索引方法

3.3 改进的AQUAdex索引方法设计

第4章 AQUAdex及AQUAdexIM应用于天文图像数据检索的实验设计及分析

4.1 实验设计与实验数据说明

4.2 AQUAdex对于天文图像数据的检索效率实验与分析

4.2.1 索引建立过程的开销实验与分析

4.2.2 AQUAdex索引引擎的参数实验与分析

4.2.3 AQUAdex的检索效率实验与分析

4.3 AQUAdexIM对于天文图像数据的检索效率实验与分析

4.3.1 AQUAdexIM数据载入开销的实验与分析

4.3.2 AQUAdexIM与Redis的检索性能对比

4.4 AQUAdexIM方法的并行化实现与评价

4.4.1 AQUAdexIM在多核服务器环境下的改进与实验

4.4.2 AQUAdexIM在多核多节点服务器环境下的改进与实验

第5章 总结与展望

参考文献

发表论文和参加科研情况说明

致谢