基于Hadoop平台的天光残留成分的自动识别与检测

摘要

天光作为一种主要的噪声，叠加在目标天体光谱之中，降低了光谱的信噪比。LAMOST作为我国最大的光纤光谱望远镜，其拥有一套完整的观测运行系统以及数据处理的流程，其中减天光作为光谱数据处理中重要的步骤之一，目的在于减去目标光谱中叠加的天光噪声，减天光处理过程的有效性将直接影响目标光谱的信噪比。若经过减天光处理之后光谱中仍含有大量强度高的天光残差将不利于对目标光谱进行后续的分析。
　　目前，自动识别减天光异常恒星光谱的研究较少，只能通过人工检测的方法去寻找减天光异常的光谱，这将大大降低了检测的效率。此外，LAMOST项目在每个观测夜可观测数以万记的光谱数据，因此为了提高对海量光谱数据的处理能力，需要一个可靠和高效的处理平台。而Hadoop作为一个分布式的数据处理平台，可以实现对海量光谱中出现减天光异常光谱进行可靠、高效的识别与检测。综上，本课题主要完成以下工作:
　　(1)首先简要叙述LAMOST光谱的处理流程，并分析影响减天光结果的因素，找出减天光异常光谱的特征，然后提出一种简单有效的方法能够自动识别LAMOST经过Pipeline处理后仍然存在减天光异常的恒星光谱并检测其位置。
　　(2)基于Hadoop平台对光谱数据进行预处理，然后利用中值滤波算法实现分布式的连续谱归一化处理，其目的在于扣除光谱中的连续谱信息，仅仅保留光谱数据中需要的谱线和噪声信息。实验结果表明，该算法可以有效的保留谱线信息，并且应用Hadoop平台大大提高了对海量光谱的处理效率。
　　(3)利用Hadoop的高效性来检测天光线附近是否有一定强度的类似发射线或吸收线的残留来判定该天光线位置是否出现减天光异常，最后得出光谱中所有的减天光异常的天光位置。通过对LAMOST光谱数据的实验表明，这种方法可以有效识别出减天光异常的光谱和发现不同残留强度的天光线异常位置，并且该方法简单易懂，识别效率高，可以应用于大量的减天光异常光谱的识别与检测问题。

目录

声明

摘要

1．1 引言

1．2 夜天光

1．3 研究背景

1．4 研究意义

1．5 工作介绍和篇章安排

2．1．1 Hadoop概述

2．1．2 Hadoop项目

2．2 HDFS文件系统

2．2．1 HDFS设计

2．2．2 HDFS架构

2．3 MapReduce编程模型

2．3．1 MapReduce概述

2．3．2 MapReduce架构

2．4 本章小节

第3章 减天光异常光谱特征分析

3．1 光谱处理流程简介

3．2 影响减天光结果的因素分析

3．3 本章小节

4．1 连续谱归一化的设计

4．2 异常天光位置的识别与检测的设计

4．3 实验数据与实验环境

4．3．1 实验环境介绍

4．3．2 实验数据及其格式介绍

4．3．3 数据预处理

4．4 实验内容与步骤

4．5 实验结果与分析

4．5．1 连续谱归一化实验结果

4．5．2 减天光异常位置识别与检测实验结果

4．5．3 Hadoop性能分析

4．5．4 天光残留成分识别工具

4．6 本章小节

第5章 总结与展望

5．1 工作总结

5．2 后续研究与展望

附录

参考文献

攻读学位期间发表的学术论文目录

致谢