基于Hadoop平台的地震波形数据处理方法研究

摘要

近年来国家对地震领域的发展颇为关注，地震数据分析成为地震领域的热门话题。随着科学技术的不断发展，地震数据采集仪器的精密度有了很大提升。分散在国内的地震监测台站数量不断增加，这使得数据采集量大增。国家台网中心每天汇集约40GB的地震波形数据，如此海量的数据给数据存储和分析造成了很大的挑战。为了方便传输，通常将波形数据保存为SEED格式。在进行地震数据分析前，需要首先将SEED格式文件解压缩，得到原始样本序列。现有方法是利用串行思想，每次只能够解压缩单个文件，无法完成批量文件的解压缩操作。由于地震数据在采集过程中会收集到一些干扰信号，这些信号会影响地震分析的准确性，因此在解压缩得到原始样本序列后，需要先对序列进行滤波处理，保证地震数据分析的质量。面对大量地震波形数据时，串行滤波方法存在计算速度慢，处理效率较低的问题。
　　Hadoop是开源的分布式计算框架，也是目前使用较广泛的云计算技术之一。其核心组件分布式文件系统可以实现海量数据的可靠存储，MapReduce编程模型可以通过并行化方式处理大规模数据，缩短数据处理时间，因此可以利用Hadoop平台来解决上述问题。本文从如下方面进行了研究:
　　(1)基于地震波形数据文件的格式特征，对在Hadoop平台上并行处理该类数据文件进行可行性分析。
　　(2)利用MapReduce并行编程模型思想，设计了与地震波形数据文件相匹配的输入格式，提出并实现了批量地震波形数据文件的并行解压缩算法。其中采用二次排序方法确定通道内数据记录的排列顺序，保证解压后数据拼接的正确性。
　　(3)针对解压后得到的数据，通过分析滤波操作原理，结合MapReduce并行编程模型特点，提出了一种并行滤波处理算法，实现了多通道数据的并行滤波操作。
　　(4)搭建小型Hadoop集群环境，对提出的两种算法进行实验测试，分析实验结果及算法性能。

目录

声明

摘要

1 绪论

1．1 研究背景及意义

1．2 研究现状

1．2．1 解压缩及滤波处理的研究现状

1．2．2 Hadoop的发展现状

1．3 研究内容

1．4 组织结构

2 Hadoop相关技术

2．1 Hadoop简介

2．2 分布式文件系统HDFS

2．2．1 HDFS简介

2．2．2 HDFS架构

2．2．3 名称节点联盟

2．2．4 名称节点高可用性的实现

2．3 YARN

2．3．1 YARN简介

2．3．2 YARN架构

2．4 MapReduce

2．4．1 MapReduce简介

2．4．2 MapReduce工作流程

2．4．3 MapReduce On YARN工作流程

2．5 本章小结

3 基于Hadoop平台解压缩地震波形数据

3．1 地震波形数据简介

3．1．1 地震波形数据分类

3．1．2 地震波形数据格式

3．2 串行解压缩算法

3．2．1 Steim2压缩算法的原理与实现

3．2．2 解压缩算法原理

3．3 基于Hadoop平台解压缩地震波形数据

3．3．1 可行性分析

3．3．2 设计思路

3．3．3 输入格式设计

3．3．4 Map阶段的实现

3．3．5 二次排序的设计思路

3．3．6 Reduce阶段的实现

3．4 本章小结

4 并行解压缩实验测试及分析

4．1 实验环境

4．1．1 实验平台的软硬件环境

4．1．2 实验平台的搭建

4．1．3 实验数据

4．2 实验设计及结果分析

4．2．1 正确性验证

4．2．2 运行效率对比实验

4．2．3 加速比实验

4．3 本章小结

5 基于Hadoop平台的地震波形数据滤波处理

5．1 数字滤波简介

5．1．1 频率域滤波器分类

5．1．2 有限脉冲响应滤波器工作原理

5．1．3 基于窗函数法设计有限脉冲响应滤波器

5．2 基于Hadoop平台的地震波形数据滤波处理的设计与实现

5．2．1 地震滤波意义

5．2．2 并行滤波的设计思想

5．2．3 并行滤波的实现

5．3 实验测试及分析

5．3．1 实验环境及数据

5．3．2 实验设计及结果分析

5．4 本章小结

6 总结与展望

6．1 总结

6．2 展望

参考文献

致谢

攻读学位期间取得的科研成果清单