海量无线电监测数据的分布式存储及检索技术研究

摘要

随着物联网、4G网络、移动互联等技术的广泛使用，无线电通讯得到大量应用。然而由于伪基站、黑广播、卫星电视干扰器等设备的大量出现，导致了无线电波的秩序受到了严重的扰乱破坏。为了保障无线电波秩序，需要及时对无线电信号进行监测，监察并严惩扰乱秩序的无线电设备和相关使用人员。无线电资源的管理工作涉及到国家安全和隐私保护等方面，随着社会信息化的不断推进，无线电频谱资源的管理与利用越来越重要。
　　无线电监测网已经形成了国家、省、地市监测中心，具备联网监测能力。同时，无线电监测已经形成了海量的监测数据，然而由于无线电台站自身的分散性以及监测软件的网络联动能力和智能化程度都不高，采集到的数据都以原始数据的形式存储在本地数据库中，并没有有效的进行分析、整理。另外，面对海量的监测数据，SQL查询效率是不能够忍受的，这就导致了无线电监测数据的孤立化存储，利用率极低，无法迅速的把有效信息提供给无线电监管部门。
　　针对上述现状，本文设计了一种针对分布、海量的无线电监测数据的处理、存储及检索模型，实现了对无线电监测数据的分布式存储以及高效检索。本文的主要工作有：
　　（1）设计了一种无线电监测数据的预处理方法。针对无线电监测设备监测到的不同类型的无线电数据，首先按照时间维度对监测数据进行划分；然后采用K-Means算法对时间维度上的监测数据进行聚类分析；最后计算数据与类中心点的距离值，移除噪声点。
　　（2）设计一种以特征参数方式存储和检索的方案。本文基于无线电信号的一些统计特征与信号的业务类型之间的联系，在时间维度上，提取出监测数据的33个特征参数，作为该段时间内所有监测数据的表示。
　　（3）设计并验证了一种针对海量无线电监测数据的分布式存储及检索原型系统。包括设计了UIP统一接口平台、存储层、检索层以及时间同步服务等，并放弃无线电监管行业现在普遍采用的SQL数据库，采用NoSQL数据库HBase实现对监测数据的分布存储和检索。
　　本文整体上完成了对无线电监测数据的分布式处理、存储及检索，实现了对无线电监测数据的快速处理，为无线电监管部门提供了对监测数据的有序存储、快速检索和可靠分析，可以极大的满足未来海量监测数据的存储和检索需求。本文的部分研究成果已经成功应用在“无线电智能监测网络系统”和“省市两级无线电智能监测网络系统试验网集成工程”项目中。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 研究背景

1.2 研究意义

1.3 论文主要工作和组织结构

2 基础理论

2.1 噪声点检测

2.2 HDFS文件系统

2.3 HBase 分布式数据库

2.4 本章小结

3 无线电监测数据的预处理

3.1 噪声点检测

3.2 特征提取

3.3 本章小结

4 无线电监测数据的分布式存储及检索

4.1 存储及检索分析

4.2 存储及检索设计

4.3 实验效果分析

4.4 本章小结

5 总结与展望

5.1 总结

5.2 展望

参考文献

攻读硕士学位期间发表论文及科研成果

致谢