Hadoop技术在三峡库区水质数据分析与管理中的应用研究

摘要

三峡库区地处中国长江流域，水资源丰富，在淡水储备战略方面具有十分重要的作用。但库区水位的攀升使得水体的净化能力逐渐降低。与此同时由于水体的污染加剧导致当地的水质污染问题日益突出。而随着信息技术的应用发展，水文领域在水情采集与业务处理等方面产生的数据量急剧膨胀，突发性水质污染的频发使得水文领域应用系统的时效性要求越发严苛，现代高效的水文系统一体化建设需求随之变得更加迫切。常用的水质分析方案将无法对海量数据进行及时快速的计算与查询，难以有效地获取水环境状况。　　Hadoop分布式技术具有易于扩展、并行计算能力强的优势，能够满足大数据量情况下的分析与存储。本文将在分布式技术基础上，设计三峡库区异常水质分析与管理系统。本文主要工作如下：　　①结合无线传感器网络实时性能强、成本低、分布广的优势，建立水质分析与管理系统的感知模块。通过Flume与Kafka构建数据接入模块，由Flume对水质数据进行接收，再交由Kafka集群进行数据缓存与模块解耦。　　②为了对水质进行有效的分析评价，构建水质在线分析模块。在该模块中，通过构建stacking算法进行模型融合来提升水质分类准确度，并借助Spark Streaming框架实现了stacking算法的并行化计算，从而可以对水质数据进行流式计算。　　③搭建基于Redis与HBase集群的数据存储模块，通过Redis内存式数据库缓存区域水质数据保证水质监控的实时性，通过HBase对节点水质数据进行分布式存储，采用Rowkey设计策略提升数据的查询能力，保证数据的持久化存储。其次，使用Spring MVC架构搭建系统软件平台，建立软件平台的后端框架与系统存储模块进行交互，将用户所需数据返回到前端页面，提供了用户登录功能、异常报警功能与节点数据查询功能以及节点可视化管理功能，并使用百度地图API与heatmap.js提升前端页面的直观性，实现了系统软件平台的功能需求。　　④在完成了系统的环境部署之后，对系统的各个模块进行功能性与非功能性测试。结果表明系统的各个模块能够协调工作，软件平台能够正常运行，系统保持良好的可用性，并证明了基于Spark Streaming的stacking在线分类模型能够有效提升水质分类的准确性，系统在数据处理与数据查询方面具有较好的性能，能够实现海量数据在线分析与管理的需求。

目录

1 绪 论

1.1.1 论文研究背景

1.1.2 论文研究目的

1.2.1 水环境监测现状

1.2.2分布式技术研究现状

1.3 论文主要研究内容及结构

1.4 章节安排

2 关键技术研究

2.1 Hadoop分布式框架

2.2 HBase结构

2.3 Flume结构

2.4 Kafka结构

2.5.1 Spark基本原理

2.5.2 Spark Streaming工作原理

2.6 SpringMVC服务技术

2.7 本章小结

3水质分析与管理系统需求分析与设计

3.1 水质系统架构分析

3.2 水质系统需求分析

3.2.1 系统功能性需求

3.2.2 系统非功能性需求

3.3 系统结构设计

①数据感知模块

②数据接入模块

③水质分析模块

④数据存储模块

⑤软件平台

3.4 本章小结

4 水质分析与管理系统的模块实现

4.1.1 模块组成

4.1.2 无线传感器网络实现

4.2 数据接入模块

4.2.1 数据接入模块框架

4.2.2 数据接入模块实现

4.3 水质分析模块

4.3.1 水质分析模块框架

4.3.2 分类模型分析

4.3.3 基于Spark Streaming的水质分析模型实现

4.3.4 水质分析模块实现

4.4 数据存储模块

4.4.1 HBase数据存储实现

4.4.2 Redis数据存储实现

4.4.3 Mysql数据存储实现

4.5 本章小结

5 水质分析与管理软件平台设计与实现

5.1 软件平台功能设计

5.2 软件平台架构设计

5.3.1 用户登录功能实现

5.3.2 用户日志功能实现

5.3.3 节点可视化功能实现

5.3.4 异常报警功能实现

5.3.5 数据查询功能实现

5.4 本章小结

6 系统部署与测试

6.1 系统部署

6.1.1 Linux节点部署

6.1.2 Hadoop与HBase部署

6.1.3 Spark部署

6.1.4 Kafka部署

6.2 功能测试

6.2.1 模块功能测试

6.2.2 系统平台功能测试

6.3 非功能测试

6.3.1 水质分类模型性能验证

6.3.2 Kafka读写性能测试

6.3.3 HBase查询性能测试

6.4 本章小结

7 总结与展望

7.1 全文总结

7.2 研究展望

参考文献

附录

A.作者攻读硕士学位期间参加的科研项目目录

B.作者攻读硕士学位期间参加的竞赛项目目录

C.学位论文数据集

致谢