基于分布式计算的小麦干热风灾害预测研究

摘要

小麦是我国的主要粮食作物之一，小麦的健康生长对我国国民经济的稳定发展有着重要意义。河南省位于中国中东部，以冬小麦为主要粮食作物。由于华北地区的气候较为多变，农业气象灾害时常发生，严重影响小麦生长，这些灾害中以干热风最为常见并且危害很大，严重时甚至可以使小麦减产20％以上，所以在于热风灾害时常发生的情况下，如果能在灾害发生之前加以预测，并将预警信号发布出来，使农民积极采取措施，做到防灾抗灾，减少灾害所带来的影响，对小麦产量的稳步增长有着重大意义。
　　本文以小麦干热风农业气象灾害预测为研究对象，针对当前小麦干热风灾害在短期预报方面的相对薄弱，以及对天气预报的依赖性较强等问题，本文基于数据挖掘技术，充分利用历史气象数据，构建了小麦干热风灾害预测模型。在确定模型可行后，并将计算模型部署到分布式环境下，以应对以后数据量增长所带来的计算效率和实时性问题。最后构建了小麦干热风灾害预测原型系统，为用户提供灾害预测服务。本文所做的工作主要包括以下几个方面:
　　(1)小麦干热风灾害预测模型的构建。本文在分析了小麦干热风的致灾机理、等级指标后，通过对历史数据进行整理标注，标注完成后，初步筛选影响干热风的前期因子，共18个维度，采用主成分分析法抽取影响干热风发生的重要因子，为模型所面临的维度灾难提供了解决方法。然后选取数据挖掘中的BP神经网络和支持向量机算法作为备选算法对小麦干热风灾害进行预测，构建基于BP神经网络与支持向量机(SVM)的组合预测模型。最后通过对模型进行评价，证明该模型的可行性，可以用来对小麦干热风灾害进行预测。
　　(2)分布式环境下算法设计。为应对数据量增长所带来的实时性计算问题，设计了基于分布式计算平台Spark下的并行BP神经网络算法和并行支持向量机(SVM)算法。采用建立的小麦干热风灾害预测模型，进行实验，对比了单机环境下的模型和分布式环境下模型的效率。通过实验证明，分布式环境下的并行算法在数据量足够大的情况下效率要高于单机环境下的串行算法，为将来数据量增长，模型能够实时、高效计算提供技术支撑。
　　(3)小麦干热风灾害预测原型系统开发。架构设计主要包括数据采集以及预处理、分布式环境下模型的设计和实时的预测服务。其中数据处理主要包括对历史数据的挖掘和实时数据的计算分析;实时的预测服务主要基于分布式环境下的模型设计，构建分布式模型计算子系统，并通过WebAPI技术将预测结果展示出来。在分布式模型计算子系统中，每天接收的数据保留下来，作为历史数据进行训练，实时更新模型，用于下次小麦干热风灾害的预测。
　　本文通过将历史数据进行搜集整理，对小麦干热风气象灾害建立模型，验证其模型的可行性，并实现分布式环境下的模型设计，构建原型系统，实时高效的对小麦干热风进行预报。本文所做的工作为用户及时收到预测信息并采取措施避免减产提供技术支撑，为其他气象灾害的预测提供了一定思路，对我国小麦产量稳步增长具有一定意义。

目录

声明

致谢

摘要

1 文献综述

1．1．1 小麦干热风研究现状

1．1．2 小麦干热风灾害预测研究现状

1．2 数据分类技术研究

1．2．1 主流分类算法介绍

1．2．2 分类算法在农业的研究现状

1．3 分布式计算研究

1．3．1 分布式计算发展趋势

1．3．2 Spark在农业应用的研究现状

2 引言

2．1 背景与意义

2．2 技术路线

3 小麦干热风灾害预测模型构建

3．1 材料概述及分析

3．2 数据处理

3．2．1 数据预处理

3．2．2 数据标注

3．2．3 主成分分析

3．2．4 数据归一化

3．3．1 基于BP神经网络的小麦千热风灾害预测模型

3．3．2 基于支持向量机(SVM)的小麦干热风灾害预测模型

3．3．3 基于BP神经网络与支持向量机(SVM)的组合模型设计

3．4 实验结果与分析

3．4．1 实验结果

3．4．2 结果分析

4 分布式环境下预测模型设计

4．1 分布式环境下算法设计

4．1．1 基于Spark的并行BP神经网络算法设计

4．1．2 基于Spark的并行支持向量机(SVM)算法设计

4．2 分布式环境下模型设计

4．2．1 基于并行BP神经网络的小麦干热风灾害预测模型设计

4．2．2 基于并行支持向量机的小麦干热风灾害预测模型设计

4．2．3 基于Spark的并行BP加SVM组合模型设计

4．3 实验环境搭建

4．3．1 开发环境与软件包

4．3．2 集群拓扑机构

4．4 实验结果与分析

4．4．2 结果分析

5 原型系统设计与实现

5．1 系统体系结构

5．2 系统拓扑结构

5．3 系统设计与实现

5．2．1 数据采集子系统设计与实现

5．2．2 分布式模型计算子系统设计与实现

5．2．3 预测服务子系统设计与实现

6 结论与展望

参考文献