基于大数据处理的农业气象灾害评估模型研究

摘要

随着气候环境对农业生产的影响日益密切，如何高效处理海量增长的气象数据，提高农业气象灾害预警的科学性成为农业气象灾害研究的热门。由于气象数据具有数据量大、类型繁多、冗余度高、价值密度低等特点，所以传统的数据分析方法往往达不到很高的处理效率。本文的主要工作就是针对气象大数据的特点，结合数据分析的研究成果，进一步研究了更加高效的大数据处理技术并应用于农业气象灾害预警。
　　本文介绍了气象大数据的处理架构，概述了大数据处理技术，分析了现有大数据预处理技术、分类技术及各自性能。概述了自适应增强技术和分布式处理架构，分析了组合分类器和并行化技术在大数据处理中的作用，为进一步研究农业气象灾害预警提供准备工作。
　　针对气象数据类型复杂、属性繁多的特点，结合粗糙集理论和并行化处理技术，本文首先提出一种基于信息熵的并行化属性约简算法。通过信息熵属性约简算法消除重复、冗余的气象数据，实现对知识的压缩和再提炼，并利用MapReduce架构将任务进行划分，实现算法的分布式处理。仿真结果表明，该并行化算法能够有效的运用于气象大数据约简，且具有更快的处理速度。
　　针对农业气象灾害分类预测效率低下的问题，本文提出了基于MapReduce的K最近邻组合分类预测模型。该模型在自适应增强思想的基础上，将K最近邻(k-Nearest Neighbor，KNN)分类算法进行融合，通过寻找最优的KNN基分类器个数，构造KNN组合分类器，并利用MapReduce并行化架构，实现算法的分布式处理。仿真结果表明，该并行化组合分类模型，准确率更高，处理速度更快。
　　最后，利用本文提出的大数据处理技术，以低温、寡照气象灾害等级指标为例，对农业气象灾害的等级进行分类预测，实现农业气象灾害的评估与预警。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．2．1 大数据处理技术研究现状

1．2．2 农业气象灾害研究现状

1．3 研究内容

1．4 论文结构

第二章 气象大数据处理相关技术概述

2．1 气象大数据概述

2．1．1 气象大数据处理架构

2．1．2 气象大数据特点

2．2 气象大数据预处理技术概述

2．2．1 气象大数据预处理的研究内容

2．2．2 粗糙集理论模型

2．2．3 气象大数据知识约简

2．3 气象大数据挖掘相关技术概述

2．3．1 气象大数据挖掘过程

2．3．2 K最近邻分类算法

2．3．3 自适应增强技术

2．4 MapReduee技术概述

2．4．1 MapReduce执行过程

2．4．2 MapReduce作业处理机制

2．5 本章小结

第三章 基于信息熵的并行化属性约简算法

3．1 问题描述

3．2 基于信息熵的并行化属性约简算法

3．2．1 信息熵约简

3．2．2 信息熵约简的并行化

3．3 仿真实验与结果分析

3．3．1 约简过程分析

3．3．2 算法性能分析

3．4 本章小结

第四章 基于MapReduce的K最近邻组合分类器研究

4．1 问题描述

4．2 基于MapReduee的KNN组合分类器

4．2．1 KNN组合分类器

4．2．2 KNN算法的并行化

4．3 仿真实验与结果分析

4．4 本章小结

第五章 大数据处理技术在农业气象灾害评估中的应用

5．1 问题描述

5．2 农业气象灾害风险评估

5．2．1 气象灾害等级指标

5．2．2 农业气象灾害风险指数

5．2．3 农业气象灾害评估结果

5．3 本章小结

第六章 总结与展望

6．1 工作总结

6．2 未来展望

致谢

参考文献

作者简介