基于Spark的农业大数据挖掘系统的设计与实现

摘要

随着信息技术的发展，各行各业产生大量数据。数据的涌现带来了新型技术的革新，人类已经从互联网时代进入到了大数据时代。农业是我国的第一产业，随着农业基础设施的不断完善，传感技术、物联网技术、遥感技术等各种技术的不断发展，为农业资源、农业生产、农业市场和农业管理等各个环节带来了大量数据。如何有效地利用这些海量数据，从中发现有价值的信息以便更好地服务农业，成为农业信息化技术发展的前沿课题。
　　我国农业涉及领域多样，农业结构复杂，影响因素多样。农业大数据具有存储介质多样、结构复杂、维度高、时效性强以及难于分析的特点。本文结合现阶段成熟的大数据技术，选取Hadoop的分布式文件系统HDFS解决海量异构农业大数据的存储问题，并选取基于内存的Spark计算框架，实现农业大数据的实时快速处理。此外农业海量数据中蕴含着丰富的信息，挖掘这些信息对指导农业发展具有重要的意义。聚类方法是数据挖掘中的一种常用方法，本文选取聚类算法中性能较高的谱聚类算法对农业大数据进行数据挖掘，提取隐藏在农业数据中的知识，发现规律，为农业提供决策支持并为涉农人员提供指导建议。
　　本文对农业大数据需求进行详细分析，设计了基于Spark的海量农业信息存储和分析的农业大数据挖掘系统。该系统采用了三层架构体系，底层为数据层，主要负责数据的采集、分布式存储等功能，数据层之上为业务层，提供计算框架以及逻辑处理功能，系统中的各类集成挖掘算法也由业务层实现。最顶层为交互层，实现系统与用户之间的交互。
　　本文根据设计方案实现了基于Spark的农业大数据挖掘系统，系统实现了农业大数据的存储、计算、分析与挖掘等功能。系统搭建了HDFS分布式文件系统，并搭建Spark并行计算集群。通过Spark生态系统的相关组件实现系统各个模块的功能。利用Spark SQL组件实现农业数据的查询和操作，利用Graph X组件实现并行化的谱聚类算法从而对农业数据进行聚类挖掘分析。最后对系统进行测试，选取中国土壤数据库提供的土壤肥力数据进行分析。结果验证了谱聚类算法对农业数据聚类分析具有重要的现实意义，而且农业大数据系统分布式的存储框架和并行化的计算对数据挖掘算法性能有极大的提高。所以本文基于大数据技术所设计与开发的农业大数据挖掘系统对推动农业信息化发展有着重要的现实意义。

目录

声明

致谢

摘要

图目录

表目录

1 绪论

1．1 研究背景与研究意义

1．2 国内外研究现状

1．2．1 国外农业大数据研究现状

1．2．2 国内农业大数据研究现状

1．3 研究目标和内容

1．3．1 研究目标

1．3．2 研究内容

1．4 论文技术路线

1．5 论文章节安排

1．6 本章小结

2 大数据技术的研究

2．1 大数据技术概况

2．1．1 大数据技术的内涵

2．1．2 大数据技术的发展

2．2 大数据处理框架Hadoop

2．2．1 Hadoop大数据生态圈

2．2．2 分布式文件系统HDFS

2．2．3 并行计算框架MapReduce

2．3 基于内存的并行计算框架spark

2．3．1 Spark生态系统

2．3．2 Spark核心数据模型RDD

2．3．3 集群架构及运行

2．3．4 GraphX

2．3．5 Spark SQL

2．4 本章小结

3 谱聚类算法模型

3．1 图论原理

3．1．1 图的基本概念

3．1．2 相似图

3．1．3 图划分原则

3．2 拉普拉斯矩阵

3．2．1 非归一化的拉普拉斯矩阵

3．2．2 归一化的拉普拉斯矩阵

3．3 谱聚类算法

3．3．1 谱聚类算法步骤

3．3．2 谱聚类算法一般流程图

3．3．3 算法时间复杂度

3．4 本章小结

4 农业大数据挖掘系统的设计

4．1 农业大数据挖掘系统的需求分析

4．2 农业大数据挖掘系统总体架构设计

4．3 农业大数据挖掘系统主要子模块设计

4．3．1 数据存储模块设计

4．3．2 数据分析模块设计

4．3．3 数据管理模块设计

4．4 本章小结

5 农业大数据挖掘系统的实现与应用

5．1 农业大数据挖掘系统运行环境

5．2 农业大数据挖掘系统分布式集群搭建

5．2．1 农业大数据挖掘系统Hadoop平台搭建与配置

5．2．2 农业大数据挖掘系统Spark平台搭建与配置

5．3 农业大数据挖掘系统功能实现

5．3．1 数据存储模块功能的实现

5．3．2 数据分析模块功能的实现

5．3．3 数据管理模块功能的实现

5．4 农业大数据挖掘系统的应用

5．4．1 实验过程

5．4．2 实验结果

5．5 本章小结

6 总结与展望

参考文献