农业大数据平台的实现与数据分析算法

摘要

随着农业现代信息化进程的不断发展以及农业种植、畜牧业、渔业、农产品加工、气象等数据的不断积累，农业数据正以前所未有的速度不断增长并形成了海量数据。我国农业领域数据具有数据实时性强、维度高、数据存储分散、难于综合分析等特性，一方面是因为我国农业结构复杂，农业数据涉及多个领域，另一方面农业数据又容易受到地理环境、土壤、天气、作物、病虫害等的影响。这些数据的有效利用需要相应的大数据平台作为支撑，大数据平台可以整合农业领域的数据，提供查询、下载、上传、可视化等功能;平台的数据挖掘方法可以挖掘隐藏在农业数据中的知识，发现规律;大数据平台还可以为农业工作者提出决策意见和指导建议。所以开发具有以上功能的农业大数据平台具有重要现实意义。
　　本文根据农业大数据的性质，分析了农业大数据平台的主要技术，对农业数据分析和可视化工具进行了较深入的探讨，提出了基于改进的谱聚类算法，并搭建了具有挖掘功能的农业大数据平台。论文主要工作如下:在农业数据收集方面我们通过中国统计年鉴、高校的实验数据和相关农业网站下载了一定量的农业数据，同时还使用网络爬虫技术抓取了一些农业相关网站数据，并利用这些数据建立了农业数据库。在农业数据平台数据挖掘和可视化两项关键技术研究方面，我们提出了针对农业大数据的基于闵可夫斯基测量相似程度的改进谱聚类算法，在UCI数据集中的seeds和soybean数据集的仿真实验结果表明论文提出的算法在聚类精度和运算速度上都有一定的提高。我们还使用多维数据的数据可视化技术，实现平台的数据可视化功能。在平台开发方面我们根据平台需求给出了系统设计方案并使用J2EE相关技术实现了平台的全部功能，在系统测试方面我们利用农业机械、畜牧业数据进行了实验仿真。
　　本文开发的农业大数据平台，用户界面友好使用简单，在数据收集方面我们通过网络爬虫模块，实现了数据自动获取和存储。除可以实现目前农业数据平台查询、上传、下载的功能外，还具有性能优越的数据挖掘模块和简单易懂的数据可视化模块。平台设计合理且实用。农业大数据关键技术的研究和平台的开发对农业信息化和智慧农业的发展具有重要的参考价值和推动作用。

目录

声明

摘要

1 引言

1．1 研究背景及意义

1．1．2 研究意义

1．2 国内外研究现状

1．2．1 国外研究现状

1．2．2 国内研究现状

1．3 主要研究内容

1．4 本文组织结构与技术路线

2 农业数据聚类与可视化研究

2．1．1 适用于农业领域的聚类算法

2．1．2 谱聚类算法的研究

2．1．3 处理农业数据的改进谱聚类算法

2．1．4 实验结果分析

2．2 数据可视化技术

2．2．1 数据可视化技术工作原理

2．2．2 数据可视化技术的SVG图形

2．3 本章小结

3 农业大数据平台的设计

3．1 平台可行性分析

3．2 平台设计原则

3．3 平台设计方案

3．4 平台功能模块的设计

3．4．1 数据管理模块

3．4．2 数据分析模块

3．4．3 数据可视化模块

3．4．4 平台的其他功能模块

3．5 本章小结

4 农业大数据平台的实现

4．1 平台实现环境

4．1．1 平台开发硬件环境

4．1．2 平台开发软件环境

4．2 平台页面的实现

4．2．1 大数据平台主页面

4．2．2 平台数据查询页面实现

4．2．3 登录注册页面

4．2．4 数据挖掘可视化页面

4．3 数据管理模块实现

4．3．1 网络爬虫实现

4．3．2 数据库的建设

4．4 数据分析功能实现

4．5 数据可视化功能实现

4．6 本章小结

5 平台测试实验

5．1 黑龙江垦区农业机械装备水平聚类

5．2 全国猪肉价格聚类

5．3 畜牧情况聚类

5．4 本章小结

6 结论

致谢

参考文献

攻读硕士学位期间发表的学术论文