基于物联网的农业大数据处理方法研究

摘要

物联网在农业信息化中的推广，庞大的传感器和RFID节点，能够更好地对生产环境中的信息进行监控，但是，它们采集的数据量规模会越来越大，数据会出现海量冗余，会对我们后续的业务处理任务造成了一些影响，不仅有性能瓶颈等问题，还会导致输出结果不可信。如此巨大规模的数据，是传统的数据处理方法遇到的难题，而随着大数据时代的步伐，出现了很多大数据计算框架，如Hadoop、Storm、Spark，很多企业选择它们，并做出了成功的案例，它们也相继被应用在农业大数据领域。根据数据的特点和使用场景，选择合适的处理工具，是进行数据处理必须要考虑的因素。对高度冗余的数据如何做预处理，对大数据做处理分析的系统如何做到健壮高效，都是不可忽视的细节。本文依据实践经验，基于农业系统中数据的数据流向和数据特征，根据Spark处理分析数据时的机制，从减少数据冗余，并从做大表关联优化的问题入手，提出了基于BloomFilter的数据过中间件，提出了Spark大表关联优化方法。本文的主要研究工作如下:
　　(1)基于物联网的农业数据采集端，采集的数据往往海量冗余，给后面的分析处理带来了一定问题，本文根据BloomFilter过滤数据的优点，在基于BloomFilter的基础上提出了对冗余数据进行过滤的优化方法。
　　(2)针对Spark这个大数据计算框架能够进行流式数据处理，能够处理基于物联网的农业数据流并且符合实时性要求，但是面对很大的两表进行连接操作时通常表现的效率不高和面对数据倾斜时造成的问题，给出了一个优化方法。
　　(3)将以上的优化方法运用于实际应用中。设计了一个基于Spark和农业物联网的系统模型，该模型中主要结合了上述1和2中优化方法，并对该系统模型进行了可行性分析和流程说明。

目录

第一章 绪论

1．1 研究背景和意义

1．2 农业物联网和大数据结合的应用现状

1．3 研究目的及意义

1．4 主要研究内容

1．5 论文的组织结构

第二章 基础理论与关键技术

2．1 数据预处理概述

2．2 BloomFilter简介

2．3 主流大数据计算框架关键技术

2．3．1 MapReduce编程模型

2．3．2 HDFS文件系统

2．4 Spark计算框架

2．4．1 Spark编程模型

2．4．2 Spark作业调度

2．4．3 Spark SQL

2．5 小结

第三章 基于物联网采集的农业数据过滤优化

3．1 农业物联网数据采集端

3．2 RFID数据流特征

3．3 标准BloomFilter假阳性概率说明

3．4 基于BloomFilter的联合查询器

3．4．1 基于BloomFilter的联合过滤器细节描述

3．5 算法分析

3．5．1 算法适用场景分析

3．6 实验及结果分析

3．7 小结

第四章 基于SPARK的两大表等值连接处理优化

4．1 BroadcastJoin和HashJoin及SortMerge分析

4．1．1 Join操作优化途径

4．2 Join key过滤采样分区优化算法描述

4．3 算法细节描述

4．3．1 连接分区过滤

4．3．2 采样统计数据分布

4．3．3 拆分分区再连接

4．4 算法分析

4．5 实验及结果分析

4．6 本章小结

第五章 基于物联和Spark的农业数据分析系统模型设计

5．1 基于物联网和Spark的农业数据分析系统可行性分析

5．2 基于物联网和Spark的农业数据分析系统架构设计

5．3 系统分层说明

5．4 处理流程分析设计

5．5 性能调优

5．5 小结

第六章 总结与展望

6．1 总结

6．1 展望

参考文献

致谢

攻读学位期间发表的学术论文目录

声明