基于数据增强和多模态特征的茶树物候期识别模型设计

摘要

近年来，人工智能研究和应用的热度持续上升，AI在许多领域中都展现出其独特的优势。智慧农业是人工智能与农业领域应用场景相结合的一个概念，目前，人工智能在农业领域的应用尚有较大拓展空间。　　农作物在生长过程中的长势监控和计算机自动识别具有重要意义，对农作物物候期，即其周期性生长时间节点的判断，可以及时为农业生产经营者提供作物培育管理的借鉴和指导，从而提升农作物的产量和品质，以及种植人员和经营企业的经济收益。获取及时准确的农作物长势反馈有较大的需求，但长期以来长势资料采集过程很大程度上依赖人工的巡查和记录，比较费时费力，效率也不高，且资料采集之后大量数据的分析处理过程也会耗费时间，以至于错过了采取及时农事措施的时机。本文以茶叶种植园区中的安吉白茶为实验对象，依托几处摄像头监测点采集的茶树植株图像，以及当地气象站的气象数据，设计基于多模态数据特征的茶树物候期识别模型，对安吉白茶在采摘季邻近时段的关键生长阶段进行识别。该模型可以为相关人员提供及时准确的白茶生长状态信息，显著减少现场巡查以及人工查看监控资料的工作量。模型可以针对多地点、小范围区域提供精细化的识别和提示，为茶农和企业做出茶叶采摘等农事安排计划提供参考依据。本文主要研究工作如下：　　①收集白茶生长的图像数据和当地气象站的气象数据，对图像数据进行前期预处理，对气象数据的气温、降水、湿度数据进行解析处理。鉴于茶树物候期识别任务图像数据规模小的情况，使用基于群体的数据增强（PBA）算法。选择常用图像变换操作构建增强策略搜索空间，设计在PBA算法中使用的图像分类轻量级模型和搜索空间探索算法。通过PBA算法得到针对安吉白茶物候期数据集的图像增强策略序列。　　②基于GoogLeNet的Inception模块和ResNet的Residual模块设计图像特征提取网络。在网络的前几层使用Inception模块的多种卷积核尺寸提取图像的多尺度特征，在网络后几层使用Residual模块加深网络深度、减少过拟合、加速图像特征提取计算速度。　　③基于长短期记忆网络LSTM提取气象数据的序列性特征，此气象特征是对一周时间内气象数据的抽象。设计MultiModalNet多模态网络模型，融合从图像数据和气象数据得到的多模态特征，实现对白茶物候期的识别。

目录

1 绪论

1.1.1 研究背景

1.1.2 研究意义

1.2 国内外研究现状

1.3.1 论文研究目的

1.3.2 论文研究内容

1.4 论文组织结构

2 相关理论与技术概述

2.1 基于深度学习的图像分类方法

2.1.1 卷积神经网络概述

2.1.2 经典图像分类模型

2.2 图像数据增强方法

2.2.1 图像变换常用操作

2.2.2 图像增强策略

2.3 本章小结

3 基于PBA算法的茶树图像数据增强

3.1.1 图像初步预处理

3.1.2 使用图像数据增强的目的

3.1.3 选择 PBA算法的出发点

3.2 图像增强策略与使用

3.2.1 图像增强策略与图像变换操作

3.2.2 图像应用增强策略的方法

3.3 PBA算法中的图像分类模型

3.4 搜索空间探索策略

3.5 PBA算法数据增强总体流程

3.6 本章小结

4 基于多模态特征的茶树物候期识别模型

4.1.1 茶树物候期识别

4.1.2 多模态数据

4.2.1 网络模型设计思路

4.2.2 多尺度特征提取网络

4.2.3 残差模块网络

4.3.1 主要气象要素

4.3.2 深度学习中的时序模型

4.3.3 利用 LSTM 提取气象特征

4.4 茶树物候期识别模型 MultiModalNet 总体架构

4.5 本章小结

5 实验与分析

5.1.1 数据收集

5.1.2 数据前期处理

5.1.3 数据集的组成

5.2.1 实验环境

5.2.2 Ray框架

5.2.3 TensorFlow 框架

5.3.1 PBA算法参数设置

5.3.2 PBA算法得到的图像增强策略序列

5.3.3 图像增强策略结果分析

5.4.1 模型训练过程

5.4.2 模型测试集和评价指标

5.4.3 PBA图像增强算法效果对比实验

5.4.4 MultiModalNet 模型效果对比实验

5.5 本章小结

6 总结与展望

6.1 总结

6.2 展望

参考文献

附录

A．作者在攻读学位期间参与的科研工作目录

B 学位论文数据集

致谢