玉米雄穗发育状态自动观测中的图像理解与分析

摘要

叶片、穗、果实等作物性状反映作物不同时期的发育状态。监测其生长状态对于育种、指导耕种、发育期观测、估产等农事任务具有重要意义。当前的作物性状自动观测手段仅针对盆栽等受限环境下的作物，对于田间作物目前仍主要依赖于人工观测。考虑到实验室中培育出的作物品种最终都需要种植在温室或大田中，田间观测在实际中更加重要。如何为这类传统主要依靠人工完成的田间监测任务带来自动化的解决方案是当前智慧农业发展的迫切需求。由于大部分获取的数据多以图像和视频的形式呈现，计算机视觉因而在帮助机器理解田间对象、场景的过程中扮演着重要角色。为了更好解决田间的视觉问题，研究者需要回归到计算机视觉本身理解田间环境、田间对象究竟带来了怎样的视觉挑战，并思考如何克服这些田间特有的难点。基于以上动机，本文以田间玉米雄穗为研究对象，围绕其生长过程中涉及的若干典型视觉问题，从计算机视觉的角度开展基础研究。 首先，针对复杂场景下不同颜色属性对象的自动分割问题，本文提出了基于区域颜色建模的分割算法。通过融合不同粒度的超像素以及构建组合神经网络模型，算法可适用于以颜色作为主要视觉线索的语义分割任务。作物和玉米雄穗联合分割数据集上的实验结果验证了所提方法的有效性、通用性与可扩展性。 其次，针对田间不同开花状态的纹理识别问题，本文首次引入了“部分开花”这一概念。本文研究发现不同开花状态的视觉差异反映到特征空间中通常表现为较大的类内差异和较小的类间差异。受最大间隔思想启发，本文提出了一种测度学习方法直接优化特征投影到低维空间后的类内类间欧式距离。在玉米雄穗开花状态数据集上的实验结果证明了提出的方法可有效提高开花状态识别率。 再次，针对不同作物品种的细粒度视觉分类问题，本文首次展示了可基于作物穗的视觉特性对品种识别（相比常规基于种子的视觉特性）。在该细粒度视觉分类任务中，不同品种体现出的视觉差异更加细微。为了突出目标的局部差异，本文提出了一种由滤波器引导的卷积响应特征编码与选择机制以提取具有判别力的二值化特征。玉米雄穗品种数据集上的实验结果显示提出的方法可高效准确的对玉米品种完成识别。 另外，本文首次考虑了非受限田间环境下以植物为研究对象的目标计数问题。为了克服田间目标表现出的外观、姿态、尺度及物理尺寸等差异，本文基于局部回归的思想，提出直接建立局部图像与局部计数之间的映射关系，并基于深度学习构建了局部计数回归网络模型，以数据驱动的方式学习这种映射关系。在田间玉米雄穗计数数据集上的实验结果验证了该方法显著优于当前技术发展水平。 进一步，本文意识到农业背景下的计算机视觉应用存在着一个尴尬现状：受作物自然生长规律所限，农业图像数据的采集代价十分昂贵且耗时，研究人员往往只能通过历年来收集的历史数据建立模型，却需要将模型应用到尚且未知的田间场景中。年份、地域和品种的不确定性带来的内在、外在视觉差异易导致数据分布差异，从而造成模型性能显著下降。本文从领域适应的角度尝试纠正这种分布差异。基于实验中观察到的卷积神经网络特征所呈现出的模式规律，本文提出了一种无显式适应的视觉领域适应方法，可适用于任意以分类为目的视觉领域适应问题。在公共数据集与跨域开花状态识别数据上的实验结果均显示所提方法能以轻量的计算代价取得高质量的适应性能。 最后，本文将所提出的相关技术集成到了一个作物发育期自动观测系统中，并展示了该系统在玉米抽穗期和开花期自动检测上的应用。在与国内各地气象站观测员2010至2015年间实地观测的结果对比后发现，该系统能取得与人工观测相当的精度，验证了本文研究内容具有实际应用价值。 总之，本文希望通过以上这些围绕玉米雄穗的视觉问题为例，向读者展示田间环境下的各种视觉挑战，因为这些视觉挑战具有普遍性与代表性，会出现于多数田间视觉问题中。因此，计算机视觉是农业自动化过程中的关键技术之一，本文的研究工作以及取得的成果对于农业自动化、智能化有着重要的理论意义以及应用前景。

目录

第一个书签之前

摘要

插图索引

表格索引

1 绪论

1.1 研究背景及意义

1.2 田间图像自动观测系统

1.3 国内外研究与发展现状

1.3.1 基于颜色的图像分割

1.3.2 开花状态纹理识别

1.3.3 细粒度作物品种分类

1.3.4 田间目标计数

1.3.5 视觉领域适应

1.4 田间自动观测的难点与挑战

1.5 主要研究内容

1.6 课题来源与行文安排

1.6.1 论文课题来源

1.6.2 论文行文安排

2 基于区域颜色建模的联合语义分割

2.1 引言

2.2 融合超像素的图像区域生成

2.3 基于组合神经网络的语义标注

2.4 作物与玉米雄穗分割数据集

2.5 实验结果与分析

2.6 本章小结

3 基于测度学习的开花状态纹理识别

3.1 引言

3.2 雄穗开花状态的视觉特征表达

3.3 基于最大间隔思想的开花状态特征维数约减

3.4 玉米雄穗开花状态数据集

3.5 实验结果与分析

3.6 本章小结

4 基于卷积响应特征编码的高效细粒度作物品种分类

4.1 引言

4.2 滤波器引导的CNN特征编码机制

4.3 基于查找表和对偶正则平均的快速分类器学习与在线优化

4.4 玉米雄穗品种分类数据集

4.5 实验结果与分析

4.6 本章小结

5 基于深度局部计数回归网络的田间目标计数

5.1 引言

5.2.1 回归目标

5.2.2 网络结构

5.2.3 损失函数

5.2.4 局部计数的合并和归一化

5.3 玉米雄穗计数数据集

5.4 实验结果与分析

5.4.1 算法实现与训练细节

5.4.2 计数性能评价指标

5.4.3 评估不同的网络结构、训练样本数量、损失函数、高斯核参数以及子图像块大小对计数性能的影响

5.4.4 与当前技术水平的比较

5.5 本章小结

6 线性判别分析启发的视觉领域适应

6.1 引言

6.2 基于类均值学习特定类别投影

6.3 迭代推测目标域样本标签

6.4 半监督领域适应的扩展

6.5 实验结果与分析

6.5.1 数据集、实验准则与基准方法

6.5.2 消融分析

6.5.3 OC10和O31数据集上无监督领域适应的评估

6.5.4 OC10和O31数据集上半监督领域适应的评估

6.5.5 SS5和MTFS3–DA数据集上半监督领域适应的评估

6.5.6 收敛性分析与效率对比

6.6 本章小结

7 玉米关键发育期自动观测集成软件系统

7.1 引言

7.2 玉米抽穗期自动检测

7.3 玉米开花期自动检测

7.4 本章小结

8 全文总结与展望

8.1 主要研究内容

8.2 主要创新点

8.3 研究展望

致谢

参考文献

附录 A 攻读学位期间发表的学术论文

附录 B 发表的学术论文、发明专利与学位论文的关系

附录 C 作者在博士期间主要参与的课题