一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法

摘要

本发明公开了一种基于光谱与RGB‑D融合图像的小麦氮积累量预测方法，属于精准农业技术领域。该方法根据RGB图像与深度图像对应像素之间的相关性，提出RGB图像与深度图像的像素级融合算法；通过构建结合小麦冠层颜色与结构信息的特征参数，对单一光谱特征预测小麦叶层氮积累量(Leaf layer nitrogen accumulation，LNA)和地上部氮积累量(Shoot nitrogen accumulation，SNA)的模型进行补偿，建立基于多维特征的预测模型。克服了光谱技术在预测小麦氮积累量时忽视冠层结构各向异性特征，导致预测结果精度低、不稳定等弊端，冠层结构特征的加入对基于光谱预测氮积累量模型进行了有效补偿，预测模型具有更好的精度与稳定性。

说明书

技术领域

本发明涉及一种预测方法，尤其是一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法，属于精准农业技术领域。

背景技术

氮素是小麦生长发育所需的关键元素，对小麦的产量和品质的影响至关重要。快速有效地掌握小麦关键生育期的氮素营养指标状况，是实现肥料精准管理的前提。传统的氮素营养指标估算多采用化学分析的方法，费时费力，随着光谱分析技术和图像传感技术的不断发展，氮素营养指标无损检测技术的时效性越来越强、测试方法越来越简便。

光谱分析技术的基础主要是将作物冠层简单化、理想化视为各向同性、均匀的朗伯体，但已有的植被冠层与辐射相互作用机理的研究表明，把植被冠层视为朗伯体的假设与实际情况相差较大，忽略了冠层结构各向异性特征对于光谱的影响，检测结果不够稳定，且精度相对较差。

因此，有必要结合光谱特征和冠层结构特征对作物的氮素营养状况进行检测。目前，冠层结构特征的提取多依赖于数字图像处理技术，通过分析图像特征表达作物冠层的颜色与形态特征差异。由于只使用了可见光波段信息，图像的R、G、B值易受拍摄时光照条件的影响，并且二维数字图像难以反映作物冠层三维形态信息，因此基于二维数字图像构建氮素营养指标估算模型，准确度并不理想。

发明内容

本发明的目的在于针对上述现有技术存在的缺点，提出一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法，通过融合RGB图像和深度图像，构建结合小麦冠层颜色与三维结构信息的特征参数，对单一光谱特征预测小麦氮积累量的模型进行补偿，有效提升模型的精度与稳定性。

为实现上述目的，本发明采取的技术方案是：一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法，其包括以下步骤：

步骤1：在小麦拔节期、孕穗期与抽穗期分别获取冠层的光谱信息、RGB图像和深度图像，并利用敏感波段构建植被指数，提出空洞填充算法修复深度图像；

步骤2：将深度图像和RGB图像对齐后，结合RGB图像的颜色特征和修复后深度图像的高度特征，分割小麦冠层；

步骤3：利用IHS变换将RGB图像分别和深度信息、相位信息进行融合，得到不同空间模型下的小麦冠层图像；

步骤4：计算融合后小麦冠层图像的颜色共生矩阵，提取小麦的冠层结构特征；

步骤5：对小麦的冠层结构特征进行筛选，结合筛选后的结构特征和光谱特征对氮积累量进行预测。

进一步的，所述步骤1中利用敏感波段构建植被指数，提出空洞填充算法修复深度图像，包括如下步骤：

步骤1-1：获取小麦冠层光谱信息，利用小麦氮素敏感波段构建植被指数，生成光谱特征；

步骤1-2：获取小麦冠层的深度图像，根据空洞产生的原因将图像中的空洞分类分析，利用类别特征进行空洞修复。

更进一步的，在深度图像修复时，将空洞出现的情况分为两类进行讨论，第一种为空洞出现在叶片内部，属于局部空洞，第二种是空洞出现在不同区域的交界处，属于大面积空洞；根据不同空洞类别的分析设计空洞填充算法，首先对作物行图像的深度信息进行列遍历，寻找所有空洞点或线的位置，计算该点或线前后非零深度信息的差值H，通过将H与人为设置的阈值T进行比较，对空洞的类型进行区分；当H

进一步的，所述步骤2中提出的分割小麦冠层方法，包括以下步骤：

步骤2-1：利用不同坐标系的转换方法，将深度图像的坐标系转换到世界坐标系，再转换到RGB图像坐标系，从而实现深度图像与RGB图像的对齐；

步骤2-2：将RGB模型转换至HSI模型，通过色调的定义去除土壤背景，降低光照变化对于作物行提取的影响。

进一步的，所述步骤3中提出的图像融合方法，包括以下步骤：

步骤3-1：根据反平方定律，将深度信息(D)转换为相位信息(P)；

步骤3-2：利用IHS变换将深度信息和相位信息替换I通道的信息，得到融合后的HSP和HSD图像。

更进一步的，采用熵和交叉熵两种指标对融合图像的质量进行评价，在进行图像评价前将HSI空间的图像转换为RGB图像，并进行灰度化操作；图像的熵(E)用于衡量图像信息的丰富程度，熵越大，则表示图像的信息量越多，交叉熵(C)用于评价两幅图像的差异，交叉熵越小，说明融合图像与源图像的差异越小，则该融合方法从源图像中提取的信息量越多；熵和交叉熵其计算公式分别为：

其中，L表示图像灰度级别，即为256，p

进一步的，所述步骤4中提出的冠层结构特征提取方法，包括以下步骤：

步骤4-1：分别计算HS通道、HP通道、HD通道、SD通道和SP通道的颜色共生矩阵；

步骤4-2：计算不同颜色共生矩阵下的纹理特征，包括：比度(CON)、角二阶矩(ASM)、相关系数(COR)、逆差矩(IDM)和熵(ENT)。

更进一步的，所述颜色共生矩阵的计算方法为：首先将RGB图像进行颜色空间转换，计算其在HSD和HSP空间模型中的对应值，将H、S、D、P分量非均匀量化为8个部分，减少信息冗余，在计算CCM时，将四个分量分别设为C

其中，颜色共生矩阵中的第i行第j列元素用p(i,j)表示。

进一步的，所述步骤5中提出的氮积累量预测方法，包括以下步骤：

步骤5-1：将小麦冠层结构特征与小麦氮积累量进行线性拟合，通过比较R

步骤5-2：分别利用线性和非线性模型对小麦的氮积累量进行预测，比较单一光谱特征和光谱与冠层结构特征组合后的预测精度。

更进一步的，选取多元回归分析和BP神经网络两种方法分别构建模型；多元线性回归的模型如下：

其中，num为不同特征的数量，x

在BP神经网络的隐层中设置10个神经元，训练函数为Bayesian Regularization；通过计算R

其中，y

与现有技术相比，本发明具有以下有益效果：

(1)提出了一种深度信息的空洞填充算法，有效避免了由于信息丢失造成的特征损失；

(2)利用IHS变换将RGB图像和深度图像进行融合，融合图像的纹理特征中含深度信息，从而能够突破二维图像提取冠层结构特征的局限，表达小麦冠层的三维结构信息。融合图像的特征与光谱特征的组合能够有效提升预测小麦氮积累量的精度和稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施或现有技术描述中所需要使用的附图做一一介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程示意图；

图2为小麦的深度图像示意图；

图3为空洞填充算法修复后的深度图像；

图4为小麦的RGB图像示意图；

图5为不同氮素处理下小麦和杂草的高度信息图；

图6为小麦冠层分割后的示意图；

图7为不同光照条件下的RGB-D融合图像；

图8为小麦冠层结构特征的筛选结果。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法，该方法为：在获取小麦冠层的RGB和深度图像后，利用空洞填充方法对深度图像进行修复，避免由于信息丢失造成的特征损失。将深度图像和RGB图像对齐后，结合RGB图像的颜色特征和修复后深度图像的高度特征，分割小麦冠层。利用IHS变换将RGB图像和深度图像进行融合，计算融合后小麦冠层图像的颜色共生矩阵，提取小麦的冠层结构特征。对小麦的冠层结构进行筛选，结合筛选后的结构特征和光谱特征对氮积累量进行预测。

下面结合附图和具体实施例，对本发明的技术方案做进一步的详细描述。

实施例一：

图1为本发明一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法的流程示意图，如图1所示，该方法可以包括如下步骤：

步骤1：在小麦拔节期、孕穗期与抽穗期分别获取冠层的光谱信息、RGB图像和深度图像。利用敏感波段构建植被指数，利用敏感波段构建植被指数，提出空洞填充算法修复深度图像。

需要补充的是，选用730nm和815nm的光谱反射率红边归一化植被指数(NDRE，Rededge normalized difference vegetation)比值植被指数(RVI，Ratio vegetationindex)。植被指数的计算公式如下：

NDRE＝(R815-R730)/(R815+R730) (1)

RVI＝R815/R730 (2)

其中，R730和R815分别表示小麦在730nm和815nm波段的反射率。

在深度图像修复时，将空洞出现的情况分为两类进行讨论。第一种为空洞出现在叶片内部，主要是受到周围环境的影响，例如光照和振动等，这种空洞的面积通常较小，深度信息与周围深度信息接近，属于局部空洞。第二种是空洞出现在不同区域的交界处，产生原因与传感器的适用范围有关，主要发生在叶片边缘深度信息跳变处，属于大面积空洞。根据不同空洞类别的分析设计空洞填充算法。首先对作物行图像的深度信息进行列遍历，寻找所有空洞点(线)的位置，计算该点(线)前后非零深度信息的差值H。通过将H与人为设置的阈值T进行比较，对空洞的类型进行区分。当H

对于不同T值下的空洞修复结果，如下表1所示。

表1不同T值下的空洞修复结果

步骤2：利用不同坐标系的转换方法，将深度图像的坐标系转换到世界坐标系，再转换到RGB图像坐标系，从而实现深度图像与RGB图像的对齐。将RGB模型转换至HSI模型，通过色调的定义去除土壤背景，降低光照变化对于作物行提取的影响。统计了不同氮素处理下的小麦最大高度和杂草的平均高度。将低于最大高度的10％的像素点视为杂草信息并去除，完成小麦冠层分割。

需要补充的是，在图像对齐的过程中，深度摄像头与RGB摄像头的内参矩阵以及旋转矩阵与平移向量两个外部参数从深度相机提供的SDK中获取。首先将深度图像坐标系的深度点还原到世界坐标系，设P

p

P

再将世界坐标系中的深度点转换到RGB图像坐标系中，设P

P

p

在HSI空间进行土壤背景分割，HSI颜色模型中的H通道的取值范围为[0,2π]，其中黄色、绿色和青色对应的H值分别为

步骤3：利用IHS变换将RGB图像分别和深度信息、相位信息进行融合，根据反平方定律，将深度信息(D)转换为相位信息(P)，利用直方图均衡法将深度信息和相位信息替换I通道的信息，得到不同空间模型下的小麦冠层图像，即HSP和HSD图像。

需要补充的是，RGB-D图像融合方法的基本思想是利用强度和相位之间的物理关系。自然环境下，RGB图像中的颜色信息反映了物体的反射强度，强度信息会受到不同光照条件的影响。深度信息的获取原理是传感器会因被摄物体不同的深度区域，而采集不同的相位信息，然后通过运算单元将这种结构的变化换算成深度信息。因此可以用反平方定律可以用来描述强度与相位之间的关系：

d≈I

其中，I

其中，d为实际深度信息，d

采用熵和交叉熵两种客观指标对融合图像的质量进行评价，在进行图像评价前将HSI空间的图像转换为RGB图像，并进行灰度化操作。图像的熵(E)是衡量图像信息丰富程度的一个重要指标，熵越大，则表示图像的信息量越多。交叉熵(C)可以用来测定两幅图像灰度分布的信息差异，是评价两幅图像差异的关键指标。交叉熵越小，说明融合图像与源图像的差异越小，则该融合方法从源图像中提取的信息量越多。熵和交叉熵其计算公式分别为：

其中，L表示图像灰度级别，即为256，p

步骤4：分别计算融合后不同模型下小麦冠层图像HS通道、HP通道、HD通道、SD通道和SP通道的颜色共生矩阵，计算不同颜色共生矩阵下的纹理特征包括：对比度(CON)、角二阶矩(ASM)、相关系数(COR)、逆差矩(IDM)和熵(ENT)。

需要补充的是颜色共生矩阵的计算方法，首先要将RGB图像进行颜色空间转换，计算其在HSD和HSP空间模型中的对应值。将H、S、D、P分量非均匀量化为8个部分，减少信息冗余，使得CCM的计算更简单。在计算CCM时，将四个分量分别设为C

其中，颜色共生矩阵中的第i行第j列元素用p(i,j)表示。

在不同光照条件下的源图像与融合图像熵，如下表2所示。

表2不同光照下的源图像与融合图像熵

在不同光照条件下的融合图像交叉熵，如下表3所示。

表3不同光照下的融合图像交叉熵

步骤5：将小麦冠层结构特征与小麦氮积累量进行线性拟合，通过比较R2大小进行特征筛选。分别利用线性和非线性模型对小麦的氮积累量进行预测，比较单一光谱特征和光谱与冠层结构特征组合后的预测精度。

需要补充的是，从两种融合图像的颜色共生矩阵中提取了共25个特征，将特征数据与小麦LNA与SNA进行线性拟合，通过比较R

选取多元回归分析和BP神经网络两种方法分别构建模型。为了减少过拟合现象，提高模型的泛化能力，BP神经网络模型的预测结果为5次试验的均值，每次随机选取50％的样本作为训练集(单生育期为14个，全生育期为54个)，20％的样本作为验证集(单生育期为5个，全生育期为22个)，30％的样本作为测试集(单生育期为8个，全生育期为32个)。多元线性回归的模型如下：

其中，num为不同特征的数量，x

其中，y

本实施例的具体结果如表4-8所示，在预测小麦氮积累量时，小麦冠层的三维结构特征对氮积累量预测模型进行了补偿，在不同的模型中，融合图像的特征与光谱特征的组合均能够更加准确地预测小麦氮积累量。

表4拔节早期的小麦氮积累量预测结果

其中F1表示基于融合图像提取的特征集合，F2表示基于融合图像特征和RVI的集合，F3表示基于融合特征图像和NDRE的集合。

表5拔节后期的小麦氮积累量预测结果

表6孕穗期的小麦氮积累量预测结果

表7抽穗期的小麦氮积累量预测结果

表8全生育期的小麦氮积累量预测结果

以上显示和描述了本发明的基本原理、主要特征和优点。本领域的普通技术人员应该了解，上述实施例不以任何形式限制本发明的保护范围，凡采用等同替换等方式所获得的技术方案，均落于本发明的保护范围内。

本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。