基于条码的双目视觉稻麦收割机割台高度实时检测方法

摘要

一种基于条码的双目视觉稻麦收割机割台高度实时检测方法，通过旋转割台转轴的静止特征条形码标记后，进行基于双目视觉稀疏特征匹配车载快速实时测距。本发明将基于条形码的特征标记方法及其基于双目视觉稀疏特征匹配车载实时测距方法相结合，能够快速有效地识别割台的拨禾轮的自转中心轴位置，实时地获取准确的割台高度。

说明书

技术领域

本发明涉及的是一种无人驾驶机稻麦收获装备环境感知检测领域的技术，具体是一种基于双目视觉的无人驾驶用稻麦收割机割台高度实时检测方法。

背景技术

智能化、无人化作业是目前农机装备的研究热点及发展趋势，现有全喂入式收割机在收获过程中经常遇到作物倒伏，要保证收获作业质量，无人化智能收获机需要对割机割台高度实时调整的自动化，除了对作物的高度感知外，还要求能够对割台的高度进行实时检测，将检测到割台高度的反馈信息与输入控制系统的作物高度信息进行比较，以实现割台高度的闭环控制。

现有的收获机械割台高度检测主要是基于角度传感仿形装置，用于实现对不平地形的仿形跟踪，不能用于倒伏情况下相对于作物高度的割台高度的检测；传统的机械式割台高度检测方法无法满足稻麦倒伏情况下收割作业时对割台高度的检测需求，而割台不规则形状多，常规视觉检测方法特征点较难实时性地选取，为此本专利发明一种运动割台转轴的条码特征位置标记及其基于双目视觉的稻麦收割机割台高度实时检测方法。

发明内容

本发明针对现有技术无法准确地获取收割机割台高度数据的问题，提出一种基于条码的双目视觉稻麦收割机割台高度实时检测方法，将基于条形码的特征标记方法及其基于双目视觉稀疏特征匹配车载实时测距方法相结合，能够快速有效地识别割台的拨禾轮的自转中心轴位置，实时地获取准确的割台高度。

本发明是通过以下技术方案实现的：

本发明涉及一种基于条码的双目视觉稻麦收割机割台高度实时检测方法，通过旋转割台转轴的静止特征条形码标记后，进行基于双目视觉稀疏特征匹配车载快速实时测距。

所述方法具体包括：

步骤1、在收割机割台的拨禾轮自转中心轴上的不同位置处粘贴三个不同的条形码；

所述的条形码由黑白相间的平行条纹组成，用于在拨禾轮自转中心轴打上特征标记，增加自转中心轴的图像特征点。

所述的粘贴，具体是指：条形码竖着绕着自转中心轴一圈粘贴，以保证图像中的自转中心轴在旋转过程中标记的特征始终保持不变。

所述的条形码，优选使用三个不同的条形码，可以减少光照对双目视觉识别条形码特征的影响。

步骤2、基于双目视觉稀疏特征匹配车载快速实时测距，具体包括：

步骤2.1、基于颜色与梯度融合的条形码标记识别，具体包括：

2.1.1、将在条形码区域实现了颜色特征增强的图像和梯度特征增强的图像进行图像融合得到特征增强图像，图像融合具体为：I

所述的颜色特征增强图像的融合权重优选为0.65。

所述的梯度特征增强图像的融合权重优选为0.35。

所述的颜色特征增强图像，通过以下方式得到：从图像中提取RGB颜色空间的三通道值，由于B分量图中条形码标记区域与周围环境的对比最为明显，因此提取B分量图实现颜色特征增强。

所述的特度特征增强图像，通过以下方式得到：采用Sobel算子对图像进行x方向和y方向的梯度值计算，然后将两方向梯度相减得到x方向和y方向的梯度极差图实现梯度特征增强。

2.1.2、对于特征增强图像进行图像形态学处理操作与添加具体约束，在图像中完成对于条形码标记区域的提取，得到的条形码区域用于基于SURF特征条码特征立体匹配的距离检测方法，以减少与割台高度无关的匹配特征点的计算。

所述的图像形态学处理操作包括：(一)对特征增强图像进行均值滤波，消除高频噪声；(二)Otsu二值化，获得二值图像；(三)进行闭运算，填充相近的白色区域间的间隙；(四)实现两次腐蚀，去掉孤立的小区域；(五)实现两次膨胀，填充条形码间空隙，同时还原条形码区域的大小；(六)制作割台掩膜：提取图像HSV颜色空间中的H分量通道图，再进行二值化和中值滤波处理，获得掩膜；(七)对两次膨胀后的图像进行掩膜覆盖，即进行与运算。

所述的具体约束包括：(一)条形码标记的大小约束，认为条形码标记的长度在25像素至50像素之间，宽度在20像素至35像素之间；(二)条形码标记的形状约束认为条形码标记的长度与宽度的比值应在1.0至2.5之间；(三)条形码标记的形状约束，认为条形码标记矩形两端的横坐标应在600像素至1600像素之间。

步骤2.2、基于SURF特征条码特征立体匹配的距离检测，具体包括：

2.2.1、使用SURF算法进行特征提取，该算法可以满足室外农田的双目图像实时特征匹配的应用场景，具体包括：

a)构建Hessian矩阵：Hessian矩阵可以用来描述一个多元函数的局部曲率，对于图像I(x,y)，其Hessian矩阵为：

SURF算法通过计算图像中每一个像素点的Hessian矩阵判别式的值来判断其是否是一个局部特征点，Hessian矩阵判别式为：

b)构建尺度空间：为了保证SURF算法的尺度不变性，在构建Hessian矩阵之前进行高斯滤波，实现尺度空间的构建，通过改变滤波的模板尺寸获得不同的尺度。在尺度下，Hessian矩阵为：

在SURF算法实际计算时，此卷积过程使用盒式滤波器近似，通过查找积分图中的元素以提高计算速度。

c)定位特征点：将每个像素点Hessian矩阵的判别式值与其二维图像空间和上下相邻的两个尺度空间邻域的所有相邻点进行比较，当其大于或者小于所有相邻点时(即该点是一个极值点)，初步认为其是一个关键点。再滤除掉小于一定阈值的关键点，最终定位到稳定的特征点。

d)特征点方向分配：根据Harr小波特征进行方向分配。即特征点的圆形邻域内，统计60°扇形内以定间隔的采样点的水平、垂直Harr小波特征总和，扇形以15°大小的间隔进行旋转，旋转一周后将最大值对应的扇形方向作为此特征点的主方向；

e)生成特征描述子：沿着特征点的主方向提取特征点周围的一个正方形邻域，区域边长与尺度成正比，将此邻域划分为4×4共16个子区域，每个子区域统计水平方向值之和、垂直方向值之和、水平方向值绝对值之和四个Haar小波特征，即每个子区域会获得4维特征向量，则一个SURF特征描述子最终会获得64维向量。经过以上五个步骤后得到SURF算法特征提取结果图像。

2.2.2、采用快速最近邻搜索包中的随机k-d树算法进行特征匹配，双目相机采集的左右图像分别作为训练集和查询集，并筛选出基于颜色与梯度融合的条形码标记识别方法获取的条形码标记区域内的匹配特征点。

2.2.3、获得匹配特征点在左右相机的视差(即x方向的像素差)，计算匹配特征点的三维坐标

技术效果

由于拨禾轮结构中的机架和摆臂在作业过程中分开动作，传统的侧方安装倾角传感器的方法对于包含两个自由度的拨禾轮难以得到准确的高度数据。而采用旋转运动物体上静止特征条形码标记方法可以有效识别割台拨禾轮的唯一的自转中心轴位置，基于颜色与梯度融合的条形码标记识别方法使得只在标记区域进行标记匹配和特征点位置计算，因此，该方法检测精准，计算开销小。此外，在旋转轴的不同位置粘贴了三个不同的条形码，可以有效地减小光照对于条形码识别的影响，增强在此环境下提取条形码标记区域方法的鲁棒性。

附图说明

图1为本发明系统示意图；

图2为旋转运动物体上静止特征条形码标记方法示意图；

图3为基于双目视觉稀疏特征匹配实时测距方法原理图。

具体实施方式

本实施例采用久保田4LZ-4J(PRO988Q-Q)全喂入式履带收割机，采用ZED 2双目相机作为视觉传感器(并排分辨率为)获取图像信息，NVIDIA Jetson TX2产品作为算法处理器。使用了计算机视觉开源库OpenCV中的部分函数进行图像处理以及OpenCV_contrib扩展包中的xfeatures2d模块进行特征匹配；使用快速最近邻搜索包(FLANN)进行特征匹配，FLANN是对大数据集和高维特征进行最近邻搜索的算法的集合，包括随机k-d树算法、优先搜索k-means树算法、层次聚类树算法。本方法采用的是随机k-d树算法。

如图1所示，本实施例涉及一种基于条码的双目视觉稻麦收割机割台高度实时检测系统，包括：条形码标记模块、双目相机采集模块和信息处理模块，其中：条形码标记模块位于割台结构中的拨禾轮上，用于实现旋转运动物体上静止条形码标记方法；双目相机采集模块位于收割机驾驶舱上，根据割台的升降高度进行相机安装，确保割台在最高位置和最低位置时均能被相机捕获；信息处理模块与双目相机模块相连，用于实现基于双目视觉稀疏特征匹配实时测距方法。

如图2所示，所述的拨禾轮包括：中心自转轴和多个与之平行的横向杆，用来扶起作物并将作物拨向割刀，在切割时扶持茎秆，该结构在作物倒伏情况下尤为重要，也是割台高度调整的根本所在。为了使用双目相机准确地从多个横向杆中识别出唯一的自转中心轴，用于标记旋转运动物体上静止特征的条形码的技术细节可以为：宽度为6cm，颜色为黑白色，基本平行于相机图像的宽度方向，分别在拨禾轮中唯一的自转中心轴上的三个三等分点处绕轴一圈粘贴。使用三个条形码标记的目的是减小光照对于特征识别的影响。条形码绕轴一圈粘贴的目的是保证在自转中心轴的旋转过程中相机所采集到的图像特征始终保持不变。

如图3所示，为本实施例涉及一种基于上述系统的基于双目视觉稀疏特征匹配实时测距方法，通过基于颜色和梯度融合的条形码标记识别和基于双目视觉稀疏特征匹配实时测距，其中：一方面，基于颜色和梯度融合的条形码标记识别方法首先对获取到的图像进行颜色与梯度特征增强，并进行图像融合得到特征增强图像，并在特征增强图像上进行标记区域提取，提取到的条形码标记区域用于下一步中的过滤掉图像中其他区域中与自转中心轴高度信息无价值的匹配特征点，直接获得与自转中心轴高度信息有价值的条形码标记区域内的匹配特征点。另一方面，基于双目视觉稀疏特征匹配实时测距方法采用SURF算法进行特征提取，采用随机k-d树算法进行特征匹配，将得到的匹配特征点进行过滤，只留下条形码标记区域内的匹配特征点用于计算三维坐标，最后通过坐标系转换得到在匹配特征点的地面坐标系的高度。

在实际作业中，收割机除了操纵割台机架升降外，还会经常操纵相对割台机架可升降的摆臂机构、相对摆臂可旋转的拨禾轮机构，倾角传感器、激光传感器等感知元件对此复杂情况定位难，因而基于双目视觉传感器进行问题分解。采用旋转运动物体上静止特征条形码标记方法可以有效识别割台拨禾轮的唯一的自转中心轴位置，基于颜色与梯度融合的条形码标记识别方法使得只在标记区域进行标记匹配和特征点位置计算，因此，该方法检测精准，计算开销小。

对本方法进行精度检测，在室外自然光照环境下，利用实验平台进行此方法的精度检验，根据割台的工作状态，设计了不同高度位置的精度检验和拨禾轮旋转状态下的精度检验两项检验任务，采用精度1mm的手持激光测距仪进行测量作为割台的真实高度。首先，逐步升高收割机割台，分别对5个不同位置时的割台采集图片，计算此方法测量高度，5次测量结果的平均高度误差为3.13cm。然后，在一个固定割台高度下旋转拨禾轮，采集图片进行测量，在旋转过程中5次测量结果的平均高度误差为2.45cm。根据两项精度检验结果，认为此方法在割台升降及割台旋转时均可以实现精准测量，可以满足收割机作业时的割台高度检测要求。

在嘉定区收割田地中，利用改装的久保田收割机进行大田实验，收割机以约1.5m/s的速度进行收割作业，通过ZED 2相机实时采集图片并由NVIDIA Jetson TX2完成处理的情况实验条件下，割台条形码标记识别准确率达93.3％，在不同光照条件和作物收获时飞溅的稻杆烟尘影响下，基本可以保证两个条形码标记区域中存在高度检测结果。

与现有技术相比，本方法通过精度检验与收获作业实践，从割台高度升降和拨禾轮旋转两个方面验证了算法检测的平均高度误差为3.13cm，提高了割台高度检测系统的测量精度。在不同光照条件和作物收获时飞溅的烟尘影响下，基本可以保证两个条形码标记区域中存在高度检测结果，提高了割台高度检测系统在各种复杂环境下的适应性。算法运行时间为351ms，可以满足收割机实时作业的需求。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。