一种再生稻穗层高度在线检测方法及系统和收获机

摘要

本发明提供一种再生稻穗层高度在线检测方法及系统和收获机，获取收获机正前方待收获区域再生稻的彩色图像与深度图像，重建高程图像并结合联合收获机的IMU进行校正，消除相机位姿对穗层高度信息检测的影响，可以提高再生稻穗层高度信息的在线检测的精度；对彩色图像进行HSV颜色处理，提取穗头区域的外接矩形的下边线，将下边线映射于高程图像中，计算得到再生稻穗层高度，以指导收获机割台高度的实时调控，为再生稻收获作业过程中留茬高度的控制提供更精确的数据支撑。

说明书

技术领域

本发明属于智能收获装备领域，尤其涉及一种再生稻穗层高度在线检测方法及系统和收获机。

背景技术

再生稻是一种两收的再生稻，即在一季稻成熟之后，大约只割下稻株的上2/3的部位，保留下优势休眠芽以确保再生稻第二季稻米的产量。与普通再生稻相比，再生稻仅收获穗头，留茬较高。驾驶员通过肉眼观察，不断控制割台升降手柄来调节工作高度，作业效果和效率等受人为经验影响较大，难以控制收割作业过程中的留茬高度，使得留茬高度参齐不齐。

发明内容

针对上述技术问题，本发明提供一种再生稻穗层高度在线检测方法及系统和收获机，获取收获机正前方待收获区域再生稻的彩色图像与深度图像，重建高程图像并结合联合收获机的IMU进行校正，消除相机位姿对穗层高度信息检测的影响，可以提高再生稻穗层高度信息的在线检测的精度；对彩色图像进行HSV颜色处理，提取穗头区域的外接矩形的下边线，将下边线映射于高程图像中，计算得到再生稻穗层高度，以指导收获机割台高度的实时调控，从而为再生稻收获作业过程中留茬高度的控制提供更精确的数据支撑。

本发明的技术方案是：一种再生稻穗层高度在线检测方法，包括以下步骤：

步骤S1、通过双目相机采集收获机正前方待收获区域再生稻的彩色图像与深度图像，并传递给信号处理终端；

步骤S2、通过信号处理终端重建高程图像，并结合收获机的IMU惯性测量单元获取的相机的位姿变化对高程图像的重建进行校正；

步骤S3、信号处理终端将校正后的高程图像转换成HSV颜色空间，在HSV颜色空间中去除拨禾轮区域；

步骤S4、信号处理终端在处理后的HSV颜色空间的S通道图像上，通过最大类间方差法进行穗头区域提取，通过形态特征的筛选，以及开运算闭运算处理后再通过绘制穗头区域的外接矩形，取外接矩形的下边线作为穗层下边界；

步骤S5、信号处理终端将所述下边线映射于重建好的高程图像中，即可计算得到穗层高度信息。

上述方案中，在所述步骤S2中，高程图像重建包括以下步骤：

步骤S2.1双目相机所获取的深度图像先进行图像像素坐标系到图像物理坐标系的转换:

X

Y

其中，(X

步骤S2.2进行图像物理坐标系到相机坐标系的转换:

X

其中，(X

步骤S2.3进行相机坐标系到世界坐标系的转换:

其中，(X

上述方案中，所述步骤(2)中，对高程图像的重建进行校正包括以下步骤：

以初始平面作为整个作业过程的基准平面，此时相机初始俯仰角为安装角α

收获机工作时，通过IMU实时监测收获机的俯仰角α

若增量小于设定的误差值，则认为在前后或左右方向上不存在倾角，不对该方向进行校正，直接对获取图像进行下一步处理；

若俯仰角和横滚角增量大于所设定的误差值，则认为前后或左右方向上存在倾角，计算出俯仰角α和横滚角β，其中α＝α

上述方案中，所述步骤S3中，在HSV颜色空间中去除拨禾轮区域，包括以下步骤：

S3.1、对图像内的每个像素，在HSV颜色空间中做像素值转换，

v＝max

其中，r、g、b为RGB颜色空间中的像素通道值，max为r,g和b中的最大者，min为r,g和b中的最小者，h、s、v为HSV颜色空间中的像素通道值；

S3.2、在H通道中拨禾轮与其余区域差异最大，通过阈值分割可得到拨禾轮区域，在S通道中通过中值滤波、图像增强处理，增大再生稻穗头与背景的差异；

S3.3、在图像增强处理后的S通道中，设置分割所得的拨禾轮区域像素值，区分穗头和拨禾轮。

上述方案中，所述步骤S3.3中将分割所得的拨禾轮区域像素值设为255，此时穗头为黑色，拨禾轮为白色。

上述方案中，所述S4中，绘制穗头区域的外接矩形，取外接矩形的下边线作为穗层下边界包括以下步骤：

通过最大类间方差法，将图像分成背景和前景两部分，前景即穗头部分，再对图像进行二值化，对二值化图像进行开运算和闭运算以消除噪点，通过形态特征的筛选，提取穗头区域，绘制穗头区域的外接矩形，以该区域的最低点的平均值作为再生稻穗层的高度值，作外接矩形的下边线。

一种实现所述再生稻穗层高度在线检测方法的系统，包括图像采集装置、IMU惯性测量单元和信号处理终端；

所述图像采集装置用于采集收获机正前方待收获区域再生稻的彩色图像与深度图像，并传递给信号处理终端；

所述IMU惯性测量单元用于获取的收获机的位姿变化，并传递给信号处理终端；

所述信号处理终端用于重建高程图像，并结合IMU惯性测量单元获取的位姿变化对高程图像的重建进行校正。将彩色图像转换成HSV颜色空间，在HSV颜色空间中去除拨禾轮区域，在处理后的HSV颜色空间的S通道图像上，通过最大类间方差法进行穗头区域提取，通过形态特征的筛选，以及开运算闭运算处理后再通过绘制穗头区域的外接矩形，取外接矩形的下边线作为穗层下边界，将所述下边线映射于重建好的高程图像中，计算得到穗层高度信息。

上述方案中，所述图像采集装置为双目相机。

上述方案中，所述双目相机安装在收获机驾驶室上方。

上述方案中，所述信号处理终端为收获机的驾驶室控制器或者远程计算机。

一种收获机，包括所述再生稻穗层高度在线检测方法的系统。

与现有技术相比，本发明的有益效果是：

本发明通过图像采集装置获取收获机正前方待收获区域再生稻的彩色图像与深度图像。对深度图像进行坐标系转换，重建高程图像并结合联合收获机的IMU惯性测量单元进行校正，消除收获机位姿对高度信息检测的影响以提高检测精度。对彩色图像进行HSV颜色处理，提取穗头区域的外接矩形的下边线，将下边线映射于高程图像中，计算得到再生稻穗层高度。根据再生稻穗层高度在线检测方法获取的穗层高度信息，为实时控制割台液压缸的伸缩，调整割台高度提供数据支持。

附图说明

图1是本发明一实施方式的再生稻穗层高度在线检测方法流程图；

图2是本发明一实施方式的联合收获机与双目相机位姿左侧示意图；

图3是本发明一实施方式的联合收获机与双目相机位姿正面示意图；

图4是本发明一实施方式的图像转换成HSV颜色空间后，H通道的图像；

图5是本发明一实施方式的去除拨禾轮区域后的图像；

图6是本发明一实施方式的穗头提取后的图像；

图7是本发明一实施方式的穗头区域外接矩形提取下边线的图像。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“前”、“后”、“左”、“右”、“上”、“下”、“轴向”、“径向”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

实施例1

一种再生稻穗层高度在线检测方法的系统，包括图像采集装置、IMU惯性测量单元和信号处理终端；所述图像采集装置用于采集收获机正前方待收获区域再生稻的彩色图像与深度图像，并传递给信号处理终端；所述IMU惯性测量单元用于获取的图像采集装置的位姿变化，并传递给信号处理终端；所述信号处理终端用于重建高程图像，并结合IMU惯性测量单元获取的位姿变化对高程图像的重建进行校正。将彩色图像转换成HSV颜色空间，在HSV颜色空间中去除拨禾轮区域，在处理后的HSV颜色空间的S通道图像上，通过最大类间方差法进行穗头区域提取，通过形态特征的筛选，以及开运算闭运算处理后再通过绘制穗头区域的外接矩形，取外接矩形的下边线作为穗层下边界，将所述下边线映射于重建好的高程图像中，计算得到穗层高度信息。

优选的，所述图像采集装置为双目相机。所述双目相机安装在收获机驾驶室上方。

优选的，所述信号处理终端为收获机的驾驶室控制器或者远程计算机。

所述再生稻穗层高度在线检测方法，双目相机固定安装在收获机驾驶室上方，调整相机俯仰角α和横滚角β，使相机能够获取收获机正前方待收获区域再生稻的彩色图像与深度图像。对深度图像进行坐标系转换，重建高程图像并结合联合收获机的IMU惯性测量单元进行校正，消除相机位姿的影响。对彩色图像进行HSV颜色处理，提取穗头区域的外接矩形的下边线，将下边线映射于高程图像中，计算得到再生稻穗层高度。根据再生稻穗层高度在线检测方法获取的穗层高度信息，为实时控制割台液压缸的伸缩，调整割台高度提供数据支持，使得留茬高度尽量一致。

图1所示，所述再生稻穗层高度在线检测方法，具体包括以下步骤：

步骤S1、双目相机获取图像：通过相机采集收获机正前方待收获区域再生稻的彩色图像与深度图像，并传递给信号处理终端；

具体的，结合图2所示，将双目相机安装在收获机驾驶室上方，以初始平面作为整个作业过程的基准平面，调整初始俯仰角和横滚角，确保相机能够获取收获机正前方待收获区域再生稻的彩色图像与深度图像。

步骤S2、转换坐标系以重建高程图像：通过信号处理终端重建高程图像，并结合收获机的IMU惯性测量单元获取的相机的位姿变化对高程图像的重建进行校正，消除收获机作业时因地面起伏不平导致车身俯仰、横滚的影响；

具体的，高程图像重建包括以下步骤：

步骤S2.1双目相机所获取的深度图像先进行图像像素坐标系到图像物理坐标系的转换:

X

Y

其中，(X

步骤S2.2进行图像物理坐标系到相机坐标系的转换:

X

其中，(X

步骤S2.3进行相机坐标系到世界坐标系的转换:

其中，(X

对高程图像的重建进行位姿校正，包括以下步骤：

以初始平面作为整个作业过程的基准平面，此时相机初始俯仰角为安装角α

收获机工作时，通过IMU实时监测收获机的俯仰角α

若增量小于设定的误差值，则认为在前后或左右方向上不存在倾角，不对该方向进行校正，直接对获取图像进行下一步处理。

如图2、图3所示，若俯仰角和横滚角增量大于所设定的误差值，则认为前后或左右方向上存在倾角，计算出俯仰角α和横滚角β，其中α＝α

步骤S3、转换HSV颜色空间并除拨禾轮区域：信号处理终端将彩色图像转换成HSV颜色空间，在HSV颜色空间中去除拨禾轮区域，以消除拨禾轮的遮挡影响；

所述步骤S3中，在HSV颜色空间中去除拨禾轮区域，包括以下步骤：

S3.1、对图像内的每个像素，在HSV颜色空间中做像素值转换，具体为：

v＝max

其中，r、g、b为RGB颜色空间中的红、绿、蓝三个像素通道值，max为r,g和b中的最大者，min为r,g和b中的最小者，h、s、v分别为HSV颜色空间中的色相、饱和度、明度三个像素通道值；

S3.2、如图4所示，在H通道中拨禾轮与其余区域差异最大，通过阈值分割可得到拨禾轮区域，在S通道中通过中值滤波、图像增强处理，增大再生稻穗头与背景的差异；

S3.3、如图5所示，在图像增强处理后的S通道中，设置分割所得的拨禾轮区域像素值，区分穗头和拨禾轮，优选的，拨禾轮区域像素值设为255，此时穗头为黑色，拨禾轮为白色，以消除拨禾轮的遮挡影响。

步骤S4、提取穗头区域并绘制外接矩形下边线：信号处理终端在处理后的HSV颜色空间的S通道图像上，通过最大类间方差法进行穗头区域提取，通过形态特征的筛选，以及开运算闭运算处理后再通过绘制穗头区域的外接矩形，取外接矩形的下边线作为穗层下边界；

具体的，绘制穗头区域的外接矩形，取外接矩形的下边线作为穗层下边界包括以下步骤：

通过最大类间方差法，按图像的灰度特性，将图像分成背景和前景，前景即穗头部分，当取最佳阈值时，两部分之间的差别最大，再对图像进行二值化，对二值化图像进行开运算和闭运算以消除噪点，然后通过形态特征的筛选，去除误提取区域，准确提取穗头区域，如图6所示，其中无提取区域包括背景部分和穗头的茎干部分；

绘制穗头区域的外接矩形，以该区域的最低点的平均值作为再生稻穗层的高度值，作外接矩形的下边线，如图7所示。

步骤S5、信号处理终端将所述下边线映射于重建好的高程图像中，即可计算得到穗层高度信息，用以指导割台高度的控制。

本发明通过双目相机获取联合收获机前进方向上的再生稻彩色图像与深度图像，对深度图像进行坐标系转换，重建高程图像，结合联合收获机的IMU惯性测量单元进行校正，消除相机位姿的影响，对彩色图像进行HSV颜色处理，提取穗头区域的外接矩形的下边线，将下边线映射于高程图像中，计算得到再生稻穗层高度。本发明基于双目视觉与IMU相结合的方法，相机位姿对高度信息检测的影响以提高检测精度，实现再生稻穗层高度信息的在线检测，为再生稻收获作业过程中留茬高度控制提供精确输入信号。

实施例2

一种收获机，包括实施例1所述再生稻穗层高度在线检测方法的系统，因此具有实施例1的有益效果，此处不再赘述。

应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。