基于Kinect相机的果实尺寸检测方法

摘要

一种基于Kinect相机获取果实长、宽、厚等尺寸的检测方法，包括以下步骤：S1：利用Kinect相机拍摄果实的RGB图像和深度图像；S2：将RGB图像和深度图像进行配准；S3：将S2获取的RGB图像转换为灰度图像；S4：使用中值滤波对S3所得灰度图像进行滤波；S5：将S4获取的图像转换为二值图像，并标记轮廓；S6：利用最小外接矩形法检测果实像素的长宽；S7：提取S2所得深度图像中背景的高度值，结合相机的视野，推算每个像素对应的实际尺寸，从而计算果实的长宽值；S8：将S2获取的深度图像转换为果实的厚度深度图像；S9：提取S8所得的果实厚度深度图像的厚度值中的最大值，即为果实的厚度值。

说明书

技术领域

本专利涉及一种果实尺寸的检测方法，具体是涉及一种基于Kinect相机获取果实长、宽、厚等尺寸的检测方法。

背景技术

我国是世界上水果生产大国，但出口量极低，在国际市场竞争力低，一个主要原因是水果分选技术不成熟和分选标准不统一。随着生活水平的提高，消费理念发生了巨大的变化，对于水果的消费不仅仅是看数量，对水果品质要求也越来越高。果形是消费者选择水果的重要参考指标，因而果形也成为果实分选的标准。传统的分选模式主要是人工分选，费时费力且效率低下，长时间进行人工分选，会因单调、视觉疲劳、情绪厌倦、记忆遗忘等降低分选的精度和效率；机械分选主要是依靠重量传感器按照重量来进行分选，该方式对于果形没有要求，分选的结果形状不一，且损失率大，效果也是不理想；机器视觉技术分选主要是利用图像处理，依据二维图像外形、图像面积等分选，而没有对厚度方向进行判定，分选的结果也不近人意。由上述可知，需要一种新的果实尺寸检测方法来同时获得果实的长、宽、厚等尺寸，提高分选准确率。

发明内容

针对现有的基于二维成像检测果实尺寸的不足，本专利提出了一种基于Kinect相机的果实尺寸检测方法。

实现上述技术的步骤如下：

S1：利用Kinect相机拍摄果实的RGB图像和深度图像；

S2：将S1获取的RGB图像和深度图像进行配准；

S3：将S2获取的RGB图像转换为灰度图像；

S4：使用中值滤波对S3所得灰度图像进行滤波；

S5：将S4获取的图像转换为二值图像，并标记轮廓；

S6：利用最小外接矩形法检测果实像素的长宽；

S7：提取S2所得深度图像中背景的高度值，即相机的安装高度，结合相机的视野，推算每个像素对应的实际尺寸，从而计算果实的长宽值；

S8：将S2获取的深度图像转换为果实的厚度深度图像；

S9：提取S8所得的果实厚度深度图像的厚度值信息,利用函数从厚度值信息中提取最大值，即为果实的厚度值。

所述的Kinect相机为Kinect V2相机，其RGB分辨率为1920×1080，深度图像的分辨率为512×424，Kinect相机的视野为70°（H）×60°（V）。

所述的RGB图像和深度图像配准是对两幅图像进行裁剪，然后在Matlab中用坐标显示出来，选取RGB图像上的四个点，并在深度图像中找到对应的点，利用函数进行裁剪缩放对齐，即可对两幅图进行配准。

所述的中值滤波是使用5×5邻域的像素灰度的滤波窗口对灰度图像进行滤波，以减少噪声的干扰。

所述的相机的安装高度为拍摄的深度图像中背景的高度值，可以从深度图像中直接提取。

所述的果实的长和宽，由外接矩形的长和宽所占有的像素数来计算；通过相机与底面的高度值以及相机拍摄的视野角，可以计算出拍摄图像的面积，然后根据颜色图像的分辨率，确定每个像素的长宽值，最后外接矩形的长和宽所占的像素数乘以其对应的像素长宽值即可得到果实的长和宽。其具体公式如下：

-果实的长度，-果实宽度，n-外接矩形长边所占的像素数，m-外接矩形宽边所占的像素数，b-相机到底面距离，α-相机水平视野角，β-相机垂直视野角。

所述的猕猴桃厚度深度图像是指猕猴桃的表面到底部图像，该图像中包含有果实的厚度值信息，而相机拍摄的深度图像是果实的表面到相机的深度图像，因此需要进行转换，转换公式如下：

所述的猕猴桃厚度深度图像是指猕猴桃的表面到底部图像，该图像中包含有果实的厚度值信息，而相机拍摄的深度图像是果实的表面到相机的深度图像，因此需要进行转换，转换公式如下：

其中，h(x,y)为猕猴桃厚度深度图像，b(x,y)为背景深度图像，H(x,y)为猕猴桃表面深度图像，为样品架厚度图像。

本专利的优点：利用Kinect相机可以同时获取果实RGB图像和深度图像，而且可以同时获得果实的长、宽、厚等尺寸。

附图说明

图1为图像处理流程图；

图2为厚度深度图像示意图；

其中图2中1.Kinect相机，2.果实，3.载物台。

具体实施方式

结合说明附图对本发明的实施方式作进一步详细说明。本发明为一种基于Kinect相机的果实尺寸检测方法，以猕猴桃为例，包括如下步骤：

S1：将猕猴桃放置在相机的正下方，使用Kinect拍照，得到果实的原始图像，包括RGB图像和深度图像；

S2：Kinect拍摄的RGB图像和深度图像的位置大小不一样，分辨率也不同，RGB图像分辨率为1920×1080，深度图像分辨率为512×424，因此需要对两幅图像进行配准，方便后续的处理，首先对两幅图像进行裁剪，然后在Matlab中用坐标显示出来，选取RGB图像上的四个点，并在深度图像中找到对应的点，利用函数进行裁剪缩放对齐，即可对两幅图进行配准；

S3：为了方便获取猕猴桃的长和宽尺寸，需要将获取的RGB图像转换为灰度图像，利用Matlab内置函数将RGB图像直接转换为灰度图像；

S4：使用5×5的滤波窗口对S3所得的灰度图像进行滤波，从猕猴桃图像的左上角开始，从左向右，从上至下，依次进行滤波，把猕猴桃图像中一点的值用该点的一个5×5领域中各点值的中值代替，使其周围的像素值接近真实值，从而消除孤立的噪声点；

S5：选择合适的阈值，将S4获取的灰度图像转换为二值图像,获得的猕猴桃二值图像的数据就只有‘0’和‘1’两种状态，猕猴桃数据为‘1’，其像素点在图像上显示为白色，背景数据为‘0’，其像素点在图像上显示为黑色，利用函数对二值图像取反，即可得出果实的图像，并标记出轮廓形状；

S6：S2得到的猕猴桃的深度图像表示了相机到底面的距离，即相机的安装高度，直接提取出相机的安装高度值；

S7：利用最小外接矩形法识别S5所得猕猴桃图像有效区域的长和宽，并计算出该长宽所占有的像素点数，然后通过相机与底面的高度值以及相机拍摄的视野角，可以计算出拍摄图像的面积，然后根据颜色图像的分辨率，确定每个像素的长宽值，最后利用外接矩形的长和宽所占的像素数乘以其对应的像素长宽值即可得到猕猴桃果实的长和宽；计算公式为：

-果实的长度，-果实宽度，n-外接矩形长边所占的像素数，m-外接矩形宽边所占的像素数，b-相机到底面距离，α-相机水平视野角，β-相机垂直视野角；

S8：相机拍摄的深度图像不是猕猴桃的厚度图像，所以需要将S2得到的深度图像转H(x,y)换为猕猴桃的厚度深度图像h(x,y)，拍摄得到的深度图像为猕猴桃表面到相机的深度图像，转换公式为：

其中，h(x,y)为猕猴桃厚度深度图像，b(x,y)为背景深度图像，H(x,y)为猕猴桃表面深度图像，为样品架厚度图像；

S9：猕猴桃的厚度深度图像中的峰值像素的灰度级包含有猕猴桃的厚度信息，单位是毫米，所以可以通过S8获取的猕猴桃厚度深度图像提取猕猴桃的厚度值信息，然后利用函数从厚度值信息中提取最大值，即为猕猴桃的厚度值。