法律状态公告日
法律状态信息
法律状态
2018-11-02
授权
授权
2016-03-23
实质审查的生效 IPC(主分类):G06T7/00 申请日:20151110
实质审查的生效
2016-02-24
公开
公开
技术领域
本发明涉及计算机视觉图像处理方法，具体涉及一种基于滑动比较窗口自 适应分割的水果表面缺陷检测方法。
背景技术
表面缺陷检测是水果分级的重要依据之一，在世界各国的水果评级标准中 有严格的规定。国内外大量学者研究通过计算机视觉方式检测水果及农产品表 面缺陷，但是许多农产品是类球体，二维图形中部的灰度值要远大于边缘的灰 度值，导致表面缺陷图像检测的困难。
经过现有的技术检索发现，方法主要分为三类：
1)基于球体灰度模型的处理方法。譬如专利文献中国专利CN101984346A 记载了一种基于低通滤波的水果表面缺陷检测方法，首先获得去除背景的R分 量图像，利用水果彩色图像通过离散傅里叶变换进行低通滤波然后离散傅里叶 反变换获得表面亮度图像，前者图像除以后者图像得到均一化亮度图像，再采 用单阈值实现水果表面缺陷分割，该技术能检测亮度较低的表面缺陷，但是会 丢失在中心区域以及边缘区域的高亮度及中亮度表面缺陷；中国专利 CN102788806A利用水果RGB图像和NIR图像，计算对比水果的缺陷形状、大 小，但是水果不是严格球体，该专利用二值图像外接矩形最大宽度近似水果直 径，最大宽度的一半作为迭代次数终止条件。这种方法对非圆形的椭圆形水果 会产生误差，而且椭圆形水果长轴和短轴受到的光照朗伯现象不一样直接用该 区域像素点直接进行亮度平均处理，会对缺陷检测带来误差；LiJiangbo等人 (2013)利用光照传输模型与图像比技术检测脐橙表面缺陷，该方法算法对较 低亮度缺陷有效，但是容易丢失高亮度以及中亮度表面缺陷区域。(Automatic detectionofcommonsurfacedefectsonorangesusingcombinedlightingtransform andimageratiomethodsJiangboLi,XiuqinRao,PostharvestBiologyand Technology2013)；李江波等人(2011)利用水果表面亮度矫正单阈值脐橙表 面缺陷提取，该方法会丢失高亮度表面缺陷区域(李江波，饶秀勤，应义斌.水 果表面亮度不均校正及单阈值缺陷提取研究，农业工程学报,2011年12期)。
2)基于表面纹理特征的处理方法。López-GarcíaF等人(2010)利用多元 图像理论以及表面纹理特征算法训练方法检测脐橙表面缺陷，该算法比较复杂 不易用于在线，而且检测脐橙表面缺陷类型有限。(López-GarcíaF,Andreu-García G,BlascoJ,etal.Automaticdetectionofskindefectsincitrusfruitsusinga multivariateimageanalysisapproach[J].ComputersandElectronicsinAgriculture, 2010,71(2):189-19)。
3)基于多光谱成像技术的处理方法。J.Blascoa等人利用多光谱成像设备进 行脐橙表面缺陷分析，该方法硬件成本较高和复杂(2007)(J.Blascoa, N.Aleixos.(2007).Citrussortingbyidentificationofthemostcommondefectsusing multispectralcomputervision.JournalofFoodEngineering83(2007)384–393)。
现有方法存在检测表面缺陷类型有限以及计算方法较复杂难以用于在线检 测或者依赖成本较高的复杂硬件成像技术的问题，因此需要新的水果表面缺陷 检测方法。
发明内容
为了解决背景技术中检测表面缺陷类型有限以及计算方法较复杂难以用于 在线检测或者依赖成本较高的复杂硬件成像技术的问题，本发明的目的在于提 供一种基于滑动比较窗口自适应分割的水果表面缺陷检测方法，相比背景技术， 识别方法更简单，表面缺陷检测类型更多以及对象实用性较广。
本发明解决其技术问题所采用技术方案的步骤如下：
1)获取水果RGB彩色图像；
2)对水果RGB彩色图像去除背景进行图像二值化，获得初始二值化图像；
3)对步骤2)得到的初始二值化图像提取边缘并采用3像素半径圆形的结构 元膨胀一次获得轮廓边缘膨胀图像；
所述步骤3)中的膨胀均通过以下公式完成形态学膨胀得到轮廓边缘膨胀图 像；
R1＝A⊕S＝{a|(Sv)+a∪A≠φ}(1)
式中：R1—形态学膨胀处理结果；A—轮廓边缘膨胀图像；a—A中一个像素； S—半径圆形的结构元；Sv—S的对称集；φ—空集。
4)对RGB彩色图像去除背景转换成灰度图像，并再建立与灰度图像同样大 小的所有像素初始化为0的目标图像P(i,j)；
5)以步骤4)中的灰度图像每个像素为中心用5×5窗口扫描，窗口中超过图 像边界的像素用0填充，并计算获得每个5×5窗口的分割阈值Q(i,j)；
所述步骤5)中，对于每个5×5窗口，通过以下公式将5×5窗口内的所有 25个像素从小到大排序并且计算第二大数值和第二小数值的平均值作为分割阈 值Q(i,j)，从而获得所有5×5窗口的分割阈值Q(i,j)：
式中：Q(i,j)—当前窗口中心像素的分割阈值；f(i,j)—灰度图像； Max_2nd—寻找第二大像素数值；Min_2nd—寻找第二小像素数值；i和j分别表 示图像像素的水平坐标和垂直坐标，k和l分别表示水平和垂直坐标遍历参数。
6)对5×5窗口中心像素用分割阈值Q(i,j)进行判断，对目标图像P(i,j)中的 像素进行重新赋值，遍历处理获得目标二值化图像；
所述步骤6)具体为：对于5×5窗口的每个像素，判断如果当前所在窗口最 大的前三个像素分别与最小像素之差都大于19并且当前像素大于分割阈值Q(i,j) 时，则将与当前像素具有同样位置的目标图像P(i,j)中的像素赋值为1否则赋值 为0，遍历处理所有像素完成图像分割获得目标二值化图像；
7)将步骤6)得到目标二值化图像减去步骤3)的轮廓边缘膨胀图像，再依次 进行膨胀、填洞、腐蚀和中值滤波处理获得水果表面缺陷图像。
所述步骤7)中用目标二值化图像减去步骤3)中轮廓边缘膨胀图像，得到差 值图像，再用1像素半径圆形的结构元来进行形态学膨胀。具体通过以下公式 完成形态学膨胀得到轮廓边缘膨胀图像；
R1＝A⊕S＝{a|(Sv)+a∪A≠φ}(1)
式中：R1—形态学膨胀处理结果；A—轮廓边缘膨胀图像；a—A中一个像素； S—半径圆形的结构元；Sv—S的对称集；φ—空集。
所述步骤7)中填洞采用以下公式完成填洞：
Fk＝(Fk-1E)∩Dc,Fk＝Fk-1(3)
式中：F—填洞图像处理结果；D—差值图像完成形态学膨胀的数据；E— 四连通域；k—计算次数，k＝1,2,3…；Dc—D的补集。
所述步骤7)中腐蚀采用以下公式完成腐蚀，得到差值图像腐蚀图：
式中：R2—腐蚀处理结果；V—差值图像完成膨胀和填洞的数据；v—V中一 个像素；W—半径为2像素圆形结构元；
所述的步骤7)中对腐蚀得到的差值图像腐蚀图进行6×6中值滤波，得到表 面缺陷图像。
本发明具有的有益效果是：
本发明对于检测水果表面缺陷具有很好的准确性和实用性，有效避免了对 水果及农产品形状、大小的依赖以及避免了亮度矫正带来较复杂的计算方法， 也避免了依赖高光谱以及多光谱成像硬件带来的高成本性问题。
本发明能够有效检测不同亮度特征表面缺陷，譬如能检测脐橙10种表面缺 陷(虫伤果、风伤果、蓟马果、介壳虫果、溃疡果、裂果、炭疽病、药害果、 表皮破裂型腐烂果、梗伤果)。方法应用对象较广，方法简便易于实现，在水 果及农产品品质计算机视觉在线检测方面具有较大的应用潜力。
附图说明
图1是本发明方法的流程图。
图2是本发明实施例1中原始图像。
图3是本发明实施例1中初始二值化图像。
图4是本发明实施例1中轮廓边缘膨胀图像。
图5是本发明实施例1中半径3像素半径圆形结构元。
图6是本发明实施例1中获得的目标二值化图像。
图7是本发明实施例1中差值图像。
图8是本发明实施例1中半径1像素半径圆形结构元。
图9是本发明实施例1中四连通域。
图10是本发明实施例1中半径2像素半径圆形结构元。
图11是本发明实施例1中提取表面缺陷图像。
图12是脐橙虫伤果原始图。
图13是脐橙虫伤果表面缺陷检测结果图。
图14是脐橙风伤果原始图。
图15是脐橙风伤果表面缺陷检测结果图。
图16是脐橙蓟马果原始图。
图17是脐橙蓟马果表面缺陷检测结果图。
图18是脐橙介壳虫果原始图。
图19是脐橙介壳虫果表面缺陷检测结果图。
图20是脐橙溃疡果原始图。
图21是脐橙溃疡果表面缺陷检测结果图。
图22是脐橙裂果原始图。
图23是脐橙裂果表面缺陷检测结果图。
图24是脐橙炭疽病果原始图。
图25是脐橙炭疽病果表面缺陷检测结果图。
图26是脐橙药害果原始图。
图27是脐橙药害果表面缺陷检测结果图。
图28是脐橙表皮破裂腐烂果原始图。
图29是脐橙表皮破裂腐烂果表面缺陷检测结果图。
图30是脐橙梗伤果原始图。
图31是脐橙梗伤果表面缺陷检测结果图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
如图1所示，本发明的实施例及其实施过程如下：
1)拍摄样本水果RGB彩色图像，如图2所示。
2)对水果RGB彩色图像进行去除背景二值化，获得如图3所示的二值化图 像。
3)对二值化图像提取轮廓边缘，然后通过公式(1)完成形态学膨胀得到如图4 所示的轮廓边缘膨胀图像。
R1＝A⊕S＝{a|(Sv)+a∪A≠φ}(1)
式中：
R1—处理结果；
A—轮廓边缘膨胀图像；
a—A中一个像素；
S—如图5所示的3像素半径圆形的结构元；
Sv—S的对称集；
φ—空集。
4)对RGB彩色图像去除背景转换成灰度图像并建立同样大小像素初始化 为0的目标图像P(i,j)；
5)对灰度图像每个像素为中心用5×5窗口扫描，对窗口超过图像边界的像 素用0填充，用公式(2)自动对窗口内25个像素从小到大排序并且计算第二 大和第二小数值的算数平均值获得分割阈值Q(i,j)；
式中：Q(i,j)—当前窗口中心像素的分割阈值；f(i,j)—灰度图像；
Max_2nd—寻找第二大像素数值；Min_2nd—寻找第二小像素数值。
6)判断如果窗口最大的前三个像素分别与最小像素之差都大于19并且当 前像素大于分割阈值Q(i,j)时，用在目标图像P(i,j)与窗口中心同样位置的像素 赋值为1否则赋值为0，遍历处理所有像素完成图像分割获得如图6所示的二值 化图像；
7)用二值化图像减去轮廓边缘膨胀图像，得到如图7所示的差值图像，用 如图8所示的1像素半径圆形的结构元来通过公式(1)完成形态学膨胀，然后 通过公式(3)完成区域填充；
Fk＝(Fk-1E)∩Dc,Fk＝Fk-1(3)
式中：
F—图像处理结果；
D—差值图像完成形态学膨胀的数据；
E—如图9所示的四连通域；
k—次数，k＝1,2,3…；
Dc—D的补集；
通过公式(4)完成形态学腐蚀，得到差值图像腐蚀图。
式中：
R2—处理结果；
V—差值图像完成形态学膨胀和区域填充的数据；
v—V中一个像素；
W—如图10所示的半径为2像素圆形结构元。
对差值图像腐蚀图进行6×6中值滤波，得到如图11所示的表面缺陷图像， 其中白色区域为缺陷区域。
本发明分别对脐橙虫伤果、脐橙风伤果、脐橙蓟马果、脐橙介壳虫果、脐 橙溃疡果、脐橙裂果、脐橙炭疽病果、脐橙药害果、脐橙表皮破裂腐烂果、脐 橙梗伤果进行了实施实验，相关原始图像和检测结果图像分别如附图12～图31 所示，
图12是脐橙虫伤果的原始图像，图13是图12的检测结果图，其中白色区 域为缺陷区域。
图14是脐橙风伤果的原始图像，图15是图14的检测结果图，其中白色区 域为缺陷区域。
图16是脐橙蓟马果的原始图像，图17是图16的检测结果图，其中白色区 域为缺陷区域。
图18是脐橙介壳虫果的原始图像，图19是图18的检测结果图，其中白色 区域为缺陷区域。
图20是脐橙溃疡果的原始图像，图21是图20的检测结果图，其中白色区 域为缺陷区域。
图22是脐橙裂果的原始图像，图23是图22的检测结果图，其中白色区域 为缺陷区域。
图24是脐橙炭疽病果的原始图像，图25是图24的检测结果图，其中白色 区域为缺陷区域。
图26是脐橙药害果病果的原始图像，图27是图26的检测结果图，其中白 色区域为缺陷区域。
图28是脐橙表皮破裂腐烂果的原始图像，图29是图28的检测结果图，其 中白色区域为缺陷区域。
图30是脐橙梗伤果的原始图像，图31是图30的检测结果图，其中白色区 域为缺陷区域。
由上述各个实施例原始图像和检测结果图相对比可见，本发明方法的检测 具有很好的准确性和实用性，能有效避免了对水果及农产品形状、大小的依赖 以及避免了亮度矫正带来的复杂影响，应用对象广，在水果及农产品品质计算 机视觉在线检测方面具有较大的应用价值。
上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本 发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落 入本发明的保护范围。
机译： 滑动窗口中基于灰度图像后梯度处理的分割方法
机译： 基于字符分割和级联分类器的自适应电表检测方法
机译： 自适应算法中基于子窗口旋转的旋转不变面检测方法
