基于类球形亮度变换的水果表面缺陷检测方法

摘要

本发明涉及图像处理技术领域，公开了一种基于类球形亮度变换的水果表面缺陷检测方法。本发明基于水果R分量图像，对表面亮度不均进行变换，使水果表面缺陷分割简化为单阈值法检测，克服了传统基于RGB图像缺陷检测算法的复杂性，同时避免了对算法的频繁训练，实现了对缺陷的精确检测。本发明的检测方法不受到水果大小和形状的影响，较好地避免了亮度对结果造成的影响。由于该方法实现了单阈值对水果表面缺陷的一次性成功分割，因此在在线水果缺陷检测中具有较大的应用潜力。

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于类球形亮度变 换的水果表面缺陷检测方法。

背景技术

根据水果的外部品质进行检测和分级，是水果销售、加工和贮存 前的重要环节。通过机器视觉检测技术对水果进行分级不仅能够提高 水果质量而且可以有效地减少人工检测的劳动量，提高检测效率。目 前，水果大小、颜色和外部缺陷检测中前两个已经获得了很好的解决， 但根据外部缺陷进行检测分级仍然是难点。水果是一个类球形的物 体，根据朗伯反射定律，水果边缘的光能量主要沿着反射光线的方向 传播，当反射光线和相机的夹角较大，反射光线很难进入相机，表现 为亮度较低，而缺陷本身在图像中也表现为低亮度，图像处理时边缘 正常区域和中部缺陷区域容易混淆而造成误分割。

Leemans等人（2004）采用K均值聚类的方法提取RGB图像中 苹果缺陷的特征，然后采用二次判别分析的方法实现缺陷的检测 （Leemans V,Destain M F.A real-time grading method of apples based  on features extracted from defects[J].Journal of Food Engineering,2004, 61:83~89.）。Blasco等人（2007）利用无监督区域增长算法对柑橘类 水果表面缺陷进行分割，利用3个CCD相机获得的彩色图像，根据 不同区域之间的马氏距离来评价区域之间的相似度从而检测出缺陷 （Blasco J,Aleixos N,Molto E.Computer vision detection of peel  defects in citrus by means of a region oriented segmentation algorithm[J]. Journal ofFood Engineering,2007,81:535~543.）。Xing等人（2005） 采用400-1000nm高光谱图像采集系统获得水果的图像，利用主成分 分析方法进行降维，根据获得的主成分图像实现缺陷的识别（Xing J, Baerdemaeker J D.Bruise detection on‘Jonagold’apples using  hyperspectral imaging[J].Postharvest Biology and Technology,2005,37: 152~162.）。Tao等人（1996）提出了自适应球形灰度变换法，该方法 补偿了水果表面的曲率变化造成的反射亮度梯度，从而实现缺陷的单 阈值分割（TaoY,Wen Z.An adaptive spherical image transform for  high-speed fruit defect detection[J].Transactions of the ASAE,1999, 42(1):241~246.）。应义斌等人（2004）研究了球体的大小、表面颜色 和图像采集位置等因素对球体图像颜色的亮度、色调和饱和度的影 响，建立了摄像视区中心的球体图像亮度校正模型，并应用于柑橘图 像的亮度校正（付峰，应义斌．球体图像灰度变换模型及其在柑桔图 像校正中的应用[J]．农业工程学报，2004，20(4):117~120.）。 Gomez-Sanchis等人（2008）针对球形水果表面照度不均的问题，假 设水果为朗伯椭圆表面，利用数字高程模型开发了一套自动亮度校正 算法（Gomez-Sanchis J,Molto E,Camps-Valls G,et.al.Automatic  correction of the effects of the light source on spherical objects.an  application to the analysis of hyperspectral images of citrus fruits[J]. Journal of Food Engineering,2008,85:191~200.）。Haff等人（2011） 针对高光谱图像中弯曲表面造成的亮度不均的问题，采用均匀的 Teflon球体作为研究对象，研究了朗伯表面的光反射方式、光源到物 体表面的距离和投影到探测器的弧面长度变化对亮度的影响，并提出 了补偿算法（HaffR,S aranwong S,Kawano S.Methods for correcting  morphological-based deficiencies in hyperspectral images of round  objects[J].Journal ofNear Infrared Spectroscopy,2011,19:431~441.）。

分析上述的研究，目前基于RGB图像的缺陷检测方法，存在算 法复杂的问题，需要事先进行训练。而且采用高光谱进行检测，存在 成本高的问题。因此，大部分研究都寻求采用标准球建立亮度校正模 型来对灰度图像亮度进行校正以实现缺陷的检测，但实际生产中水果 不一定表现为规则的球体，这就降低了此类模型的适用范围。

发明内容

（一）要解决的技术问题

本发明要解决的技术问题是：因水果表面形状弯曲造成的图像亮 度不均，造成的难以精确检测水果表面缺陷的问题。

（二）技术方案

为了解决上述技术问题，本发明提供一种基于类球形亮度变换的 水果表面缺陷检测方法，该方法包括步骤：

S1.获取水果的RGB图像和NIR图像；

S2.从RGB图像中提取R分量图像；

S3.从NIR图像中形成二值化图像，求出二值化图像外接矩形最 大宽度Y；

S4.提取二值化图像的边缘像素；

S5.通过R分量图像与所述边缘像素的点乘获得R分量图像的边 缘；

S6.计算所述二值化图像的边缘像素的像素点个数M，将R分量 图像的边缘的所有点的亮度之和除以像素点个数M获得亮度平均值；

S7.将R分量图像的边缘的所有点的亮度值均除以亮度平均值并 乘以255，获得变换后的亮度图像R_correct；

S8.对变换后的图像进行累加，得到新的图像 New_image=New_image+R_correct，其中，New_image的初始值为0；

S9.将二值化图像减去步骤S4中已经提取出来的二值化图像的 边缘像素获得新的二值化图像，即：Binary=Binary-edge，并将循环 次数加1，所述循环次数的初始值为1；

S10.判断循环次数是否大于S3步骤得到的最大宽度Y的一半 Y/2，如果不大于则返回步骤S4；否则终止循环，获得变换后的新图 像New_image；

S11、对步骤S10得到的新图像提取缺陷区域。

优选地，步骤S11具体为：采用单阈值分割的方法对步骤S10 得到的新图像提取缺陷区域。

优选地，在步骤S11进行缺陷区域提取之前还采用高斯模糊滤波 的方法对步骤S10得到的新图像进行处理。

优选地，在步骤S11之后还对所提取的缺陷区域进行去噪处理。

优选地，通过形态学开运算进行所述去噪处理。

优选地，步骤S1中，利用可见-近红外双CCD成像系统获取水 果的RGB图像和NIR图像。

优选地，步骤S3中利用单阈值分割的方法形成二值化图像。

（三）有益效果

上述技术方案具有如下优点：基于水果R分量图像，对表面亮度 不均进行变换，使水果表面缺陷分割简化为单阈值法检测，克服了传 统基于RGB图像缺陷检测算法的复杂性，同时避免了对算法的频繁 训练，实现了对缺陷的精确检测。本发明的检测方法不受到水果大小 和形状的影响，较好地避免了亮度对结果造成的影响。由于该方法实 现了单阈值对水果表面缺陷的一次性成功分割，因此在在线水果缺陷 检测中具有较大的应用潜力。

附图说明

图1是朗伯反射模型图；

图2是类球形亮度变换方法示意图；

图3是本发明的方法流程图；

图4是R分量图像及剖面线；

图5是R分量图像剖面图；

图6是单阈值分割后的R分量二值图像；

图7是亮度变换后图像的剖面线；

图8是亮度变换后图像的剖面图；

图9是单阈值分割后的亮度图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细 描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明针对基于机器视觉的水果表皮缺陷检测中存在的因表面 亮度不均造成的缺陷检测精度不高的问题，采用RGB和中心波段为 800nm的可见-近红外双CCD成像系统实现了一种类球形亮度变换方 法，基于该方法利用全局阈值实现水果表面缺陷的完整检测分割。亮 度变换过程中无须预先进行建模。

本发明的技术原理如下：

因为水果是一个生物体，其表面存在弯曲，光照在上面会形成中 间亮边缘暗的分布。可以将水果近似看作一个朗伯体，根据朗伯反射 原理，球面上任意一点的亮度是与该点的法向量和该点与光源连线之 间的角度θ的余弦成正比的，即

I_D=I_L×cosθ                （1）

式中：I_D——反射光强度；I_L——入射光强度。

在一般的基于机器视觉的水果缺陷检测系统中，因为光源对称布 置于水果的侧上方，相机处于水果的正上方，且相机到水果的物距远 大于水果的尺寸，因此相机所获得的图像中水果表面各点亮度的差异 主要由上述的夹角θ决定。如图1所示，水果边缘区域反射光线与法 向量的夹角θ₂大于中间区域的夹角θ₁，因而亮度也较低。

如图2所示，对于类球形物体的水果，沿着半径R的梯度方向， 宽度为Δr的圆环区域A的亮度可以近似认为是均匀的，该区域的平均 亮度I_mean可通过下式计算：

$I\_\mathrm{mean}=\frac{1}{N}\times \underset{i\in A}{\Sigma }{I}_i---\left(2\right)$

式中，N——环形区域像素点个数；I_i——像素点i的光强度。

当计算出上述平均亮度I_mean后，将原始环形区域内所有像素点i 的光强度I_i均除以I_mean，再乘以255，可获得该区域变换后的亮度 图像R_correct，即：

R_correct=(I_i/I_mean)×255 i∈A        （3）

由于对光反射和吸收效应不同，同一宽度为Δr的圆环区域A内， 缺陷的亮度比正常果皮的亮度要低，缺陷位置的亮度除以平均亮度 后，亮度会降低，正常果皮区域的亮度除以平均亮度后，亮度则保持 不变或提高，这样就提高了缺陷和正常果皮的对比度，有利于后续的 缺陷提取。当Δr的长度逐渐缩小至一个像素点时，可以获得最高精 度的亮度变换后的图像。

基于以上原理，本发明的方法包括以下步骤（如图3所示）：

S1.利用可见-近红外双CCD图像采集系统获取苹果的RGB和 NIR图像；

S2.从RGB图像中提取R分量图像Image_R；如图4所示为R分量 图像，中间的白线为剖面线，对应的剖面图如图5所示，从剖面图可 以看出整个苹果图像呈现中间亮边缘暗，且边缘亮度变化是一个上升 的斜坡，当进行单阈值分割时，边缘正常果皮区域会被当成缺陷提取 出来造成误判。图6为分割阈值等于45时所得到的二值化分割图，其 中边缘的圆为轮廓线，可以看出正如所分析的，边缘区域很大一部分 正常果皮被误分割为缺陷。

S3.从NIR（近红外）图像中利用单阈值分割形成二值化图像 Binary，求该Binary图像外接矩形最大宽度Y；

S4.提取Binary图像的边缘像素B_edge；

S5.通过R分量图像Image_R与边缘像素B_edge的点乘获得R分 量图像的边缘R_edge；

S6.计算二值化图像Binary的边缘像素B_edge的像素点个数，R 分量图像边缘Image_R的所有点的亮度和除以该像素点个数获得亮度 平均值I_mean；

S7.R分量图像边缘Image_R的所有点的亮度均除以亮度平均值 I_mean并乘以255，获得变换后的亮度图像R_correct;

S8.对变换后的图像R_correct进行累加，即新的图像 New_image=New_image+R_correct；

S9.更新循环条件：二值化图像Binary减去步骤S4中已经提取出 来的边缘像素B_edge获得新的二值化图像Binary，即： Binary=Binary-edge，循环次数n更新为n+1，循环次数的初始值为1;

S10.判断循环次数是否大于S3步骤得到的最大宽度Y的一半 Y/2，如果不大于则返回步骤S4；否则终止循环，获得变换后的新图 像New_image。

S11、采用单阈值分割的方法对步骤S10得到的新图像提取缺陷 区域。

在步骤S11进行缺陷区域提取之前还采用高斯模糊滤波的方法 对步骤S10得到的新图像进行处理。在步骤S11之后还通过形态学开 运算对所提取的缺陷区域进行去噪处理。

如图7所示为R分量图像经过类球形亮度变换方法变换后得到的 亮度图像，中间的黑线为剖面线，对应的剖面图如图8所示，从剖面 图可以看出整个苹果图像的亮度均得到了提高，但缺陷区域仍保持较 低的亮度值。对变换后的亮度图像，首先采用高斯模糊滤波对图像进 行滤波，然后采用单阈值分割的方法提取缺陷区域，最后通过形态学 “开运算”去除一些小的噪点。当进行单阈值分割（阈值为140）时 所得到的二值化图像如图9所示，可以看出边缘正常果皮区域没有发 生误分割，仅仅分割出花萼和缺陷区域。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领 域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以 做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。