一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法

摘要

本发明提供一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法，利用视觉显著性分析和纹理特征提取的结合，在嵌入式平台Zynq？SoC上实现算法的软硬件协同设计以提高检测系统的有效性和实时性；离线阶段利用差分进化算法对无瑕疵样本图像进行椭圆Gabor滤波器的参数寻优，得到最优EGF，在线阶段基于FPGA进行RGB图像采集、快速中值滤波、RGB到CIE？LAB格式的颜色空间转换、LAB三通道的EGF处理，通过AXI？VDMA总线将数据传输到ARM部分，并计算滤波前后图像特征向量，利用两特征向量提取瑕疵显著区域，确定阈值分割瑕疵，最后得到高亮瑕疵的二值图像；本系统对于本色、纯色布匹瑕疵检测有较高的检测效率和实时性。

说明书

技术领域

本发明涉及一种基于嵌入式机器视觉的布匹瑕疵实时视觉检测方法，具体涉及一 种基于SoC软硬件协同设计的布匹表面瑕疵检测方法。

背景技术

随着工业技术和工艺水平的提高，市场对产品质量的要求也日益增大，在纺织印 染产品的生产中，布面瑕疵是影响布匹质量的重要因素之一，因此，布匹的质量检测要求也 更加严格。传统的布匹检测主要是依靠经验丰富的员工，在纺织品产量持续增涨，质量要求 日益苛刻的形势下，人工检测方法存在许多的局限，如检测速度慢、检测率不高、误检率大、 人力资源浪费等，故快速准确地检测布匹瑕疵成为纺织品生产中待解决的重要问题。

布匹瑕疵检测主要是利用图像的颜色亮度、灰度值变化、纹理等特征进行瑕疵检 测，主要方法集中于统计法、频域法、模型法等。针对布匹瑕疵检测存在的布匹种类多和瑕 疵类型繁多的难题，目前的算法大都只能检测出某几种类型的瑕疵，且检出率与实时性不 高。

人类在观察事物时能够快速捕获到场景中重要目标或感兴趣区域，这种原理称为 视觉注意机制。对于布匹瑕疵检测，无论是什么样的布匹种类或瑕疵类型，在不同光照、不 同工艺、生产环境的情况下，人类都能快速准确的找到瑕疵，因为瑕疵区域相较于其他背景 部分，易引起视觉注意。故在进行机器视觉检测中引入视觉显著性分析，能够快速定位到瑕 疵显著区域，又布匹图像的纹理信息较为丰富，而椭圆Gabor滤波器在纹理特征提取中表现 最好，因此本发明结合视觉显著性分析和纹理特征提取进行瑕疵检测。目前大部分基于智 能相机的视觉检测系统为串行结构，对于一些检测速度和精度要求较高的应用场合难以满 足。

发明内容

本发明目的针对传统视觉检测速度较慢和实时性不强等问题提出一种基于SoC软 硬件协同设计的布匹表面瑕疵检测方法，以取代效率低下的人工检测法。一种基于SoC软硬 件协同设计的布匹表面瑕疵检测方法，在ZynqSoC平台上通过并行部分提取图像显著性区 域和纹理特征；通过串行部分进行融合所述纹理特征，确定阈值分割，分离出瑕疵区域；以 串并行方式实现检测算法，包含以下步骤：

离线训练：

A.利用线阵CCD相机获取RGB无瑕疵样本布匹的图像，根据相机捕获所述图像的外 部触发频率调节布匹的传送速度以及相机光圈焦距等参数，并存储所述图像；

B.对灰度化后的所述图像进行快速中值滤波预处理，以抑制噪声并去除随机干 扰；

C.构建椭圆Gabor滤波器，选取滤波器参数构成待训练参数集；

D.利用差分进化算法对所述椭圆Gabor滤波器进行参数寻优，得到最优参数集；

在线检测：

E.基于SoC的并行部分进行RGB图像采集，并通过AXI4_Stream总线输入FPGA缓存 模块BRAM；

F.对采集到的所述RGB图像进行R、G、B三通道的快速中值滤波预处理，以去除噪 声；

G.对去噪后的图像进行RGB格式到CIELAB格式的颜色空间转换，以进行视觉显著 性区域提取；

H.对LAB空间的图像进行L、a、b三通道的最优椭圆Gabor滤波，利用纹理特征再次 凸显图像中瑕疵区域；

I.基于SoC串行部分分别计算滤波前后像素特征向量以进行瑕疵显著性区域提 取，再进行阈值分割，得到分离出瑕疵的二值图像，输出检测结果实时显示。。

进一步地，所述步骤C中椭圆Gabor滤波器的构造与参数的选取：

构建2DGabor函数，表达式为：

其中，(σ_x,σ_y)为高斯尺度参数，(u₀,v₀)为中心空间频率坐标，(x',y')为旋转操 作，具体定义为：

其中，θ为所述Gabor滤波器的旋转角度，则(1)式中所述Gabor滤波器的2D傅里叶 变换为：

其中，

EGF具有类似于RGF的尺度选择的性能，有利于纹理分析，但RGF的频域中心固定在 坐标原点，限制了其在瑕疵检测中的应用，鉴于此，本发明提出了一种中心、频率和方向可 调整的新型EGF，即其频域的中心可以以任意的特定带宽和方向定义在任意位置，有利于提 高其检测性能。EGF具体表达式为：

其中，F₀为滤波器在空间频域的中心频率，为高斯长宽比，式(4)中EGF的2D 傅里叶变换为：

其中，可见EGF性能取决于参数集{F₀,u₀,v₀,θ,β,λ}。

进一步地，所述步骤D中利用差分进化算法进行EGF参数寻优：

对于大小为N×N的输入图像I(x,y)经EGF滤波后其能量函数为：

f(x,y)＝I(x,y)*G(x,y)(6)

E(x,y)＝Sqrt[f_Re(x,y)²+f_Im(x,y)²](7)

其中，f_Re(x,y)，f_Im(x,y)分别为经实、虚EGF滤波后图像，则能量函数的均值和标 准差分别为：

根据给定的两个无瑕疵的训练样本图像T₁(x,y)，T₂(x,y)定义Fisher代价评估函 数为：

其中，(μ₁,μ₂)，(σ₁,σ₂)分别为T₁(x,y)，T₂(x,y)经滤波后能量函数E(x,y)的均值和 标准差，通过寻求F(t)最大值来确定最优参数集；基于上述论证和实验分析，为提高寻优效 率和效果，对寻优参数集作出下列约束：0≤θ≤π，

进一步地，所述步骤F中对LAB空间图像进行EGF滤波处理：

FPGA实现EGF主要是通过输入图像像素数据与EGF的2D卷积模块进行乘法加法操 作，输出滤波后的图像数据，利用掩模大小为5×5的卷积模块处理图像，得到处理结果W(x, y)为：

其中G(u,v)为坐标(u,v)处的滤波系数，该25个系数为通过离线训练阶段优化EGF 而得到的，且存入ROM，通过对应系数坐标载入卷积单元。

根据权利要求1所述的一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法，其 特征在于，所述步骤I中计算滤波前后特征向量与提取瑕疵显著图，包括以下步骤：第一步： 计算LAB颜色空间中未滤波的图像像素平均特征向量F_lab(x,y)，再计算经最优EGF滤波后的 图像特征向量F_egf(x,y)，则瑕疵显著区域D(x,y)为：

D(x,y)＝||F_egf(x,y)-F_lab(x,y)||(12)

第二步：对滤波后得到的瑕疵区域灰度图像按式(8)(9)求取D(x,y)的均值和方 差，并按式(13)进行阈值分割：

其中，k为控制常数，根据具体的检测对象和实验确定。

本发明的有益效果是：本发明提供了一种基于SoC软硬件协同设计的布匹表面瑕 疵检测方法，对于本色、纯色布匹图像进行显著性区域和纹理特征的提取，利用瑕疵区域相 对于背景部分在纹理和像素值上的突变提取瑕疵区域。在ZynqSoC平台上，利用软硬件协 同设计技术将检测算法进行合理的软硬件划分，充分利用其硬件资源的并行优化和串行部 分的灵活性对检测系统进行较大地提速。在线阵CCD相机实时高速采集连续运动的布匹图 像时，能够快速地进行实时处理，大大提高检测速度和检测效率。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实 施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1本发明的系统硬件框架图；

图2本发明的算法整体流程图；

图3本发明检测算法的软硬件协同设计结构图；

图4最优EGF的5×52D卷积模块IP设计结构图。

具体实施方式

为使本发明的目的、技术方案和优点等更加清楚明白，以下结合具体实例，并参照 附图，对本发明进一步详细说明。

本发明的目的是检验布匹的表面瑕疵，在ZynqSoC平台上实现布匹图像的采集与 处理，并显示检测结果。本发明提出了一种基于SoC软硬件协同设计的布匹表面瑕疵检测方 法，针对布匹表面瑕疵利用显著性区域与纹理特征的提取实现在线视觉检测。

检测系统的硬件框图如附图1所示，ZynqSoC通过AXI4总线实现FPGA(PL)与ARM (PS)间的数据交互与通信，其中ARM为核心，控制整个系统的运行，上电第一个启动，进入 FSBL(第一引导阶段)，再执行检测算法硬件IP块设计生成的Bit文件，使得PL按照Bit中设 计方式运行，ARM通过AXI4_Lite接口控制图像采集与输入，图像数据经过AXI4_Stream总线 进入PL，进行预处理和瑕疵检测处理，数据传输到DDR3SDRAM中计算特征向量提取瑕疵区 域，并确定阈值二值化，检测结果经AXI4_Stream总线输出并通过VGA接口显示。

检测算法整体流程如附图2所示，在离线训练阶段，构建椭圆Gabor滤波器，利用差 分进化算法对训练布匹图像进行参数寻优；在线检测时，基于SoC并行部分(FPGA)采集图像 并进行中值滤波、颜色空间转换、最优EGF滤波；在SoC串行部分(ARM)计算特征向量并提取 瑕疵显著区域，最后确定阈值分割出瑕疵区域；整个检测算法的软硬件协同设计方式如附 图3所示，该设计充分利用FPGA的硬件并行优化加速和ARM的软件灵活性提高算法的实时 性。

进一步的，具体实现步骤为：

离线训练：

A.利用线阵CCD相机获取RGB无瑕疵样本布匹图像，根据相机捕获图像的外部触发 频率调节布匹的传送速度以及相机光圈焦距等参数，并存储图像。

B.将样本图像灰度化处理，再进行中值滤波预处理，以抑制噪声并去除随机干扰。

C.构造椭圆Gabor滤波器，选取参数集。

构建2DGabor函数，表达式为：

其中，(σ_x,σ_y)为高斯尺度参数，(u₀,v₀)为中心空间频率坐标，(x',y')为旋转操 作，具体定义为：

其中，θ为滤波器的旋转角度，则(1)式中Gabor滤波器的2D傅里叶变换为：

其中，

RGF(RingGaborFilter)是传统Gabor滤波器的改进，为2D带通滤波器，其通带形 似一个戒指环，在频域有高斯横截面，具有旋转不变性，不能作为方向检测器，而EGF (EllipticalGaborFilter)具有类似于RGF的尺度选择的性能，有利于纹理分析。但RGF的 频域中心固定在坐标原点，限制了其在瑕疵检测中的应用，鉴于此，本发明提出了一种中 心、频率和方向可调整的新型EGF，即其频域的中心可以以任意的特定带宽和方向定义在任 意位置，有利于提高其检测性能。EGF具体表达式为：

其中，F₀为滤波器在空间频域的中心频率，为高斯长宽比。式(4)中EGF的2D 傅里叶变换为：

其中，可见EGF性能取决于参数集{F₀,u₀,v₀,θ,β,λ}。

D.利用差分进化算法(DE)进行离线寻优

对于大小为N×N的输入图像I(x,y)经EGF滤波后其能量函数为：

f(x,y)＝I(x,y)*G(x,y)(6)

E(x,y)＝Sqrt[f_Re(x,y)²+f_Im(x,y)²](7)

其中，f_Re(x,y)，f_Im(x,y)分别为经实、虚EGF滤波后图像，则能量函数的均值和标 准差分别为：

根据给定的两个无瑕疵的训练样本图像T₁(x,y)，T₂(x,y)定义Fisher代价评估函 数为：

其中，(μ₁,μ₂)，(σ₁,σ₂)分别为T₁(x,y)，T₂(x,y)经EGF滤波后能量函数E(x,y)的均 值和标准差，通过寻求F(t)最大值来确定最优参数集。基于上述论证和实验分析，为提高寻 优效率和效果，对寻优参数集作出下列约束：0≤θ≤π，

具体寻优步骤为：

步骤1：初始化DE控制参数库：种群数量为D＝6、变异算子为F＝0.5、交叉算子为CR ＝0.1、最大进化代数为100，即终止条件，随机产生初始种群，进化代数为1；

步骤2：对初始种群进行评价，计算初始种群中每个个体的适应度值，通过构建的 EDFs对训练图像进行滤波，进行目标代价函数评估；

步骤3：判断是否达到终止条件，若是，则进化终止，将此时的最佳个体作为解输 出；若否，继续；

步骤4：进行变异和交叉操作，对边界条件进行处理，得到临时种群；

步骤5：对临时种群进行评价，计算临时种群中每个个体的适应度值，利用EDFs对 训练图像进行滤波，进行目标代价函数评估；

步骤6：进行选择操作，得到新种群；

步骤7：下一进化代数，转步骤3。

在线检测：

按照预定的检测速度，调整相机位置、焦距、视场和光源打光方向与亮度，设定布 匹传送速度和相机采样频率，由SoC给出图像采集信号，控制图像的采集与缓存。

E.利用FPGA部分对RGB图像进行R、G、B三通道3×3快速中值滤波

预处理，以抑制噪声去除干扰；

3×3快速中值滤波是将列排序(降序)后的模板分别求取第一行的最小值min1和 第三行的最大值max3，各需比较2次，再求中间行的中值med2需比较3次，最后求取Med {min1,med2,max3}，相较于传统中值滤波，总的比较次数降为19次。

F.利用FPGA部分对预处理后的图像进行颜色空间转换，由RGB格式转换为CIELAB 格式；

CIELAB颜色空间更接近于人类视觉，在视觉注意机制中是最常用也是表现最好的 图像特征，在该空间进行特征提取计算显著性区域效果良好。由RGB格式转换为CIELAB格式 需要两步：RGB转化为CIEXYZ格式，再转换为LAB格式，通过优化转换公式在FPGA上利用乘法 器、加法器和查找表可以实现该转换。

G.利用FPGA在LAB颜色空间进行最优椭圆Gabor滤波器处理，得到处理后凸显瑕疵 区域的图像；

FPGA实现EGF主要是通过输入图像像素数据与EGF的2D卷积模块进行乘法、加法操 作，输出滤波后的图像数据。利用掩模大小为5×5的卷积模块处理图像，得到处理结果W(x, y)为：

其中G(u,v)为坐标(u,v)处的滤波系数，该25个系数为通过离线训练阶段优化EGF 而得到的，且存入ROM，通过对应系数坐标载入卷积单元，附图4为5×52D卷积模块结构设 计图，其中卷积系数G(u,v)从ROM中读取。

H.ARM部分利用AXIVDMA总线从DDR3存储器读取FPGA上处理后

的图像数据，并计算LAB空间中滤波前后的特征向量；利用两特征向量提取测试图 像的瑕疵显著性区域图，最大程度凸显出瑕疵区域；

首先计算LAB颜色空间中未滤波的图像像素平均特征向量F_lab(x,y)，再计算经最 优EGF滤波后的图像特征向量F_egf(x,y)，则瑕疵显著区域D(x,y)为：

D(x,y)＝||F_egf(x,y)-F_lab(x,y)||(12)

I.确定阈值，分割出瑕疵区域并通过VGA接口在显示器上直接显示检测结果高亮 出瑕疵区域的二值图像；

对滤波后得到的瑕疵区域灰度图像按式(8)、(9)求取D(x,y)的均值和方差，并按 式(13)进行阈值分割：

其中，k为控制常数，根据具体的检测对象和实验确定。

判断检测结果，若存在瑕疵，保存该图像序列与检测结果，并作出标记进入下一幅 图像检测；若不存在瑕疵，则不保存图像与结果直接进入下一幅图像。

以上所述仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术 人员来说，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在 本发明的保护范围之内。