服装图像前景颜色特征提取方法及服装检索方法和系统

摘要

本发明公开了一种服装图像前景颜色特征提取方法及服装检索方法和系统，其中颜色特征提取步骤如下：对服装图像进行图像分块；根据图像分块划分区域；将色差阈值法与图像分块相结合来检测服装前景边缘，并对服装图像每个像素点的颜色进行转换；服装图像中各像素点的颜色转换为HSV空间；针对于高权重区的像素点颜色值添加高权重，针对于低权重区的像素点颜色值添加低权重；统计HSV颜色直方图，获取颜色特征值。本发明方法采用与图像分块相结合的色差阈值法检测服装边缘，其中被判断为服装前景的部分保留其颜色特征，而被判断为背景的部分取色差替换原来的颜色，有效消除了背景颜色的干扰，提高了服装检索的查全率和查准率。

说明书

技术领域

本发明涉及图像处理技术领域，特别涉及一种服装图像前景颜色特征提取方法及服装检索方法和系统。

背景技术

随着电子商务的快速发展和互联网的快速推进，服装图片多如牛毛，无论从服装生产者还是消费者的角度考虑，都迫切需要一种基于内容的服装图像搜索工具，通过“以图搜图”的方式，快速准确地找到感兴趣的服装。目前，基于内容的图像检索(Content-based Image Retrieval，CBIR)技术已成为一个热门研究领域。基于内容的服装检索首先提取出服装图像的底层视觉特征，如颜色、形状、纹理等，然后对提取出的特征进行相似性度量，从而检索出相同或相似的服装。对于服装图像而言，颜色特征往往最能体现出一件服装的本质特征，它也是最稳定的视觉特征。因此，在服装检索中，往往采用颜色作为检索的主要特征之一。

目前，常用的颜色特征提取算法有颜色直方图算法、累加颜色直方图算法、颜色矩算法等。其中，颜色直方图算法因其计算简单且具有旋转、平移不变性等优点而被广泛采用。但颜色直方图算法用于服装检索时效果并不理想，主要存在的问题是：服装图像背景颜色的干扰很大。例如，淘宝上的许多服装图片都有复杂的背景：有大号的广告字；有无关的场景；还有模特身上的服装。目前，也有一些去除服装背景干扰的方法。例如，用Canny算子获取服装边缘；切割出图像中心区域的颜色直方图算法；JSEG分割算法等。但实验发现，上述这些方法的效果均不理想。因此，如何准确提取出服装本身的颜色特征是一个难题。只有准确提取出服装前景图像的颜色特征，尽量消除背景颜色的干扰，才能有效提高服装检索的查准率和查全率。

发明内容

本发明的第一目的在于克服现有技术的缺点与不足，提供一种服装图像前景颜色特征提取方法，该方法采用与图像分块相结合的色差阈值法检测服装边缘，被判断为服装前景的部分保留其颜色特征，而被判断为背景的部分取色差替换原来的颜色，能够有效消除背景颜色的干扰。

本发明的第二目的在于提供一种基于上述服装图像前景颜色特征提取方法实现的服装图像检索方法，有效提高了服装检索的查全率和查准率。

本发明的第三目的在于提供一种基于上述服装图像前景颜色特征提取方法实现的服装图像检索系统。

本发明的第一目的通过下述技术方案实现：一种服装图像前景颜色特征提取方法，步骤如下：

S1、对服装图像进行图像分块：将服装图像分为n×m子块，令中心n1×m1的块区域为核心区域，其他区域为外围区域；

S2、根据图像分块划分区域：将核心区域定义为高权重区，外围区域定义为低权重区；

S3、将色差阈值法与图像分块相结合来检测服装前景边缘，并对服装图像每个像素点的颜色进行转换，具体过程如下：

S31、逐行从左往右读取每个像素点的RGB值，然后进入步骤S32；

S32、求取当前像素点与前一个像素点之间的色差值，并将当前像素点的RGB颜色替换为计算得到的色差值，然后进入步骤S33；其中当前像素点与前一个像素点的色差值为：

color(x，y)＝RGB(x，y)–RGB(x-1，y)+color1；

其中color(x，y)是坐标为当前像素点(x，y)与前一个像素点(x-1，y)之间的色差值，color1为变量，起颜色补偿的作用，初始值为0；

S33、判断当前像素点色差值中的R、G和B值之和是否大于128且当前像素点所在区域是否为高权重区域；

若否，则针对下一个像素点回到步骤S32进行处理；

若是，则判断当前像素点是否为第一个满足上述条件的像素点；

若是，则将该像素点判定为服装左边缘，根据服装左边缘像素点x坐标x_left求出服装右边缘像素点x坐标x_right，其中x_right＝width-x_left，width为图像总宽度；同时将color1赋值为当前像素点的RGB数值，即color1＝RGB(x，y)；然后针对下一像素点进入步骤S34进行处理；

若否，则将color1赋值为当前像素点的RGB数值，即color1＝RGB(x，y)；然后针对下一像素点进入步骤S34进行处理；

S34、判定当前像素点x坐标是否满足x≥x_right；

若否，进入步骤S32；

若是，将color1赋值为0，即color1＝0；然后回到步骤S32；

S4、将步骤S3处理后的服装图像中各像素点的颜色转换为HSV空间；

S5、针对于高权重区的像素点颜色值添加高权重，针对于低权重区的像素点颜色值添加低权重；

S6、统计HSV颜色直方图，获取颜色特征值。

优选的，步骤S1中n×m为3×3、4×4、5×5或6×6，对应n1×m1为1×1、2×2、3×3或4×4。

优选的，步骤S5针对于高权重区像素点颜色值所添加的高权重和针对于低权重区像素点颜色值所添加的低权重之比为4:1或3:1

优选的，步骤S3中还包括以下步骤：若当前像素点色差值中的R、G、B三个值之和大于128，但该像素点位于低权重区，则被判定该像素点为无效边缘，取当前像素点与前一个像素点的色差值替换原来该像素点的颜色。

本发明的第二目的通过下述技术方案实现：一种基于上述服装图像前景颜色特征提取方法实现的服装检索方法，其特征在于，步骤如下：

S7、采用权利要求1中步骤S1至S6对数据库中各服装图像进行前景颜色特征提取，得到服装图像数据库中各服装图像的颜色特征值；

S8、采用权利要求1中步骤S1至S6对待检索服装图像进行前景颜色特征提取，得到待检索服装图像的颜色特征值；

S9、采用欧式距离针对待检索服装图像和服装图像数据库中各服装图像的颜色特征值进行相似度度量；

S10、返回服装图像数据库中相似度最高即加权欧式距离最小的若干幅服装图像，作为最终的检索结果。

优选的，所述步骤S9中采用加权欧式距离针对待检索服装图像和服装图像数据库中各服装图像的颜色特征值进行相似度度量，其中相似度D度量公式如下：

$D=W_1\sqrt{\underset{i=1}{\overset{L}{\Sigma }}{(A_i-B_i)}^2}+W_2\sqrt{\underset{j=1}{\overset{M}{\Sigma }}{(A_j-B_j)}^2}+W_3\sqrt{\underset{q=1}{\overset{N}{\Sigma }}{(A_q-B_q)}^2};$

其中W₁为H分量的权重系数，L为H分量特征总数；W₂为S分量的权重系数，M为S分量特征总数；W₃为V分量的权重系数，N为V分量特征总数；A_i为待检索服装图像的H分量颜色特征值，B_i为数据库中服装图像的H分量颜色特征值，A_j为待检索服装图像的S分量颜色特征值，B_j为数据库中服装图像的S分量颜色特征值，A_q为待检索服装图像的V分量颜色特征值，B_q为数据库中服装图像的V分量颜色特征值。

优选的，W₁:W₂:W₃的权重比为1:2:3或1:3:2；步骤S10中返回数据库中相似度最高的30幅服装图像作为最终的检索结果。

本发明的第三目的通过下述技术方案实现：一种基于上述服装图像前景颜色特征提取方法实现的服装检索系统，其特征在于，包括：

服装图像数据库，用于存储服装图像和服装图像的颜色特征值；

特征提取模块，用于通过权利要求1中步骤S1至S6提取服装图像数据库中服装图像的颜色特征值，用于通过权利要求1中步骤S1至S6提取待检索服装图像的颜色特征值；

特征匹配模块，用于采用欧式距离针对待检索服装图像和服装图像数据库中各服装图像的颜色特征值进行相似度度量，返回服装图像数据库中相似度最高的若干幅图像作为检索结果。

优选的，还包括用户功能模块，用于指定待检索服装图像、指定服装图像数据库并选择检索方式和相似度度量方式。

优选的，特征匹配模块采用加权欧式距离针对待检索服装图像和服装图像数据库中各服装图像的颜色特征值进行相似度度量，其中相似度D度量公式如下：

$D=W_1\sqrt{\underset{i=1}{\overset{L}{\Sigma }}{(A_i-B_i)}^2}+W_2\sqrt{\underset{j=1}{\overset{M}{\Sigma }}{(A_j-B_j)}^2}+W_3\sqrt{\underset{q=1}{\overset{N}{\Sigma }}{(A_q-B_q)}^2};$

其中W₁为H分量的权重系数，L为H分量特征总数；W₂为S分量的权重系数，M为S分量特征总数；W₃为V分量的权重系数，N为V分量特征总数；A_i为待检索服装图像的H分量颜色特征值，B_i为数据库中服装图像的H分量颜色特征值，A_j为待检索服装图像的S分量颜色特征值，B_j为数据库中服装图像的S分量颜色特征值，A_q为待检索服装图像的V分量颜色特征值，B_q为数据库中服装图像的V分量颜色特征值。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明服装图像前景颜色特征提取方法采用与图像分块相结合的色差阈值法检测服装边缘，并且采用色差值对服装图像每个像素点的颜色进行替换，其中高权重区前景部分的像素点在计算色差值时添加了颜色补偿，因此高权重区的服装前景颜色得到了较好的保留，高权重区的背景色被替换为色差，接近于背景涂白，而低权重区的颜色均被替换为色差；本发明方法能够有效消除服装背景颜色的干扰。另外本发明方法中辅助采用分块加权法给予中心区域像素点较高的权重，可以进一步削弱外围背景的干扰。将本发明方法应用于服装检索时能够有效提高服装检索的查全率和查准率，特别针对于背景复杂的服装图像，本发明方法应用于服装检索时的检索效果相比现有技术优势更为明显；克服了现有技术中颜色特征提取算法应用于服装检索时查准率和查全率较低，尤其对于背景复杂的服装图像，检索效果差的技术问题。

(2)本发明方法中，若像素点色差值中的R、G、B三个值之和大于128，但该像素点位于低权重区，则被判定该像素点为无效边缘，取色差值替换原来该像素点的颜色，可以有效防止复杂背景时边缘的误判断。

(3)本发明服装图像前景颜色特征提取方法还可以避免服装自身花色产生的边缘被误判为背景色干扰，当检测到服装花色产生的边缘时，由于该点通常位于高权重区，因此color1被重新赋值为当前像素点的RGB值，由于color1的颜色补偿，从而使花色边缘的右边像素点的颜色保持不变，这就保留了服装本身的颜色特征。

(4)本发明中服装检索方法和系统为基于本发明中服装图像前景颜色特征提取方法实现的，另外在本发明检索方法和系统中均采用加权欧式距离计算待检索服装图像和服装图像数据库中服装图像的颜色特征值之间的相似度，通过加权欧式距离区分出H、S、V三个分量的影响，能够提高服装检索的查全率和查准率。

附图说明

图1是检索复杂背景的纯色服装时不同算法的查准率对比图。

图2是检索复杂背景的纯色服装时不同算法的查全率对比图。

图3是检索复杂背景的带少量图案服装时不同算法的查准率对比图。

图4是检索复杂背景的带少量图案服装时不同算法的查全率对比图。

图5是检索复杂背景的花色服装时不同算法的查准率对比图。

图6是检索复杂背景的花色服装时不同算法的查全率对比图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

本实施例公开了一种服装图像前景颜色特征提取方法，步骤如下：

S1、对服装图像进行图像分块：将服装图像分为n×m子块，令中心n1×m1的块区域为核心区域，其他区域为外围区域；其中n×m可以为3×3、4×4、5×5或6×6，而对应n1×m1可为1×1、2×2、3×3或4×4。在本实施例中采用n×m为4×4以及对应n1×m1为2×2得到图像分块。

S2、根据图像分块划分区域：将核心区域定义为高权重区，外围区域定义为低权重区。

S3、将色差阈值法与图像分块相结合来检测服装前景边缘，并对服装图像每个像素点的颜色进行转换，具体过程如下：

S31、逐行从左往右读取每个像素点的RGB值，然后进入步骤S32。

S32、求取当前像素点与前一个像素点之间的色差值，并将当前像素点的RGB颜色替换为计算得到的色差值，然后进入步骤S33；

其中当前像素点与前一个像素点之间的色差值为：

color(x，y)＝RGB(x，y)–RGB(x-1，y)+color1；

其中color(x，y)是坐标为当前像素点(x，y)与前一个像素点(x-1，y)之间的色差值，color1为变量，起颜色补偿的作用，初始值为0；

S33、判断当前像素点色差值中的R、G和B值之和是否大于128且当前像素点所在区域是否为高权重区域；

若否，则针对下一个像素点回到步骤S32进行处理；

若是，则判断当前像素点是否为第一个满足上述条件的像素点；

若是，则将该像素点判定为服装左边缘，根据服装左边缘像素点x坐标x_left求出服装右边缘像素点x坐标x_right，其中x_right＝width-x_left，width为图像总宽度；同时将color1赋值为当前像素点的RGB数值，即color1＝RGB(x，y)；然后针对下一像素点进入步骤S34进行处理；

若否，则将color1赋值为当前像素点的RGB数值，即color1＝RGB(x，y)；然后针对下一像素点进入步骤S34进行处理。

S34、判定当前像素点x坐标是否满足x≥x_right；

若否，则认为该像素点仍然为前景部分，进入步骤S32；

若是，则认为该像素点为背景部分，同时将color1赋值为0，即color1＝0；然后回到步骤S32。

S4、将步骤S3处理后的服装图像中各像素点的颜色转换为HSV空间。

S5、针对于高权重区的像素点颜色值添加高权重，针对于低权重区的像素点颜色值添加低权重；在本实施例中高权重和低权重之比为4:1，当然也可以采用为其他比值，比如3:1。

S6、统计HSV颜色直方图，获取颜色特征值。

本实施例方法采用与图像分块相结合的色差阈值法检测服装边缘，本发明方法将当前像素点和前一像素点的RGB值进行减法运算后加上一个颜色补偿值color1得到色差值，然后采用该色差值替换当前像素点原来的颜色，其中color1初始值为零；本实施例方法中根据各像素点色差值中R、G、B值之和以及像素点所在区域判断出服装左边缘，然后通过服装左边缘获取到服装右边缘，在服装左边缘之前以及服装右边缘之后出现的像素点，补偿值color1为零，而在服装左边缘出现后，color1被赋予服装左边缘像素点的RGB数值，并且处于服装左边缘和右边缘之间的像素点出现其色差值中R、G、B值之和大于128且处于高权重区时就将color1的值赋予该像素点的RGB值，在下一像素点计算色差值时能够得到颜色补偿。因此经过本发明方法在采用色差值替换原来颜色时，处于服装左边缘和右边缘之间的像素点由于color1的补偿作用，其替换后的颜色保持完全不变或基本不变，而其他部分的像素点由于color1为零，因此利用色差值替换后的颜色相比原来颜色有较大的不同。本实施例上述方法使得高权重区的服装前景颜色得到了较好的保留，高权重区的背景色被替换为色差，接近于背景涂白，低权重区的颜色均被替换为色差，因此本实施例方法能够有效消除服装背景颜色的干扰。

本实施例上述方法的步骤S3中若像素点色差值中的R、G、B三个值之和大于128，但该像素点位于低权重区，则被判定该像素点为无效边缘，此时仍然取色差值替换原来该像素点的颜色，可以有效防止复杂背景时边缘的误判断。

本实施例上述方法还可以避免服装自身花色产生的边缘被误判为背景色干扰，当检测到服装花色产生的边缘时，由于该像素点通常位于高权重区，因此color1被重新赋值为当前像素点的RGB值，由于color1的颜色补偿，从而使花色边缘的右边像素点的颜色保持不变，这就保留了服装本身的颜色特征。

本实施例还公开了一种基于上述服装图像前景颜色特征提取方法实现的服装检索方法，步骤如下：

S7、采用上述步骤S1至S6对数据库中各服装图像进行前景颜色特征提取，得到服装图像数据库中各服装图像的颜色特征值。

S8、采用上述步骤S1至S6对待检索服装图像进行前景颜色特征提取，得到待检索服装图像的颜色特征值。

S9、采用加权欧式距离针对待检索服装图像和服装图像数据库中各服装图像的颜色特征值进行相似度度量，其中相似度D度量公式如下：

$D=W_1\sqrt{\underset{i=1}{\overset{L}{\Sigma }}{(A_i-B_i)}^2}+W_2\sqrt{\underset{j=1}{\overset{M}{\Sigma }}{(A_j-B_j)}^2}+W_3\sqrt{\underset{q=1}{\overset{N}{\Sigma }}{(A_q-B_q)}^2};$

其中W₁为H分量的权重系数，L为H分量特征总数；W₂为S分量的权重系数，M为S分量特征总数；W₃为V分量的权重系数，N为V分量特征总数；A_i为待检索服装图像的H分量颜色特征值，B_i为数据库中服装图像的H分量颜色特征值，A_j为待检索服装图像的S分量颜色特征值，B_j为数据库中服装图像的S分量颜色特征值，A_q为待检索服装图像的V分量颜色特征值，B_q为数据库中服装图像的V分量颜色特征值。

在本实施例中W₁:W₂:W₃的权重比为1:2:3，也可以选用1:3:2等其他比值。

S10、返回服装图像数据库中相似度最高即加权欧式距离最小的若干幅服装图像，作为最终的检索结果。本实施例中返回数据库中相似度最高的30幅服装图像作为最终的检索结果。

本实施例还公开了一种基于上述服装图像前景颜色特征提取方法实现的服装检索系统，包括：

服装图像数据库，用于存储服装图像和服装图像的颜色特征值。

用户功能模块，用于指定待检索服装图像、指定服装图像数据库并选择检索方式和相似度度量方式。

特征提取模块，用于通过上述步骤S1至S6提取服装图像数据库中服装图像的颜色特征值，用于通过上述步骤S1至S6提取待检索服装图像的颜色特征值。

特征匹配模块，用于采用欧式距离针对待检索服装图像和服装图像数据库中各服装图像的颜色特征值进行相似度度量，返回服装图像数据库中相似度最高的30幅图像作为检索结果，其中输出的检索结果按照相似度从高到低排序。

本实施例中特征匹配模块采用加权欧式距离针对待检索服装图像和服装图像数据库中各服装图像的颜色特征值进行相似度度量，其中相似度D度量公式如下：

$D=W_1\sqrt{\underset{i=1}{\overset{L}{\Sigma }}{(A_i-B_i)}^2}+W_2\sqrt{\underset{j=1}{\overset{M}{\Sigma }}{(A_j-B_j)}^2}+W_3\sqrt{\underset{q=1}{\overset{N}{\Sigma }}{(A_q-B_q)}^2};$

其中W₁为H分量的权重系数，L为H分量特征总数；W₂为S分量的权重系数，M为S分量特征总数；W₃为V分量的权重系数，N为V分量特征总数；A_i为待检索服装图像的H分量颜色特征值，B_i为数据库中服装图像的H分量颜色特征值，A_j为待检索服装图像的S分量颜色特征值，B_j为数据库中服装图像的S分量颜色特征值，A_q为待检索服装图像的V分量颜色特征值，B_q为数据库中服装图像的V分量颜色特征值。

如图1至6所示为将本实施例上述服装检索方法和现有技术中全局颜色直方图法、累加颜色直方图法和颜色矩法分别应用于服装检索时的查全率和查准率。其中服装分为纯色、带少量图案和花色三类，分别选取了背景简单的三类代表图以及背景复杂的三类代表图，共6幅有代表性的服装图像进行检索。服装图像数据库中包含了300多幅淘宝下载的服装图像。

如图1和图2所示为待检索图为背景复杂的纯色服装时，各算法的查准率和查全率对比。图3和图4所示为待检索图为背景复杂的带少量图案服装时，各算法的查准率和查全率。图5和图6所示为待检索图为背景复杂的花色服装时，各算法的查准率和查全率。由上述各图可见，在背景复杂的情况下，对于不同类型的待检索图，本实施例方法的检索性能均优于其他算法，查准率和查全率都有较大的提高。这说明，本实施例方法可以有效降低背景颜色的干扰，尤其适用于复杂背景下的服装图像检索，具有较强的实用性。对于背景简单的三类待检索图，本实施例方法也均略优于其他算法。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。