一种多特征融合的外观设计专利图像检索方法

摘要

本发明公开了一种多特征融合的外观设计专利图像检索方法，根据外观设计专利图像的特点，设计特征提取的方法和图像检索的流程；在特征提取方面采用将整体特征和局部特征相融合的方法，采用边界方向直方图算法和结构特征描述形状特征；采用Gabor滤波算法和分块特征统计法提取纹理特征，图像检索过程中首先采用几何特征进行比较，根据阈值对图像筛选；其次用形状特征和纹理特征进行相似度匹配，将图像按相似度大小排序返回；本发明通过提取外观专利图像整体和局部较为全面的特征以及检索过程中的分步筛选，提供了一种高效率、高准确率的外观设计专利图像检索方法。

说明书

技术领域

本发明涉及一种多特征融合的外观设计专利图像检索方法。

背景技术

如今随着各国对外观设计专利知识产权的保护力度不断加大，外观设计专利检索技术也得到了广泛重视和较快发展。利用基于内容的图像检索技术，设计高精度、快速响应的外观设计专利图像检索系统，不仅可以实现外观设计专利查询，同时也能帮助用户获取指定的专利信息，减少模仿纠纷，对于实现真正的现代化管理、增强企业的国际竞争力具有非常重要的作用。

基于内容的图像检索技术通过提取图像中用户感兴趣的特征，包括颜色、形状、纹理等一些视觉特征，对用户输入的图像在大图像集中进行检索，实现了真正的图像视觉内容特征的检索。这种检索方式是对“以关键字找图”的重大突破。

随着基于内容的图像检索技术的发展，已经有了很多图像检索系统。虽然图像检索系统的领域或功能多种多样，但基本的检索方法都包括以下几个步骤：提取图像特征写入对应的图像库；将用户输入的图像提取特征并与图像库中的特征进行比对，计算相似度；将相似度逆序返回给用户；

基于内容的图像检索方法中，特征的提取主要包括颜色特征、形状特征和纹理特征。颜色特征提取中的常用算法有颜色直方图、颜色矩方法；形状特征中的常用算法包括链码表示法、边界矩、傅立叶描述子等经典算法；纹理特征算法主要有Tamura纹理特征(粗糙度、方向度、对比度)、灰度共生矩阵、Gabor滤波算法等。

外观设计专利的特点决定了特征之间存在着明显的从属关系，例如外观设计可以没有颜色、图案，但不能没有形状。因此在考虑低层的特征提取时，主要以形状特征为主，以纹理特征为次，颜色特征很少考虑。在已有的外观专利图像检索方法中，形状特征多数仅考虑单一特征，如发表于2002年《计算机工程与应用》，作者为戴青云和李海鹏的“基于纹理和形状特征的外观设计专利图像的检索方法”所采用Hu不变矩仅描述了图像的区域形状特征，特征表达不够全面，大大影响了系统检索性能。

发明内容

本发明提出了一种多特征融合的外观设计专利图像检索方法。目的在于根据外观设计专利图像的特点，设计特征提取的方法和图像检索的流程。特征提取采用将整体特征和局部特征相融合的方法。提取的特征主要包括提取形状和纹理特征。形状特征中包含几何特征长宽比，圆形度，结构特征和轮廓形状特征边界方向直方图。采用结构特征主要是在概貌上描述外观设计专利的架构，边界方向直方图主要描述形状的轮廓细节的特征。纹理特征包括Gabor滤波方法和分块统计方法。Gabor滤波算法在整体上描述纹理特征，分块统计法则是描述某一分块区域的纹理特征。

本发明提供的一种多特征融合的外观设计专利图像检索方法步骤如下：

步骤1：建立外观设计专利图像库，对所有图像进行预处理；

步骤2：从图像中计算外观设计专利的长宽比L和圆形度R作为简单几何特征；

步骤3：采用canny算子对图像进行边缘检测之后得到图像的边界，对边界上的每一个点计算切线方向，以5度为范围进行划分，构成72级的边界方向直方图，以此作为边界形状特征向量B{b₁，b₂，...b₇₂}；

步骤4：将图像x方向和y方向分别划分5等份，统计每一行或每一列中图像中物体的宽度或高度所占整体宽度或高度的比重p，分别对每一份中所有的比重p求均值ap和方差sp，得到图像的结构特征S{ap₁，sp₁，ap₂，sp₂，...ap₁₀，sp₁₀}；

步骤5：采用Gabor滤波方法提取图像的纹理特征，对图像经过Gabor小波变换后计算在不同尺度和方向上的系数幅度序列的均值u和标准差s，取尺度数M＝5，方向数N＝6，则计算出的纹理特征向量为G{u₀₀，s₀₀，u₀₁，s₀₁，...u₄₅，s₄₅}；

步骤6：将图像分为5*5个小块，统计每一块中物体的像素总数与分块大小的比值，得到特征T{t₁，t₂，...t₂₅}；

步骤7：对所有特征向量分组进行特征的归一化，写入外观设计专利图像库；

步骤8：对于用户的输入，经过图像的归一化和预处理之后，采用步骤2～步骤5中的方法提取特征并归一化；

步骤9：用长宽比和圆形度特征计算输入图像与库中图像的距离，设定阈值，大于阈值的图像筛除，小于阈值的图像保留；

步骤10：对于步骤9中经过初步筛选的图像，计算出的输入图像的每组特征与图像中的每组特征分别一一进行比对，得到四组特征间的距离d(B)、d(S)、d(G)、d(T)，将四组距离分别归一化并加权融合得到最终的距离d；

步骤11：按照d由小到大的顺序，输出相应的外观专利图像作为结果返回给用户。

上述步骤1中图像预处理包括图像大小归一化，图像去噪和图像分割；图像大小归一化的过程是，首先截取图像中物体的外切矩形包含的内容，图像宽度设为固定值，图像高度随着截取图像的长宽比计算。

上述步骤5中采用Gabor滤波方法提取图像的纹理特征的步骤如下：

步骤1)：构造多尺度多方向的Gabor小波函数

一个2-D的Gabor函数如下：

$\psi (x,y)=\frac{1}{2\pi {\sigma }_x{\sigma }_y}\exp [-\frac{1}{2}(\frac{x^2}{{\sigma }_x^2}+\frac{y^2}{{\sigma }_y^2})]*\exp \left(j2\mathrm{\pi \omega x}\right)$

对ψ(x，y)经过伸缩及旋转得到一组自相似Gabor小波函数

其中m，n分别为小波的尺度和方向，用M，N表示尺度数和方向数，则m＝0，1，2，...，M-1，n＝0，1，2，...，N-1，上式中其中a为伸缩因子a＞1，

步骤2)：对于一幅给定的大小为P*Q的图像I(x，y)，它的Gabor小波变换如式如下：

$G_{\mathrm{mn}}(x,y)=\underset{s}{\Sigma }\underset{t}{\Sigma }I(x-s,y-t){\psi }_{\mathrm{mn}}^{*}(s,t)$

其中为ψ_mn(s，t)的共轭复数，s，t代表了Gabor滤波器模板变量，上式即是用不同尺度不同方向构造出的Gabor滤波器模板对图像进行滤波操作；

步骤3)：计算对图像变换后不同尺度不同方向上的系数幅度序列的均值和标准差，

${\mu }_{\mathrm{mn}}=\frac{\underset{x}{\Sigma }\underset{y}{\Sigma }\left|G_{\mathrm{mn}}(x,y)\right|}{P*Q}$

${\sigma }_{\mathrm{mn}}=\frac{\sqrt{\underset{x}{\Sigma }\underset{y}{\Sigma }{\left(\right|G_{\mathrm{mn}}(x,y)|-{\mu }_{\mathrm{mn}})}^2}}{P*Q}$

将计算出的所有均值、方差做为目标物体的纹理特征，取M＝5，N＝6，则计算出的纹理特征向量为G{u₀₀，s₀₀，u₀₁，s₀₁，..u₄₅，s₄₅}。

上述步骤10中距离归一化并加权融合的步骤如下：

步骤1)：计算特征库中任意两幅图像对应特征向量的距离d(B)、d(S)、d(G)、d(T)；

步骤2)：计算每一组特征距离的均值μ(B)、μ(S)、μ(G)、μ(T)和标准差σ(B)、σ(S)、σ(G)、σ(T)；

步骤3)：将步骤2)中计算出的每组特征的相似距离分别用下式进行距离归一化；

$d^{\prime }=\frac{1}{2}(1+\frac{d-\mu }{3\sigma })$

步骤4)：将归一化后的距离加权融合，得到最终的图像间的相似度距离

d＝w₁d’(B)+w₂d’(S)+w₃d’(G)+w₄d’(T)

其中w₁+w₂+w₃+w₄＝1，d’(B)、d’(S)、d’(G)、d’(T)分别为采用四组特征得到的相似距离归一化后的结果，外观设计专利设计图像主要的特征为形状特征，根据多次实验比较设置四个权值为w₁＝0.3，w₂＝0.4，w₃＝0.15，w₄＝0.15。

本发明专利的有益效果：

本专利在特征提取方面采用将整体特征和局部特征相融合的方法。形状特征方面采用边界方向直方图算法和结构特征描述；因为人眼对物体形状的初步认识是物体在每一段结构上大概的比例来决定的。因此本专利所采用的结构特征则主要用来整体上粗略地描述外观设计专利在不同段上的比例架构。其次在整体结构相似的情况下，采用边界直方图特征来描述形状的轮廓细节的特征。融合这两种形状特征就对外观设计专利产品的形状有了全面的表达；纹理特征方面采用Gabor滤波算法和分块特征统计法提取。计算图像通过多尺度多方向上Gabor滤波后的均值方差作为整体的的纹理特征，分块统计每一区域的物体与子块的像素比作为区域的纹理特征。最后加权融合上述的形状和纹理特征进行相似度计算与匹配匹配，建立了一种多特征融合的外观设计专利图像检索方法。

本发明具体的技术方案分步表述为：

1.形状特征提取的步骤如下：

(1)用canny算子对经过预处理的图像提取边缘轮廓。

(2)根据物体的边缘轮廓计算几何特征长宽比和圆形度。

长宽比：L＝Height/Width；Height表示图像中物体高度，Width表示物体宽度；

圆形度：R＝4∏*S/(B*L)；其中S表示图像中物体面积，B表示区域周长；L是物体长宽比；

(3)统计物体边缘轮廓的切线方向直方图。

①对边界上的每一个点P，跟踪与P相邻的顺时针方向第三个点P1和逆时针方向第三个点P2，通过计算P1，P2两点形成的直线方向与图像x方向的夹角作为P点的切线方向。

②计算出边界上所有点的切线方向，并对切线方向进行量化。以5度为范围进行划分，建立一个72级的方向直方图H[i]。i的范围为0-71，表示量化后的角度的每一级；对应i的值H[i]表示在这一角度级别下的点的个数。

③将建立的边界方向直方图归一化以达到尺度不变性H[i]＝H[i]/S；S代表图像中物体面积。

④对直方图进行平滑，使其具有一定的旋转性

$H_s\left[i\right]=\frac{\underset{j=i-k}{\overset{i+k}{\Sigma }}H\left[j\right]}{2k+1}$

(4)提取物体的结构特征。

①将物体x方向和y方向分别划分5等份，分别记为x₁，x₂，....x₅，y₁，y₂，...y₅。

②计算图像每一行和每一列中图像中物体的宽度和高度所占整体宽度或高度的比重p。

③分别对每一等份中所有的比重p求均值ap和方差sp，形成了得到图像的结构特征S{ap₁，sp₁，ap₂，sp₂，...ap₁₀，sp₁₀}。

2、纹理特征的提取如下：

(1)将图像进行灰度变换得到灰度图。

(2)用Gabor滤波方法对灰度图进行处理，计算均值和方差

①构造多尺度多方向的Gabor小波函数

一个2-D的Gabor函数如下：

$\psi (x,y)=\frac{1}{2\pi {\sigma }_x{\sigma }_y}\exp [-\frac{1}{2}(\frac{x^2}{{\sigma }_x^2}+\frac{y^2}{{\sigma }_y^2})]*\exp \left(j2\mathrm{\pi \omega x}\right)$

对ψ(x，y)经过伸缩及旋转得到一组自相似Gabor小波函数

其中m，n分别为小波的尺度和方向。用M，N表示尺度数和方向数。则m＝0，1，2，...，M-1，n＝0，1，2，...，N-1。上式中其中a为伸缩因子a＞1，

②对于一幅给定的大小为P*Q的图像I(x，y)，它的Gabor小波变换如式如下：

$G_{\mathrm{mn}}(x,y)=\underset{s}{\Sigma }\underset{t}{\Sigma }I(x-s,y-t){\psi }_{\mathrm{mn}}^{*}(s,t)$

其中为ψ_mn(s，t)的共轭复数。s，t代表了Gabor滤波器模板变量。上式即是用不同尺度不同方向构造出的Gabor滤波器模板对图像进行滤波操作。

③计算对图像变换后不同尺度不同方向上的系数幅度序列的均值和标准差。

${\mu }_{\mathrm{mn}}=\frac{\underset{x}{\Sigma }\underset{y}{\Sigma }\left|G_{\mathrm{mn}}(x,y)\right|}{P*Q}$

${\sigma }_{\mathrm{mn}}=\frac{\sqrt{\underset{x}{\Sigma }\underset{y}{\Sigma }{\left(\right|G_{\mathrm{mn}}(x,y)|-{\mu }_{\mathrm{mn}})}^2}}{P*Q}$

将计算出的所有均值、方差做为目标物体的纹理特征。本实验中，取M＝5，N＝6。

则计算出的纹理特征向量为G{u₀₀，s₀₀，u₀₁，s₀₁，...u₄₅，s₄₅}。

(3)分块特征统计

①将预处理后的灰度图分为5*5个子块。

②对每一个子块统计物体的像素个数与子块像素个数的比值做为这一子块的特征值。

3.图像检索流程如下：

(1)将用户输入的图像进行同样的预处理的工作。

(2)提取上述的形状和纹理特征；

(3)首先用长宽比和圆形度特征计算输入图像与库中图像的特征之间的距离(采用欧氏距离)，设定阈值，大于阈值的图像筛除，小于阈值的图像保留。

(4)对于经过初步筛选的图像，计算出的输入图像的每组特征与图像中的每组特征分别一一进行比对，得到四组特征间的距离。d(B)，d(S)，d(G)，d(T)，将四组距离分别归一化并加权融合得到最终的距离d。

(5)按照d由小到大的顺序，输出相应的外观专利图像作为结果返回给用户。

附图说明

图1本发明的外观设计专利图像检索方法流程图。

图2本发明的外观专利设计图像检索结果示例1。

图3本发明的外观专利设计图像检索结果示例2。

图4本发明的外观专利设计图像检索结果示例3。

具体实施方式

1.对所有图像进行预处理的工作，建立外观设计专利图像库，为图像库建立索引。

(1)将图像大小归一化，宽度为固定值200，高度随图像中物体的长宽比；

(2)用中值滤波算法进行图像去噪；

(3)采用多阈值图像分割算法进行背景去除；

2.从图像中计算外观设计专利的长宽比L和圆形度R作为简单几何特征。

(1)长宽比：L＝Height/Width；Height表示图像中物体高度，Width表示物体宽度；

(2)圆形度：R＝4∏*S/(B*L)；其中S表示图像中物体面积，B表示区域周长；L是物体长宽比；

3.采用canny算子对图像进行边缘检测之后得到图像的边界。

(1)对边界上的每一个点P，跟踪与P相邻的顺时针方向第三个点P1和逆时针方向第三个点P2，通过计算P1，P2两点形成的直线方向与图像x方向的夹角作为P点的切线方向。

(2)计算出边界上所有点的切线方向，并对切线方向进行量化。以5度为范围进行划分，建立一个72级的方向直方图H[i]。i的范围为0-71，表示量化后的角度的每一级；对应i的值H[i]表示在这一角度级别下的点的个数。

(3)将建立的边界方向直方图归一化以达到尺度不变性H[i]＝H[i]/S；S代表图像中物体面积。为了使边界方向直方图有一定的旋转性，对直方图进行平滑处理。

$H_s\left[i\right]=\frac{\underset{j=i-k}{\overset{i+k}{\Sigma }}H\left[j\right]}{2k+1}$

4.提取结构特征

将图像x方向和y方向分别划分5等份，统计每一行或每一列中图像中物体的宽度或高度所占整体宽度或高度的比重p。分别对每一份中所有的比重p求均值ap和方差sp，形成了得到图像的结构特征S{ap₁，sp₁，ap₂，sp₂，...ap₁₀，sp₁₀}。

5.采用Gabor滤波方法提取图像的纹理特征。

(1)构造多尺度多方向的Gabor函数；

$\psi (x,y)=\frac{1}{2\pi {\sigma }_x{\sigma }_y}\exp [-\frac{1}{2}(\frac{x^2}{{\sigma }_x^2}+\frac{y^2}{{\sigma }_y^2})]*\exp \left(j2\mathrm{\pi \omega x}\right)$

对ψ(x，y)经过伸缩及旋转得到一组自相似Gabor小波函数

其中m，n分别为小波的尺度和方向。用M，N表示尺度数和方向数。则m＝0，1，2，...，M-1，n＝0，1，2，...，N-1。上式中其中a为伸缩因子a＞1，

(2)对于一幅给定的大小为P*Q的图像I(x，y)，它的Gabor小波变换如式如下：

$G_{\mathrm{mn}}(x,y)=\underset{s}{\Sigma }\underset{t}{\Sigma }I(x-s,y-t){\psi }_{\mathrm{mn}}^{*}(s,t)$

其中为ψ_mn(s，t)的共轭复数。s，t代表了Gabor滤波器模板变量。上式即是用不同尺度不同方向构造出的Gabor滤波器模板对图像进行滤波操作。计算对图像变换后不同尺度不同方向上的系数幅度序列的均值和标准差。

${\mu }_{\mathrm{mn}}=\frac{\underset{x}{\Sigma }\underset{y}{\Sigma }\left|G_{\mathrm{mn}}(x,y)\right|}{P*Q}$

${\sigma }_{\mathrm{mn}}=\frac{\sqrt{\underset{x}{\Sigma }\underset{y}{\Sigma }{\left(\right|G_{\mathrm{mn}}(x,y)|-{\mu }_{\mathrm{mn}})}^2}}{P*Q}$

(3)对图像经过Gabor小波变换后计算在不同尺度和方向上的系数幅度序列的均值u和标准差s。取尺度数M＝5，方向数N＝6。则计算出的纹理特征向量为G{u₀₀，s₀₀，u₀₁，s₀₁，...u₄₅，s₄₅}。

6.提取分块统计特征

将图像分为5*5个子块，统计每一块中物体的像素总数与子块像素总数的比值，得到统计的特征T{t₁，t₂，...t₂₅}

7.特征归一化

对所有特征向量分组进行特征的归一化，写入外观设计专利图像库；归一化方法如下式：

$v_i=\frac{v_i-{\mu }_0}{3{\sigma }_0},i=\mathrm{1,2},...,n$

8.对于用户的输入，经过图像的归一化和预处理之后，采用2-5中的方法提取特征并归一化。

9.图像库初步筛选。

用长宽比和圆形度特征计算输入图像与库中图像的距离，设定阈值，大于阈值的图像筛除，小于阈值的图像保留。

10.分组距离计算。

对于9中经过初步筛选的图像，计算出的输入图像的每组特征与图像中的每组特征分别一一进行比对，得到四组特征间的距离。d(B)，d(S)，d(G)，d(T)。

11.计算每一组特征距离的均值μ(B)，μ(S)，μ(G)，μ(T)和标准差σ(B)，σ(S)，σ(G)，σ(T)。

12.将11中计算出的每组特征的相似距离分别用下式进行距离归一化

$d^{\prime }=\frac{1}{2}(1+\frac{d-\mu }{3\sigma })$

其中d表示每组特征的原始距离，d’表示经过归一化的距离，μ为每组特征距离的均值，σ表示标准差。

13.将归一化后的距离加权融合，得到最终的图像间的相似度距离

d＝w₁d’(B)+w₂d’(S)+w₃d’(G)+w₄d’(T)

其中w₁+w₂+w₃+w₄＝1，d’(B)，d’(S)，d’(G)，d’(T)分别为采用四组特征得到的相似距离归一化后的结果。因为外观设计专利设计图像主要的特征为形状特征，根据多次实验比较设置四个权值为w₁＝0.3，w₂＝0.4，w₃＝0.15，w₄＝0.15。

14.按照最终计算出的距离由小到大的顺序，输出相应的外观专利图像作为结果返回给用户。