一种图像表示方法及其在图像匹配、识别中的应用

摘要

本发明提供了一种基于相位奇点的图像表示方法，包括：对图像信息进行二维复数滤波处理，生成滤波响应图像；检测图像相位奇点；精确定位相位奇点；生成相位奇点的局部描述子作为图像特征。本发明还提供了利用上述图像表示进行图像匹配和识别的方法。本发明的图像表示方法有效的利用了相位奇点的信息，开发新的图像表示方法，丰富了图像特征，提高了图像匹配点的数量与匹配的正确率，开发了基于相位奇点包表示的图像分类方法。

说明书

技术领域

本发明涉及图像处理技术，尤其涉及一种图像表示的方法，以及用所述 的图像表示进行图像匹配和识别的方法。

背景技术

对图像的信息进行快速准确的描述一直都是图像匹配和图像识别技术中 研究的重难点。现有技术中图像特征的提取方法大多为围绕图像的颜色、纹 理、形状和空间关系展开的，这些方法虽可描述图像的特征，但是存在所得 特征鲁棒性差的缺点。还有一种现有技术是基于变换域的不变特征描述方法， 由于变换域的固有属性，这种现有技术在图像进行剪裁前后描述效果差别较 大。

另有一种现有技术利用了尺度不变的特征(Scale-Invariant Feature)，用来 进行图像的匹配和识别，提出了一种基于尺度空间的、对图像缩放、旋转变 换保持不变形的图像局部特征描述算子，即为尺度不变特征转换 (Scale-Invariant Feature Transform，SIFT)算子，广泛应用于物体识别、机器 人地图感知与导航、影响追踪和动物比对等领域，具有鲁棒性好，特征点稳 定，图像经过剪裁后仍然有较高的识别率等特点。在光学领域，相位奇点(phase  singularity)是指光场中那些相位不确定的地方，那里的光波振幅为零，强度 显示出暗点。围绕相位奇点，光束呈现出螺旋的波前特性。由于相位奇点的 这些特性，使其在图像特征提取上具有潜在的重要应用价值。

发明内容

为解决上述技术问题，本发明将相位奇点引入SIFT图像表示方法，提供 了一种基于相位奇点的图像表示方法，包括：

对图像信息进行二维复数滤波处理，生成滤波响应图像；

检测图像相位奇点；

精确定位相位奇点；

生成相位奇点的局部描述子作为图像特征。

所述的二维复数滤波器选自Laguerre-Gaussian复滤波器，steerable滤波器， Gabor滤波器，Hilbert滤波器或Hermite滤波器等的一种。

优选地，所述的检测图像相位奇点为寻找滤波响应图像在x和y方向上 的偏导数均为0的点。

优选地，所述的精确定位相位奇点为：

(1)对滤波响应图像E(X)作Taylor展开：

$E\left(X\right)=E+\frac{{\partial E}^T}{\partial X}X+\frac{1}{2}{X}^T\frac{{\partial }^{2}E}{\partial X^2}X;$

(2)对步骤(1)中的Taylor展开式求一阶导数，并令求得的一阶导数 为0，得到相位奇点点坐标：

$\hat{X}=-\frac{{\partial E}^T}{\partial X}{\left(\frac{{\partial }^{2}E}{{\partial X}^2}\right)}^{-1}.$

优选地，所述的精确定位相位奇点还包括去除低对比度的特征点以及不 稳定的边缘响应点。

本发明还提供了一种利用上述图像表示进行图像匹配的方法，包括：

对第一图像和第二图像信息进行二维复数滤波处理，生成滤波响应第一 图像和滤波响应第二图像；

检测第一图像和第二图像的相位奇点；

精确定位第一图像和第二图像的相位奇点；

生成第一图像和第二图像相位奇点的局部描述子作为第一图像特征和第 二图像特征；

根据第一图像和第二图像中相位奇点的局部描述子差异最小化和相位奇 点的空间关系定义匹配目标函数；

确定第一图像和第二图像中相位奇点的匹配关系。

优选地，所述的相位奇点的空间关系，即第一图像和第二图像对应相位 奇点间的几何结构差异最小化。所述的相位奇点间的几何结构差异最小化即 为第一图像和第二图像相位奇点的欧氏距离。

优选地，所述的匹配目标函数为

$\underset{M,B}{\min }\underset{P_i\in S}{\Sigma }{\left|\right|d_i-{d_{M\left(i\right)}}^{\prime }\left|\right|}_1+\underset{P_i\in S}{\Sigma }D(P_i,{{\mathrm{BP}}_{M\left(i\right)}}^{\prime })+D(B^{-1}{P}_i,{P_{M\left(i\right)}}^{\prime })$

其中，d_i为第一图像相位奇点局部描述子，d’_M(i)为第二图像相位奇点局 部描述子，P_i为第一图像的相位奇点，P’_M(i)为第二图像的相位奇点，M为匹 配关系，S为第一图像中相位奇点的集合，B为图像间对应点坐标间的变换矩 阵，D为两点间的欧式距离。

本发明另外提供了一种利用上述图像表示进行图像识别的方法，包括：

对待识别图像进行二维复数滤波处理，生成滤波响应待识别图像；

检测待识别图像的相位奇点；

精确定位待识别图像的相位奇点；

生成待识别图像相位奇点的局部描述子作为待识别图像特征；

根据相位奇点附近hessian矩阵的行列式的值决定相位奇点的正负特性， 再根据相位奇点的正负特征对所有的局部描述子进行聚类，获得正负两个词 袋；

根据图像中各个特征向量在正负词袋中出现的次数绘制直方图，将直方 图作为图像的相位奇点包表示；

以图像的相位奇点包表示作为分类器输入，根据样本的类别属性，用SVM 分类器进行不同类型样本的分类器训练，得到不同类型图像的分类器；

用不同类型的分类器对待测图像进行检测，对比不同分类器的检测结果 (即分类器输出分数)，选取最大值作为图像识别结果。

优选地，所述的SVM分类器进行不同类型样本的分类器训练包括：

样本创建；

将样本中所有的图片进行相位奇点的检测和定位；

对提取的所有的相位奇点生成描述子；

对相位奇点描述子进行量化，获得图像的直方图表示作为特征向量；

选择核函数进行不同样本的关系描述；

根据选定的核函数对样本的所有特征向量进行计算，构造一个使样本可 分的特征空间；

优选地，所述的选择核函数为选择模型用来描述不同样本之间的关系， 得出一个样本类型的描述目标图像模板的过程。

本发明的有益效果在于：第一，本发明的图像表示方法有效的利用了相 位奇点的信息，开发新的图像表示方法，丰富了图像特征，从而提高了图像 匹配点的数量与匹配的正确率；第二，图像匹配方法考虑了待匹配的第一图 像和第二图像相位奇点的空间关系，并把这种关系使用到了相位奇点的匹配 中，提高了匹配正确率；第三，图像识别方法提出了相位奇点正负属性与空 间分布的改进词袋模型，提高了图像的识别和分类正确率。

附图说明

图1是本发明实施例1的基于相位奇点的图像表示方法的流程图。

图2是本发明实施例1中生成相位奇点局部描述子的示意图。

图3是本发明实施例2的图像匹配示意图。

图4是本发明实施例3的图像识别方法与现有技术SIFT图像识别的效果 比较图。

具体实施方式

本申请实施例提供了一种基于相位奇点的图像表示方法，以及利用所述 的图像表示进行图像匹配和图像识别的方法。

为了使本领域的技术人员更好的理解本申请的技术方案，下面将结合本 申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。

实施例1：基于相位奇点的图像表示方法

如图1所示，本申请图像表示方法的流程如下：

S1-1读取图像信息

本步骤中，通过读取图像信息，得到二维图像方程I(x，y)；

S1-2二维复数滤波处理

将二维图像方程I(x，y)与二维复数滤波器T(x，y)＝T_r(x，y)+iT_l(x，y)进行卷积 得到复数图像：

$\hat{I}(x,y)=I(x,y)*T(x,y)=I(x,y)*T_r(x,y)+\mathrm{iI}(x,y)*T_i(x,y)$

其中，*为卷积计算符号，(x，y)表示图像像素点的位置。

本实施例中使用的二维复数滤波器为Laguerre-Gaussian(LG)复滤波器：

$T(x,y)=\mathrm{LG}(x,y,\sigma )=-\frac{x+\mathrm{yi}}{2{\mathrm{\pi \sigma }}^4}\exp (-\frac{x^2+y^2}{2{\sigma }^2})$

Tr(x，y)＝Re{LG(x，y，σ)}＝G_x(x，y，σ)

Ti(x，y)＝Im{LG(x，y，σ)}＝G_y(x，y，σ)

式中σ是尺度参数因子，选择不同的σ可以构建不同尺度的二维复数滤波 器，所得的复数图像方程为：

$\hat{I}(x,y,\sigma )=I(x,y)*\mathrm{LG}(x,y,\sigma )$

$=I(x,y)*G_x(x,y,\sigma )+\mathrm{iI}(x,y)*G_y(x,y,\sigma )$

二维复数滤波器还可选用方向滤波器，Gabor滤波器，Hilbert滤波器及 Hermite滤波器等。

S1-3相位奇点检测

令E(x，y)＝I(x，y)*G(x，y，σ)，根据卷积运算的性质可以得到：

E_x(x，y)＝I(x，y)*G_x(x，y，σ)；

E_y(x，y)＝I(x，y)*G_y(x，y，σ)；

因此，复数图像方程可以变形为

$\hat{I}(x,y,\sigma )=I(x,y)*\mathrm{LG}(x,y,\sigma )$

$=I(x,y)*G_x(x,y,\sigma )+\mathrm{iI}(x,y)*G_y(x,y,\sigma )$

$=E_x(x,y,\sigma )+i{E}_y(x,y,\sigma )$

根据相位奇点的性质，相位奇点满足即为E_x(x，y，σ)＝0； E_y(x，y，σ)＝0

采用$\mathrm{PS}(x,y,\sigma )=\left\{(x,y,\sigma )\right|\widehat{\mathrm{Ix},y,\sigma )=0\}}$表示相位奇点集合。

S1-4相位奇点定位

相位奇点满足即为E_x(x，y，σ)＝0；E_y(x，y，σ)＝0，

根据定义E(x，y，σ)＝I(x，y)*G(x，y，σ)为高斯尺度空间函数，令X＝[x，y，σ]， 对E(X)作Taylor展开：

$E\left(X\right)=E+\frac{{\partial E}^T}{\partial X}X+\frac{1}{2}{X}^T\frac{{\partial }^{2}E}{\partial X^2}X---\left(1\right)$

对(1)式求一阶导数，并令求得的一阶导数为0，可以得到相位奇点点 坐标：

$\hat{X}=-\frac{{\partial E}^T}{\partial X}{\left(\frac{{\partial }^{2}E}{{\partial X}^2}\right)}^{-1}---\left(2\right)$

进一步的，在已经检测定位的相位奇点中，需要去除低对比度的点，将 公式(2)代入公式(1)得到：

$E\left(\hat{X}\right)=E+\frac{1}{2}\frac{\partial E^T}{\partial X}\hat{X}$

去除小于阈值的相位奇点。

进一步的，在已经定位的相位奇点中，需要去除不稳定的边缘响应点， 计算每个相位奇点对应的Hessian矩阵的行列式H，

$H=\left(\begin{array}{cc}{E}_{\mathrm{xx}}& E_{\mathrm{xy}}\\ E_{\mathrm{xy}}& E_{\mathrm{yy}}\end{array}\right)---\left(3\right)$

E的主曲率与H的特征值成正比，令α为最大特征值，β为最小特征值， 有：

Tr(H)＝E_xx+E_yy＝α+β

Det(H)＝E_xxE_yy-(E_xy)²＝αβ

令α＝γβ，则有$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}=\frac{{(\alpha +\beta )}^2}{\mathrm{\alpha \beta }}=\frac{{(\mathrm{\gamma \beta }+\beta )}^2}{{\mathrm{\gamma \beta }}^2}=\frac{{(\gamma +1)}^2}{\gamma }---\left(4\right)$

(4)式的值在γ＝1时取得最小值，(4)式的值随着γ的增大而增大，因 此，为了满足E的主曲率是小于阈值γ，只需满足

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}<\frac{{(\gamma +1)}^2}{\gamma }---\left(5\right)$

S1-5相位奇点局部描述子的生成

S1-5-1相位奇点方向分配

利用相位奇点邻域像素的梯度方向分布特征为相位奇点指定方向参数， 相位奇点(x，y)梯度模值m(x，y)和方向θ(x，y)的公式分别为：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}---\left(6\right)$

$\theta (x,y)=\alpha \tan 2\left(\frac{(L(x,y+1)-L(x,y-1))}{L(x+1,y)-L(x-1,y)}\right)---\left(7\right)$

用直方图统计相位奇点邻域像素的梯度方向，直方图的峰值为相位奇点 邻域梯度的主方向，即作为相位奇点的方向；

S1-5-2相位奇点描述子生成

将坐标轴旋转到相位奇点的方向，以相位奇点为中心取8×8的窗口(本 实施例中以8×8为例，但不限于此)，如图2所示，中央黑点为相位奇点，每 个小格代表相位奇点邻域所在尺度空间的一个像素，利用公式(6)和(7) 计算每个像素(i，j)的梯度模值m(i，j)与梯度方向θ(i，j)，对每个像素 进行高斯加权，每个像素点的高斯加权值为G(σ，i，j)，如图2a中圆圈代 表高斯加权的范围，每个像素对应一个向量，长度为G(σ，i，j)×m(i，j)， 方向为θ(i，j)。然后在4×4的小块上计算8个方向的梯度方向直方图，将每 个梯度方向进行累加，得到图2b形成的描述点，每个相位奇点共有2×2共4 个描述点，每个描述点有8个方向向量信息，共有32个数据用于描述相位奇 点，即形成了32维的特征向量，所述的特征向量即为描述子。

在计算过程中，为了增强匹配点的稳定性，可用16个描述点来对相位奇 点进行描述，即最终形成128维的特征向量。

实施例2：基于相位奇点的图像匹配

S2-1读取图像I和图像I’信息

分别读取图像I和图像I’的二维图像方程I(x，y)和I’(x，y)；

S2-2对图像I和图像I’进行二维复数滤波处理

将I(x，y)和I’(x，y)根据实施例1中S1-2的方法分别进行复数滤波 处理，得到：

图像I的复数图像方程为

$\hat{I}(x,y,\sigma )=I(x,y)*\mathrm{LG}(x,y,\sigma )$

$=I(x,y)*G_x(x,y,\sigma )+\mathrm{iI}(x,y)*G_y(x,y,\sigma )$

图像I’的复数图像方程为

${\hat{I}}^{\prime }(x,y,\sigma )=I^{\prime }(x,y)*\mathrm{LG}(x,y,\sigma )$；

$=I^{\prime }(x,y)*G_x(x,y,\sigma )+{\mathrm{iI}}^{\prime }(x,y)*G_y(x,y,\sigma )$

S2-3图像I与图像I’相位奇点检测

根据实施例1中S1-3相位奇点检测的方法对图像I和图像I’进行相位奇 点检测，图像I中检测出的相位奇点的集合为{P_i}，图像I’中检测出的相位奇 点的集合为{P_i’}；

S2-4图像I与图像I’相位奇点定位

根据实施例1中S1-4相位奇点定位的方法对图像I和图像I’中的相位奇 点进行定位；

S2-5图像I与图像I’相位奇点局部描述子的生成

根据实施例1中S1-5相位奇点局部描述子的生成方法生成图像I的相位 奇点局部描述子{d_i}，图像I’的相位奇点局部描述子{d_i’}；

S2-6确定图像I和图像I’相位奇点匹配关系

首先可以通过在图像I和图像I’中寻找相位奇点的差异最小的局部描述子 来寻找匹配关系，{P_i}与{P_i’}中的匹配点可由

$\arg \underset{j}{\min }{\left|\right|d_i-{d_j}^{\prime }\left|\right|}_1$

决定，其中|| ||表示向量的二阶范数；其次，考虑图像I和图像I’中相位 奇点的空间关系，引入待匹配相位奇点之间的欧氏距离，将匹配目标函数修 改为：

$\underset{M,B}{\min }\underset{P_i\in S}{\Sigma }{\left|\right|d_i-{d_{M\left(i\right)}}^{\prime }\left|\right|}_1+\underset{P_i\in S}{\Sigma }D(P_i,{{\mathrm{BP}}_{M\left(i\right)}}^{\prime })+D(B^{-1}{P}_i,{P_{M\left(i\right)}}^{\prime })---\left(8\right)$

其中，d_i为第一图像相位奇点局部描述子，d’_M(i)为第二图像相位奇点局 部描述子，P_i为第一图像的相位奇点，P’_M(i)为第二图像的相位奇点，M为匹 配关系，S为第一图像中相位奇点的集合，B为图像间对应点坐标间的变换矩 阵，D为两点间的欧式距离。对于点P_i变换后点的坐标用B P_i表示，用S1表 示图像I中可匹配点的集合，用S2表示图像I’中可匹配点的集合，M为匹配 关系函数(j＝M(i))。

在优化上述函数的时候，匹配集合X越大越好，以获取更多匹配点，可 以通过迭代优化匹配关系M和变化矩阵B来进行求解，每步迭代后，通过设 定一个阈值K重新确定X集合中可匹配的点数，具体步骤如下：

S2-6-0设定阈值K；

S2-6-1初始的X为图像I和图像I’相位奇点间欧式距离最小的点的集合， 由初始的X可得到初始的B；

S2-6-2将S2-6-1或S2-6-3中所得的B代入到匹配目标函数(8)中，使 式(8)值最小的图像I中的相位奇点的集合为X，当目标函数(式(8))的 值小于阈值K时执行S2-6-4，否者执行S2-6-3；

S2-6-3通过S2-6-2所得集合X重新计算B，执行S2-6-2；

S2-6-4得到最终的匹配集合X，结束。

通过计算图像I与图像I’相位奇点空间分布差异及其图像I与图像I’相位 奇点局部描述子差异两种因素最终确定图像I和图像I’相位奇点的匹配关系， 图像I中可匹配的相位奇点的集合为X₁，图像I’中可匹配的相位奇点的集合 为X₂，其中，P_i∈X₁，P’_M(i)∈X₂。

如图3所示，为本实施例在图像被缩放和旋转后的匹配情况。

实施例3：基于相位奇点的图像识别

S3-1根据样本的类别属性，用SVM分类器进行不同类型样本的分类器 训练，得到不同类型图像的分类器

S3-1-1样本的创建

训练样本分为正例样本和负例样本，其中正例样本是待检测的目标样本， 如训练汽车图像的分类器，则正例样本为汽车；反例样本是指正例样本图片 以外的其它任意图片。

S3-1-2训练分类器

根据实施例1中的方法将样本中所有的图片进行相位奇点的检测和定位；

根据实施例1中的方法对提取的所有的相位奇点生成描述子；

核函数的选定：

选择核函数，用来描述样本中各个特征向量之间的关系，本实施例中采 用的是线性的kernel函数，K(x₁，x₂)＝x₁*x₂^T(9)

比较测试：

比较测试是运用SVM分类器训练分类器的方法的最后一步，是说通过训 练得到训练模型参数之后，就可根据模型参数对一个待测图像进行计算，判 断其归类。

比较测试首先是对待测图像进行预处理，然后提取特征，将这些特征参 数与训练结果的模型参数进行比对：

σ(x，w)＝w^Tz+b

得到对应的类别标志：

$\theta (x,w)=\left(\begin{array}{cc}+1& \sigma (x,w)>0\\ -1& \sigma (x,w)\le 0\end{array}\right).$

S3-2对待识别图像进行二维复数滤波处理，生成滤波响应待识别图像

S3-2-1读取图像I信息

读取图像I的二维图像方程I(x，y)；

S3-2-2对图像I进行二维复数滤波处理

将I(x，y)根据实施例1中S1-2的方法进行复数滤波处理，得到

图像I的复数图像方程为

$\hat{I}(x,y,\sigma )=I(x,y)*\mathrm{LG}(x,y,\sigma )$

$=I(x,y)*G_x(x,y,\sigma )+\mathrm{iI}(x,y)*G_y(x,y,\sigma ).$

S3-3检测待识别图像的相位奇点

根据实施例1中S1-3相位奇点检测的方法对图像I进行相位奇点检测， 图像I中检测出的相位奇点的集合为{Pi}。

S3-4精确定位待识别图像的相位奇点

根据实施例1中S1-4相位奇点定位的方法对图像I中的相位奇点进行定 位。

S3-5生成待识别图像相位奇点的局部描述子作为待识别图像特征；

根据实施例1中S1-5相位奇点局部描述子的生成方法生成图像I的相位 奇点局部描述子{di}。

S3-6将待识别图像的局部描述子进行聚类，形成正负两个词袋

对训练集中所有图像的相位奇点描述子按正负分别聚类，形成正负两个 词袋，根据各个特征在正负词袋中出现的次数计算统计待测图像I相位奇点描 述子正负词袋直方图表示。

由于图像I的相位奇点处偏导数E_x(x，y，σ)＝0和E_y(x，y，σ)＝0，而且，相位 奇点可以看成复数滤波图像E(x，y)中的极值点或鞍点，计算E(x，y)的Hessian 矩阵H(x，y)，当|H(x，y)|＞0时为极值点，即为正相位奇点；当|H(x，y)|＜0时为 负极值点，即为负相位奇点。

为识别和分类图像，从待测图像I检测相位奇点，并利用正负词袋对图像 中的相位奇点进行量化，通过统计各单词在图像I中出现的次数，得到图像的 直方图表示。

S3-7用各个特征向量在正负词袋中出现的次数绘制直方图，得到直方图 表示

通过计算待测图像I的正词袋和负词袋中各个特征向量出现的次数，计算 统计图像I的正负直方图表示。

为提高局部描述的能力，在计算统计直方图表示时，将图像I划分成许多 子区域，得到每个子区域里各自的统计直方图，然后将这些子区域的直方图 进行组合来获取图像I的最终直方图表示。

S3-8用步骤S3-1中得到的不同类型的分类器对待测图像进行检测，得到 图像识别结果

利用支持向量机(SVM)对每类图像训练出一个分类器，待测图像输出 值最大SVM的那一类别即图像的类别。

在直方图计算时，可使用传统词袋模型的方法，即将检测出的相位奇点 归结为一类单词；也可使用软分配方法，利用相位奇点与词袋中多个单词的 相似性来计算。

利用本实施例的图像识别方法以及传统的SIFT方法对摩托车，自行车， 人脸，汽车图像进行识别，结果如图4所示，本发明的图像识别方法具有更 高的识别率。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何 在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本 发明的权利要求保护范围之内。