一种基于尺度空间的图像最稳极值区域检测方法

摘要

本发明实施例公开了一种基于尺度空间的图像最稳极值区域检测方法，其包括以下步骤：S10，采用高斯核构造图像的尺度空间；S20，在每个尺度层图像上进行最稳极值区域检测得到候选区域特征；S30，为每个区域特征定义一个尺度选择函数，通过判断该尺度选择函数是否达到局部极大值来筛选候选区域特征；S40，将一些在位置和面积上相似的重复区域特征剔除掉，得到最终的具有良好不变性的区域特征。本发明通过将单一尺度空间中的MSER扩展到多尺度空间从而提高了区域特征的不变性，克服了最稳极值区域MSER对图像模糊变化的不变性较差的不足。

说明书

技术领域

本发明属于一种图像局部不变特征检测方法，特别地涉及一种基于尺度空 间的图像最稳极值区域检测方法。

背景技术

图像局部不变特征近些年来已成为图像处理和计算机视觉领域的一个研究 热点，继人工智能和神经网络之后，它再一次点燃了人们对机器智能研究的热 情。图像局部不变特征研究的核心是“不变性”，即在识别一个物体时，不管这 个物体或远或近，也不管这个物体是否发生旋转，或是从不同的角度去观察这 个物体，都能对这个物体进行正确的辨认。常见的不变性有视角不变性、尺度 不变性、旋转不变性、光照不变性、仿射不变性等，但至今还没有一种局部特 征具有上述所有的不变性，一般的局部特征只能满足部分图像变换。此外，优 秀的局部特征除了具有好的不变性之外，还需要有较高的可区分性，从而使其 容易被区分和匹配。同时特征最好是局部的，这样可以减小其被遮挡的概率。 最后特征数量要尽可能多，并在图像上均匀分布，这样能更全面地表示图像的 内容，特征提取的时间越短越好，以便于实时应用。

图像局部不变特征主要可分为两种，一种是点特征，角点特征是早期比较 著名的点特征，它是图像中灰度值发生剧烈变化或边缘曲线上曲率极大值的点。 Harris角点检测子就是其中的典型代表，它具有平移和旋转不变性，对光照变 化也不敏感，但对尺度缩放比较敏感，也不具备仿射不变性。针对这些问题， Mikolajczyk等人将尺度空间理论引入点特征的检测，在图像的高斯尺度空间上 对每幅图像进行Harris角点检测，然后通过特征尺度选择函数将重复的角点进 行处理，从而提出了具有旋转、光照、尺度不变的Harris-Laplacian点特征检测 子。Lowe将Harris-Laplacian检测子中用到的高斯拉普拉斯算子用尺度域上的 差分运算来代替，提出了著名的SIFT特征，其具有尺度、光照、旋转等不变性， 同时检测速度非常快，达到实时应用的要求。另一种局部特征是区域特征，最 稳极值区域MSER(Maximally Stable Extremal Regions)是其中比较典型的代表， 它是基于图像分水岭方法，通过不断提高阈值对灰度图像进行二值化处理，得 到一系列嵌套的区域特征，最后将那些随着阈值变化而其面积变化率达到局部 极小的区域作为最稳极值区域。MSER除了具有尺度、旋转、光照不变性外， 还具有仿射不变性。研究表明，MSER在绝大多数情况下性能都是最佳的，除 了模糊变化下，MSER的不变性不理想。其他应用较广的区域特征有基于特征 点检测的HA(Harris\Hessian-Affine)、基于边缘检测的EBR(Edge-Based Region)、 基于局部灰度极值的IBR(Intensity Extreme-Based Region)和显著性区域Salient  Region。这些区域特征只能对某些图像变换有良好的不变性，其整体性能不如 最稳极值区域特征。

发明内容

为了克服现有的最稳极值区域MSER对图像模糊变化的不变性较差的不 足，本发明通过将单一尺度空间中的MSER扩展到多尺度空间，提出了一种基 于图像尺度空间的图像最稳极值区域检测方法，从而提高了区域特征的不变性。

为实现上述目的，本发明的技术方案为：

一种基于尺度空间的图像最稳极值区域检测方法，包括以下步骤：

S10，采用高斯核构造图像的尺度空间；

S20，在每个尺度层图像上进行最稳极值区域检测得到候选区域特征；

S30，为每个区域特征定义一个尺度选择函数，通过判断该尺度选择函数是 否达到局部极大值来筛选候选区域特征；

S40，将一些在位置和面积上相似的重复区域特征剔除掉，得到最终的具有 良好不变性的区域特征。

优选地，所述步骤S10具体为，对于原始输入图像I(x，y)，其高斯尺度空 间由一系列尺度图像构成，每层尺度图像由原始图像与高斯核进行卷积而得到， 图像尺度空间的表达公式如下：

L(x，y，σ)＝G(σ)*I(x，y)

其中G(σ)表示方差为σ²的高斯核，L(x，y，σ)表示尺度参数为σ的尺度图像，采 用的高斯核尺度参数为σ_n＝kⁿσ₀，其中σ₀表示第一尺度层的高斯尺度参数，σ_n表示第n尺度层的高斯尺度参数，k表示相邻尺度层之间尺度参数的变化幅度。

优选地，所述步骤S10具体为，在生成第n+1层尺度图像时，利用第n层 尺度图像与高斯核进行卷积来获得，其计算公式如下：

L(x，y，σ_n+1)＝G(σ^*)*L(x，y，σ_n)

其中L(x，y，σ_n+1)表示第n+1层尺度图像，L(x，y，σ_n)表示第n层尺度图像，G(σ^*) 表示方差为σ^*2的高斯核，σ₀表示第一层高斯尺度参数，k表 示相邻尺度层之间尺度参数的变化幅度。

优选地，所述步骤S20具体为，将每个尺度层图像L(x，y，σ_n)进行灰度化， 在灰度图像上用最稳极值区域MSER算法进行最稳极值区域检测，获得一系列 不规则的区域，然后将这些不规则区域进行椭圆拟合得到候选区域特征，设区 域的中心二阶矩为：

$U=\left(\begin{array}{cc}D\left(x\right)& \mathrm{cov}(x,y)\\ \mathrm{cov}(x,y)& D\left(y\right)\end{array}\right)$

其中D(x)、D(y)、cov(x，y)分别为该区域内所有像素点的x坐标方差、y坐标 方差和x、y坐标的协方差，λ₁，λ₂为上述二阶矩的两个特征值，S为该区域的 面积，则拟合椭圆的长半轴w，短半轴l和长轴方向θ的计算公式如下：

$w=\sqrt{\frac{{\lambda }_1}{S}},$$l=\sqrt{\frac{{\lambda }_2}{S}},$$\theta =\frac{1}{2}\arctan \left(\frac{2\mathrm{cov}(x,y)}{D\left(x\right)-D\left(y\right)}\right).$

优选地，所述步骤S30进一步包括以下步骤：

S301，将区域边缘像素点按照其高斯拉普拉斯LoG函数值进行排序，并将 排在前10％和后10％的像素点剔除，最后将保留下来的像素点的LoG函数值求 平均值来作为该区域的尺度选择函数值，像素点x＝(x，y)的LoG函数值为：

$F_{\mathrm{LoG}}(x,{\sigma }_n)={\sigma }_n^2|L_{\mathrm{xx}}(x,{\sigma }_n)+L_{\mathrm{yy}}(x,{\sigma }_n)|$

其中L_xx(x，σ_n)和L_yy(x，σ_n)分别表示尺度参数为σ_n高斯尺度图像L(x，σ_n)在x方 向和y方向上的二阶偏导数，区域的尺度选择函数为：

$F(R,{\sigma }_n)=\frac{\Sigma F_{\mathrm{LoG}}(x,{\sigma }_n)}{\#\partial R},x\in \partial R$

其中表示区域边缘上的有效像素点集合，表示有效像素点的数目，

S302，根据区域特征的尺度选择函数是否达到局部极大值来判断该区域特 征是否是在最佳尺度上被检测到的，若该区域特征是在其最佳尺度上被检测到 的，则保留该区域特征，反之，则剔除掉，区域特征是否在其最佳尺度上被检 测到的具体判断标准为：

F(R，σ_n)＞threshold

F(R，σ_n)＞F(R，σ_l)l∈{n-1，n+1}

即区域R的尺度选择函数值大于某个阈值，且当前尺度σ_n下的尺度选择函数值 达到局部极大值，第一阈值threshold一般设定为1。

优选地，所述步骤S40具体为通过比较两个重复区域特征重心处的LoG函 数值，将LoG值小的区域特征剔除，保留LoG值大的区域特征，判断两个区 域特征是否重复的标准为两个区域重心之间的距离小于第二阈值，且两个区域 的重叠部分面积占两个区域总面积的百分比大于第三阈值，即同时满足以下两 个要求：

|c(p)-c(q)|＜threshold1

$\frac{R_p\cap R_q}{R_p\cup R_q}>\mathrm{threshold}2$

其中p、q为两个区域，c(p)和c(q)分别为他们的重心，R_p和R_q分别表示p和 q的椭圆拟合区域，R_p∩R_q为两个区域的重叠部分面积，R_p∪R_q为两个区域所 占的总面积，其中第二阈值$\mathrm{threshold}1=\min (10,\frac{\mathrm{width}}{10}),$width为p、q中较小的 那个椭圆长轴，第三阈值threshold2的取值范围为[60％，80％]。

与现有技术相比，本发明的有益效果如下：

(1)本发明实施例通过在多个尺度下对图像进行区域特征检测，并通过自 动尺度选择机制获得区域特征的最佳尺度，通过该方法获得的区域特征不仅具 有和最稳极值区域MSER一样良好的尺度不变性、视角不变性以及光照不变性， 而且还大大提高了MSER的模糊不变性。

(2)在所有的图像变换下都能检测到比MSER更丰富的对应区域特征，即 两幅图像间能进行一一匹配的区域特征更丰富。

附图说明

图1为本发明实施例的基于尺度空间的图像最稳极值区域检测方法的步骤 流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替 代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解， 在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技 术人员来说没有这些细节部分的描述也可以完全理解本发明。

参考图1，所示为本发明实施例的基于尺度空间的图像最稳极值区域检测 方法的步骤流程图，其包括以下步骤：

S10，采用高斯核构造图像的尺度空间；

在一具体应用实例中，对于原始输入图像I(x，y)，其高斯尺度空间由一系 列尺度图像构成，每层尺度图像由原始图像与高斯核进行卷积而得到，图像尺 度空间的表达公式如下：

L(x，y，σ)＝G(σ)*I(x，y)

其中G(σ)表示方差为σ²的高斯核，L(x，y，σ)表示尺度参数为σ的尺度图像。采 用的高斯核尺度参数为σ_n＝kⁿσ₀，其中σ₀表示第一尺度层的高斯尺度参数，σ_n表示第n尺度层的高斯尺度参数，k表示相邻尺度层之间尺度参数的变化幅度， k越小则尺度空间越精细，但这会大大增加处理时间，反之，如果k太大则会导 致得到的特征尺度不精确，一般情况下k∈[0.7，1.4]。但是随着高斯核的增大， 卷积运算的计算量也会随之增大。

为了提高运算速度，在又一具体应用实例中，在生成第n+1层尺度图像时， 不再利用原始图像，而是利用第n层尺度图像与高斯核进行卷积来获得，其计 算公式如下：

L(x，y，σ_n+1)＝G(σ^*)*L(x，y，σ_n)

其中L(x，y，σ_n+1)表示第n+1层尺度图像，L(x，y，σ_n)表示第n层尺度图像，G(σ^*) 表示方差为σ^*2的高斯核，由于所以与原始的尺 度空间构造方法相比可以节省时间。

通过S10可知，图像的尺度空间构造是通过由一组尺度参数依次增大的高 斯卷积与原始图像进行卷积操作获得的，一个尺度参数对应一幅尺度图像。在 具体构造尺度空间时，随着高斯核的增大，卷积运算的计算量也会随之增大， 因此，另一种实现方式中，为了提高运算速度，在具体实现过程中利用高斯核 的性质，采用在生成尺度空间中的尺度图像时，不再每次利用原始图像，而是 利用相邻的新生成的尺度图像与当前尺度高斯核进行卷积来获得。

S20，在每个尺度层图像上进行最稳极值区域检测得到候选区域特征；

具体为，将每个尺度层图像L(x，y，σ_n)进行灰度化，在灰度图像上用MSER 算法进行最稳极值区域检测，获得一系列不规则的区域，然后将这些不规则区 域进行椭圆拟合得到候选区域特征。设区域的中心二阶矩为：

$U=\left(\begin{array}{cc}D\left(x\right)& \mathrm{cov}(x,y)\\ \mathrm{cov}(x,y)& D\left(y\right)\end{array}\right)$

其中D(x)、D(y)、cov(x，y)分别为该区域内所有像素点的x坐标方差、y坐标 方差和x、y坐标的协方差，λ₁，λ₂为上述二阶矩的两个特征值，S为该区域的 面积，则拟合椭圆的长半轴w，短半轴l和长轴方向θ的计算公式如下：

$w=\sqrt{\frac{{\lambda }_1}{S}},$$l=\sqrt{\frac{{\lambda }_2}{S}},$$\theta =\frac{1}{2}\arctan \left(\frac{2\mathrm{cov}(x,y)}{D\left(x\right)-D\left(y\right)}\right).$

S30，为每个区域特征定义一个尺度选择函数，通过判断该尺度选择函数是 否达到局部极大值来筛选候选区域特征；

S30进一步包括以下步骤：

S301，将区域边缘像素点按照其高斯拉普拉斯(Laplace of Gaussian，LoG) 函数值进行排序，并将排在前10％和后10％的像素点剔除，最后将保留下来的 像素LoG函数值的平均值作为该区域的尺度选择函数值，像素点x＝(x，y)的 LoG函数值为：

$F_{\mathrm{LoG}}(x,{\sigma }_n)={\sigma }_n^2|L_{\mathrm{xx}}(x,{\sigma }_n)+L_{\mathrm{yy}}(x,{\sigma }_n)|$

其中L_xx(x，σ_n)和L_yy(x，σ_n)分别表示尺度参数为σ_n高斯尺度图像L(x，σ_n)在x方 向和y方向上的二阶偏导数，x＝(x，y)为一个像素点，区域的尺度选择函数为：

$F(R,{\sigma }_n)=\frac{\Sigma F_{\mathrm{LoG}}(x,{\sigma }_n)}{\#\partial R},x\in \partial R$

其中表示区域边缘上的有效像素点集合，表示有效像素点的数目，

S302，根据区域特征的尺度选择函数是否达到局部极大值来判断该区域特 征是否是在最佳尺度上被检测到的，若该区域特征是在其最佳尺度上被检测到 的，则保留该区域特征，反之，则剔除掉，区域特征是否在其最佳尺度上被检 测到的具体判断标准为：

F(R，σ_n)＞threshold

F(R，σ_n)＞F(R，σ_l)l∈{n-1，n+1}

即区域R的尺度选择函数值大于某个阈值，且当前尺度σ_n下的尺度选择函数值 达到局部极大值，第一阈值threshold一般设定为1。

通过S30可知，当在每个尺度层图像上进行最稳极值区域检测后将会获得 一系列候选区域特征，其中很多区域特征在尺度维上存在重复，即会在相邻尺 度层上都检测到代表同一个图像区域的特征。为了消除这些重复区域特征，引 入特征尺度自动选择机制，首先为每个区域特征构造一个以尺度参数为自变量 的尺度选择函数，该尺度选择函数值随着尺度参数的增大呈现先增大后减小的 趋势，尺度选择函数的局部极大值所对应的尺度参数就是该图像区域的最佳尺 度。保留那些在最佳尺度层上检测到的候选区域特征，其余都剔除掉。候选区 域特征的尺度选择函数为：区域边缘像素点的尺度归一化函数值的均值。同时 为了减小噪声的干扰，并不是将所有的区域边缘像素点都认为是有效，而是选 择那些具有合适LoG函数值的点，对于那些LoG函数值特别大或者特别小的 边缘像素点就不予考虑。

S40，将一些在位置和面积上相似的重复区域特征剔除掉，得到最终的具有 良好不变性的区域特征。

在具体应用实例中，S40具体为通过比较两个重复区域特征重心处的LoG 函数值，将LoG值小的区域特征剔除，保留LoG值大的区域特征，判断两个 区域特征是否重复的标准为两个区域重心之间的距离小于第二阈值，且两个区 域的重叠部分面积占两个区域总面积的百分比大于第三阈值，即同时满足以下 两个要求：

|c(p)-c(q)|＜threshold1

$\frac{R_p\cap R_q}{R_p\cup R_q}>\mathrm{threshold}2$

其中p、q为两个区域，c(p)和c(q)分别为他们的重心，R_p和R_q分别表示p和 q的椭圆拟合区域，R_p∩R_q为两个区域的重叠部分面积，R_p∪R_q为两个区域所 占的总面积，其中第二阈值$\mathrm{threshold}1=\min (10,\frac{\mathrm{width}}{10}),$width为p、q中较小的 那个椭圆长轴，第三阈值threshold2越小则剔除的重复区域越多，但如果取得 太小也可能将一些不重复的区域剔除，取得大大则剔除重复区域效果不明显， 一般情况下threshold2的取值范围为[60％，80％]。

通过以上实施例，通过在多个尺度下对图像进行区域特征检测，并通过自 动尺度选择机制获得区域特征的最佳尺度，通过该方法获得的区域特征不仅具 有和最稳极值区域MSER一样良好的尺度不变性、视角不变性以及光照不变性， 而且还大大提高了MSER的模糊不变性；同时在所有的图像变换下都能检测到 比MSER更丰富的对应区域特征，即两幅图像间能进行一一匹配的区域特征更 丰富。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发 明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明 的保护范围之内。