一种利用RANSAC消除Brisk关键点错误匹配点对的方法

摘要

本发明提供一种利用RANSAC消除Brisk关键点错误匹配点对的方法，首先采用高斯平滑滤波对待处理图像进行预处理以去除噪声对后续算法的影响，其次采用Brisk（Binary Robust Invariant Scale Keypoint）对经过上述平滑后的两幅图像进行关键点检测、描述和匹配，从而获得匹配点对，最后利用RANSAC（Random Sampling Consensus）对得到的匹配点对进行进一步处理，消除错误匹配点对，从而提高了匹配精度。与原本仅仅利用Brisk进行关键点检测、描述和匹配的方法相比，本发明在保持原有方法高速的匹配和计算速度的基础之上，进一步提高了匹配精度，为后续用于高精度跟踪提供基础。

说明书

技术领域

本发明涉及一种提高匹配精度方法，特别是一种利用RANSAC（Random Sampling  Consensus）消除Brisk（Binary Robust Invariant Scale Keypoint）关键点错误匹配点对 的方法，从而提高匹配精度的方法，主要用于图像处理、计算机视觉、目标识别和匹配、3D 场景重建和目标跟踪。

背景技术

将图像分解为局部感兴趣区域或‘特征’是计算机视觉中广泛应用的技术。图像表达、 目标识别和匹配、3D场景重建和运动跟踪都依赖于图像中稳定、表达性强的特征，这些都 导致了越来越多对特征提取方法的研究。

理想的关键点检测子发现图像显著性区域，以便发生视角变化时仍然能够重复检测；更 一般的是对所有的图像变换都比较鲁棒。类似的，理想的关键点描述子捕捉被检测的图像区 域最重要和最具区分性的信息，以便遇到同样地结构时仍然能够被识别。此外，在获得了这 些需要的性能之后，检测和描述的速度也需要优化，以满足实时性需求。

目前，SIFT作为一种高性能方法而被广泛接受，独特性强、对许多图像变换具有不变 性——然而以计算复杂度作为代价。将FAST检测子和BRIEF描述方法结合起来提供一个更 合适的实时应用方法。然而，尽管在速度上面的优势，但它的可靠性和稳健性对图像的变形 和变换具有较小的容忍性，尤其是平面旋转和尺度变化。

从图像中抽取合适的特征的内在困难在于平衡两个矛盾的目标：高质量描述和低计算 量。对高质量、高速度的特征日益增长的需求导致了更多的学者研究以更高的速率处理更丰 富的数据的方法。为此，Stefan et al在2011年提出一种高质量、快速的关键点检测、描述和 匹配的方法——Brisk(Binary Robust Invariant Scale Keypoint)。然而，由于环境因素等影响， 会出现多个点对应到一个点的错误匹配情况，从而降低了关键点的重复性。因此，如何在保 持关键点快速的检测、描述和匹配的基础上，进一步提高匹配精度是目前需要解决的问题。

发明内容

本发明技术解决问题：针对现有技术的不足，提供一种利用RANSAC（Random Sampling  Consensus）消除Brisk（Binary Robust Invariant Scale Keypoint）关键点错误匹配点对 的方法，在保持关键点快速的检测、描述和匹配的基础上，进一步提高匹配精度。

为实现这样的目的，本发明的技术方案：一种利用RANSAC消除Brisk关键点错误匹配 点对的方法，包括如下步骤：

步骤一、图像预处理：采用高斯平滑滤波对待处理的两幅图像分别进行处理，去除噪声 的影响，得到滤波后的平滑图像；

步骤二、对步骤一中得到的两幅平滑图像分别进行Brisk（Binary Robust Invariant Scale  Keypoint）关键点检测、描述和匹配，得到两幅图像的对应匹配点对；

步骤三、利用RANSAC（Random Sampling Consensus）对步骤二得到的对应匹配点对 进行处理，消除错误匹配点对，最终获得正确的匹配点对。

其中，所述步骤二中，对得到的两幅平滑图像分别进行Brisk（Binary Robust Invariant  Scale Keypoint）关键点检测、描述和匹配的方法为：

步骤（21）、尺度空间特征点检测：使用AGAST（Adaptive and Generic Accelerated  Segment Test）进行特征提取，尺度不变性是获得高质量特征点的前提，因此，不只在图像 平面搜索最大值，同时在尺度空间内用FAST（Features from Accelerated Segment Test） 分数s作为显著性测量值，尺度空间金字塔包括n个octaves，第i个octave用c_i表示，每 个octave包含n个intra-octaves d_i，i＝{0,1,2,...,n-1},一般n＝4，Octave是原始图像 渐进半采样形成，d_i存在于c_i与c_i+1之间，第一个intra-octave由原始图像以1.5的采样因 子降采样得到，其余的d_i由连续半采样得来，如果t表示尺度，那么t(c_i)＝2ⁱ，t(d_i)＝2ⁱ．1.5， Brisk算法采用FAST9-16（Features from Accelerated Segment Test，需要在16个像素 的圆上至少有连续9个像素的灰度值比中心像素灰度值更大或更小）提取特征点的方法如下：

步骤（211）、对每一个octave和每一层intra-octave应用FAST9-16，取相同的阈值T 来分辨潜在的感兴趣区域；

步骤（212）、对步骤（211）得到的潜在感兴趣区域的点进行非极大值抑制：首先，问 题点需要满足极大值条件，即在同层中八邻域的FAST score s最大，s定义为极大值是考虑 到此点是图像角点；其次，同层和上下层的scores都应比此点的score s小,由此得到满足 极大值条件的感兴趣点和所在层的尺度；

步骤（213）、检查步骤（212）得到的感兴趣点所在层上的patch，由于相邻层离散程度 不同，需要在patch边缘进行插值，至此得到一系列具有亚像素精度和浮点尺度的关键点集；

步骤（22）、关键点描述：对于由步骤（21）得到的一系列关键点集，该关键点集由亚 像素精确定位和相关浮点尺度组成，Brisk描述子由通过连接简单的灰度比较结果形成的二 值串组成，在Brisk中，确定每个关键点的特征方向来获得方位归一化描述子，因此赢得旋 转不变性；

步骤（23）、描述子匹配：匹配两个Brisk描述子是一个简单的汉明距离的计算，两个描 述子中不同的比特位的数量为不相似度的度量。

其中，所述步骤三中，利用RANSAC算法对步骤二得到的匹配点对进行处理，消除错误 匹配点对的方法为：

步骤（31）、随机在步骤二得到的候选匹配点集中选出三对不共线的匹配点对，根据选 取出的匹配点对计算仿射变换矩阵M；

步骤（32）、针对匹配图像中的所有特征点X，计算仿射变换M·X，选出满足 |MX-X'|＜ε的点对构成内点，其中X'为对应X的匹配点对，ε为选定的阈值，如果内点 数大于预设的阈值t，使用这些内点在最小二乘意义下重新计算变换矩阵M，再次更新内点 数目，若内点数目小于t，返回步骤（31）；

步骤（33）、经过N次迭代后，如果最大内点集合内包含的点的个数趋于稳定收敛且大 于t，则可根据内点集合计算变换矩阵M，算法结束；否则，若最大内点集合内包含的点的 个数不再改变且小于阈值t，则算法失败。

其中，所述步骤（22）中，对于由步骤（21）得到的一系列关键点集，该关键点集由亚 像素精确定位和相关浮点尺度组成，Brisk描述子生成方法为：

步骤（41）、在每个关键点邻域内使用确定的采样模式，定义N个位置均匀分布在以关 键点为圆心的同心圆上，其中小的黑色实心圆表示采样位置；大的虚线圆半径对应于平滑该 采样点的灰度值所用的高斯核的标准差，模式尺度为1，对于图像中一个特定的关键点，考 虑所有采样点对集，定义短距离点对和长距离点对；

步骤（42）、建立描述子：为了获得旋转和尺度归一化描述子，在关键点周围采用旋转 采样模式，通过执行所有短距离点对的灰度比较获得二值比特矢量描述子。

本发明与现有技术相比的有益效果在于：

（1）本发明采用基于Brisk（Binary Robust Invariant Scale Keypoint）的特征点检测、描 述和匹配方法，与传统基于sift、surf相比在保持较高质量的同时具有更高的匹配速度；

（2）本发明在基于Brisk（Binary Robust Invariant Scale Keypoint）的特征点检测、描述 和匹配的基础上，利用RANSAC（Random Sampling Consensus）消除关键点错误匹配点对， 在保持原有方法高质量和快速的同时，进一步提高了匹配精度。

（3）本发明采用基于Brisk（Binary Robust Invariant Scale Keypoint）的特征点检测、描 述和匹配方法，在此基础上利用RANSAC（Random Sampling Consensus）消除关键点错误匹 配点对，对视角变化、尺度、旋转和模糊情况均能适应。

附图说明

图1为本发明方法实现流程图；

图2为本发明采用Brisk关键点描述时使用的采样模式；

图3为本发明采用Brisk方法对两幅待匹配图像进行关键点检测、描述和匹配后的结果；

图4为本发明采用RANSAC方法消除错误匹配点对后得到的匹配结果；

图5为本发明对发生视角变化情况下的图像进行匹配后的结果；

图6为本发明对发生旋转和尺度变化情况下的图像进行匹配后的结果；

图7为本发明对发生模糊情况下的图像进行匹配后的结果。

具体实施方式

下面结合附图对本发明的实施例作详细说明。本实施例在以本发明技术方案为前提下进 行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于以下的实施 例。

本发明基于Brisk（Binary Robust Invariant Scale Keypoint）关键点检测、描述和匹配， 输入图像为网上公开的数据集。

如图1所示，本发明提供了一种利用RANSAC（Random Sampling Consensus）消除Brisk （Binary Robust Invariant Scale Keypoint）关键点错误匹配点对的方法，包含以下步骤：

步骤一、图像预处理。由于光照或成像系统的缺陷，获取的待处理图像会受到噪声的影 响，从而影响后续的处理。因此，在执行后续的处理算法之前，对待处理图像进行预处理。 本方法采用高斯平滑滤波来去除噪声的影响，得到滤波后的平滑图像。

步骤二、对步骤一中得到的两幅平滑图像分别进行Brisk（Binary Robust Invariant Scale  Keypoint）关键点检测、描述和匹配，得到两幅图像的对应匹配点对，具体方法如下：

（2.1）尺度空间特征点检测：由于焦点聚集在计算有效性上，使用Mair et al提出的 AGAST（Adaptive and Generic Accelerated Segment Test）方法进行特征提取。AGAST （Adaptive and Generic Accelerated Segment Test）是目前流行的FAST的加速性能的一 种扩展。尺度不变性是获得高质量特征点的前提，因此，为了获得尺度不变性，不只在图像 平面搜索最大值，同时在尺度空间内用FAST分数s作为显著性测量值。尽管离散化的尺度 轴比可选高性能的检测子得间隔粗糙，但是Brisk检测子是在连续尺度空间估计每个特征点 的真实尺度。

尺度空间金字塔包括n个octaves，第i个octave用c_i表示，每个octave包含n个 intra-octaves d_i,i＝{0,1,2,...,n-1},一般n＝4，Octave是原始图像渐进半采样形成。d_i存 在于c_i与c_i+1之间。第一个intra-octave由原始图像以1.5的采样因子降采样得到。其余的 d_i由连续半采样得来。如果t表示尺度，那么t(c_i)＝2ⁱ，t(d_i)＝2ⁱ·1.5。

AGAST在特征点检测中提供多种不同模式的采样模板，Brisk算法大部分采用其中的 FAST9-16提取特征点，其需要在16个像素的圆上至少有连续9个像素的灰度值比中心像素 灰度值更大或更小，具体方法如下：

（2.1.1）对每一个octave和每一层intra-octave应用FAST9-16，取相同的阈值T来 分辨潜在的感兴趣区域；

（2.1.2）对上述（211）得到的潜在感兴趣区域的点进行非极大值抑制：首先，问题点 需要满足极大值条件，即在同层中八邻域的FAST score s最大。s定义为极大值是考虑到此 点是图像角点。其次，同层和上下层的scores都应比此点的score s小，由此得到满足极 大值条件的感兴趣点和所在层的尺度。

检测等大小的方形patch内部：边长选择两个像素。既然相邻层是不同离散化的，就需 要在patch边缘进行插值。由于在半采样和降采样时可能滤掉了潜在的最大值，因此需要进 行插值，通过曲线拟合把最大值定位出来。

由于确定一个特征点需要除本层以外的上下两层，但c₀层是最底层，因此需要虚拟一个 d_-1层，但这层不使用FAST9-16，而使用FAST5-8，即在8个像素的圆上至少有连续5个像 素的灰度值比中心像素灰度值更大或更小。在这种情况下，不要求d_-1层的patch分数比c₀层 上检测的点的分数低。

考虑到图像显著性不仅在图像上同时沿着尺度维作为一个连续的数量，对于每个检测到 的极大值执行亚像素和连续尺度精确提取。为了约束提炼过程的复杂度，首先对每个三分数 块（关键点所在层、上下层）在最小均方意义上拟合一个2D二次函数，生成三个亚像素显 著性最大值。为了避免重采样，在每一层考虑一个3*3的分数块。其次，这些精细分数用来 拟合沿着尺度轴的1D抛物线，生成最终的最大值上的分数估计和尺度估计。作为最后一步， 在确定的尺度周围的层中块之间的图像坐标上进行重新差值，至此得到一系列具有亚像素精 度和浮点尺度的关键点集。

（2.2）关键点描述：对于由步骤（2.1）得到的一系列关键点集（由亚像素精确定位和 相关浮点尺度组成），Brisk描述子由通过连接简单的灰度比较结果形成的二值串组成。在 Brisk中，确定每个关键点的特征方向来获得方位归一化描述子，因此赢得旋转不变性。此 外，为了最大化描述性能，仔细选择亮度比较。

（2.2.1）采样模式和旋转估计。在关键点邻域内使用一种确定的采样模式。如图2所示， 定义N个位置均匀分布在以关键点为圆心的同心圆上。其中小的黑色实心圆表示采样位置； 大的虚线圆半径对应于平滑该采样点的灰度值所用的高斯核的标准差。图中所示的模式尺度 为1。

为了避免混叠效应，在模式中采样点pi的图像灰度时，应用高斯平滑，其标准差σ_i与 独立圆中点之间的距离成正比。对于图像中一个特定的关键点k，考虑 N·(N-1)/2个采样点对(p_i,p_j)中的一个，其中N为关键点k周围同心圆上的采样点数。这 些点上的平滑灰度值分别为I(p_i,σ_i)和I(p_j,σ_j)，通过式（2-1）估计局部梯度g(p_i,p_j)

$g(p_i,p_j)=(p_j-p_i)·\frac{I(p_j,{\sigma }_j)-I(p_i,{\sigma }_i)}{\left|\right|p_j-p_i{\left|\right|}^2}---(2-1)$

其中p_i，p_j分别为第i和第j个采样点的位置矢量，I(p_i,σ_i)和I(p_j,σ_j)分别为第i和 第j个采样点上高斯平滑核标准差分别为σ_i和σ_j的平滑灰度值，g(p_i,p_j)为点对(p_i,p_j)上 的局部梯度。

考虑所有采样点对集Α：

其中N为关键点k周围同心圆上的采样点数。定义短距离点对子集S和长距离点对子集 L：

$S=\{(p_i,p_j)\in A|\left|\right|p_j-p_i\left|\right|<{\delta }_{\max }\}\subseteq A---(2-3)$

$L=\{(p_i,p_j)\in A|\left|\right|p_j-p_i\left|\right|>{\delta }_{\max }\}\subseteq A$

其中阈值距离设置为δ_max＝9.75t和δ_min＝13.67t(t为关键点k的尺度)，A为所有采样点对 集。迭代长距离点对子集L中的点对，根据式（2-4）估计关键点k的特征模式方位

$g=\left(\begin{array}{c}{g}_x\\ g_y\end{array}\right)=\frac{1}{L}·\underset{(p_i,p_j)}{\Sigma }\underset{\in L}{g}(p_i,p_j)---(2-4)$

其中g(p_i,p_j)表示点对(p_i,p_j)上的局部梯度，L为长距离点对子集的长度，g_x和g_y分 别为点对(p_i,p_j)上沿X和Y方向的梯度值，g为关键点k上的梯度矢量。采用长距离点对计 算局部梯度是基于这样一个假设：局部梯度互相抵消，因此对全局梯度的确定没有影响。

（2.2.2）建立描述子。为了形成旋转和尺度归一化描述子，Brisk应用在关键点周围旋 转α＝arctan2(g_y,g_x)的采样模式。通过执行所有短距离点对（即旋转模式）的 灰度比较形成比特矢量描述子d_k，每个比特对应于：

$b=\left(\begin{array}{c}1,I(P_j^{\alpha },{\sigma }_j)>I(P_i^{\alpha },{\sigma }_i)\\ 0,\mathrm{otherwise}\end{array},---(2-5)\right)$

$\forall (P_i^{\alpha },P_j^{\alpha })\in S$

其中表示第i个采样点处平滑灰度值的高斯核标准差为σ_i、旋转角度为α的旋 转模式下的灰度值，表示第j个采样点处平滑灰度值的高斯核标准差为σ_j、旋转 角度为α的旋转模式下的灰度值，b为描述子矢量中的比特位。

BRIEF（Binary Robust Independent Elementary Features）描述子也可以通过亮度比较获 得，除了预先的尺度化和旋转Brisk有一些基本的不同。首先，Brisk使用确定性的采样模式 在关键点周围给定的半径内形成一个均匀的采样点密度。接下来，定制的高斯平滑不会扭曲 亮度比较的信息内容，通过模糊两个作比较的采样点对。此外，Brisk使用更少的采样点， 限制了查找灰度值的复杂度。最后，从空间上限制比较以便于亮度变化仅限于局部连续。有 采样模式和距离阈值，获得512长度的比特串。

（2.3）描述子匹配：匹配两个Brisk描述子是一个简单的汉明距离的计算。两个描述子 中不同的比特位的数量为不相似度的度量。

对castle. jpg与castle_1.jpg进行测试，其发生了视角和尺度变化，阈值为70，利用Brisk 方法进行关键点检测、描述和匹配后得到的匹配结果如图3所示。其中黑色圆心表示检测到 的对应匹配点所在位置，半径大小代表了该点所在的尺度大小，从圆心到圆上的黑色半径表 示该点的方位，两幅图像中的灰色线段表示对应匹配点对。实验发现，左边检测到285个关 键点，右边检测到299个关键点，匹配对数有16对。从图中可看到，结果会出现多个点匹 配到一个点的情况，因此有错误匹配。

步骤三、利用RANSAC（Random Sampling Consensus）对步骤二得到的对应匹配点对 进行处理，消除错误匹配点对，最终获得正确的匹配点对，具体步骤如下：

（3.1）随机在步骤二得到的候选匹配点集中选出三对不共线的匹配点对，根据选取出 的匹配点对计算仿射变换矩阵M；

（3.2）针对匹配图像中的所有特征点X，计算仿射变换M·X，选出满足|MX-X'|＜ε 的点对构成内点。其中X'为对应X的匹配点对，ε为选定的阈值。如果内点数大于预设的 阈值t，使用这些内点在最小二乘意义下重新计算变换矩阵M，再次更新内点数目。若内点 数目小于t，返回步骤（31）；

（3.3）经过N次迭代后，如果最大内点集合内包含的点的个数趋于稳定收敛且大于t， 则可根据内点集合计算变换矩阵M，算法结束；否则，若最大内点集合内包含的点的个数不 再改变且小于阈值t，则算法失败。

利用步骤三所述方法对上述步骤二得到的匹配结果进行错误匹配消除后得到的匹配结 果如图4所示。实验发现，经过错误匹配消除后得到的正确匹配点数为9对。从图中可以看 出，得到的对应匹配点对均为正确匹配点，从而进一步提高了匹配精度。

为了说明采用Brisk方法对视角变化、尺度、旋转和模糊情况下的不变性，用从网上下 载的数据集进行测试，使用本发明进行错误匹配点对消除后得到的匹配结果分别如图5、6、 7所示，其中两幅图像间的灰色线段表示对应的匹配点对，线段的两个端点分别表示两幅图 像中找到的对应匹配点,以端点为圆心的黑色圆半径大小表示该点的尺度大小，半径取向表 示该点的方位。图5发生了视角变化，图6发生了旋转和尺度变化，图7发生了模糊。从图 中可以看出，当图像发生视角、旋转、尺度、模糊等变化时，综合利用Brisk以及RANSAC 后得到的匹配结果比单一使用Brisk方法更精确，匹配精度更高。

为了定量评估匹配算法的性能，对以上图像进行测试，计算匹配的特征比(匹配点对与 两幅匹配图中检测到的特征点中最小个数之比，Ratio of Matching Features with All Features, RMFAF)、正确匹配的特征百分比(正确匹配点对与两幅匹配图中检测到的特征点中最小个数 之比，Ratio of Correct Matching Features with All Features,RCMFAF)以及正确匹配的特征点对 与所有匹配的特征点对的百分比(Ratio of Correct Matching Features with Matching Features, RCMFMF)，如表一所示。从表中可以看出，不管图像出现何种变化，均会出现错误匹配点 对，经过RANSAC消除错误匹配点对后，进一步提高了匹配精度，为后续用于跟踪应用场 景提供了基础。

表一不同图像测试性能比较

Image set RMFAF RCMFAF RCMFMF Figure4 5.6% 3.15% 56.25% Figure5 39.4% 38.2% 96.9% Figure6 41.75% 41.47% 99.35% Figure7 69.4% 61.1% 88%

本发明未详细阐述部分属于本领域技术人员的公知技术。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并 非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例变化，变 型都将落在本发明权利要求书的范围内。