一种基于仿射不变特征的图像拼接方法

摘要

本发明公开了一种基于仿射不变特征的图像拼接方法，包括以下步骤：(1)对待拼接图像采用SURF算法提取图像特征点，并对特征点进行描述；(2)通过基于BBF机制的Kd-树算法对特征点进行图像匹配，并采用随机抽样一致性算法剔除误匹配点对；(3)通过渐入渐出法对图像进行融合，消除拼接缝隙。本发明的一种基于仿射不变特征的图像拼接方法首先对待拼接图像采用改进的SURF算法提取图像特征点，并对特征点进行描述，使得提取的特征点具备仿射不变性，之后采用基于BBF机制的Kd-树算法对特征点进行匹配，提高了算法运算速度。

说明书

技术领域

本发明属于图像处理技术领域，具体涉及一种基于仿射不变特征的图像拼接方法。

背景技术

图像拼接技术是数字图像处理中一个重要的分支领域，是指将具有重叠区域的多幅图像拼接成一幅具有更大视野范围的无缝高分辨率图像。图像拼接技术已广泛地应用于医学图像处理、全景图像合成、遥感图像处理、虚拟现实等领域，具有很强的商用价值，并且逐渐成为众多学者感兴趣的研究方向。现有的图像拼接主要包含两个关键技术：图像配准和图像无缝融合，按照配准的方法，大致可将图像拼接方法分为基于像素亮度差优化的方法、基于变换域的方法、基于区域匹配的方法以及基于特征匹配的方法。其中，基于特征匹配的方法由于对不同特性的图像特征容易提取，且提取的特征点不易受到旋转、光照变化的影响，具有较强的鲁棒性和稳定性，因而得到广泛应用。

但是，基于特征匹配的方法有基于尺度不变特征变换(Scale Invariant Feature Transform,SIFT)的图像匹配方法，SIFT特征点信息量丰富，对图像亮度变化、旋转和尺度缩放具有良好的不变特性，但是SIFT特征描述符为128 维数据，计算效率较低。

发明内容

本发明的目的在于：针对现有的利用SIFT特征计算效率低的问题，提供一种基于仿射不变特征的图像拼接方法，拼接效果好，耗时短。

为了实现上述目的，本发明采用的技术方案为：

一种基于仿射不变特征的图像拼接方法，包括以下步骤：

(1)对待拼接图像采用SURF算法提取图像特征点，并对特征点进行描述；

(2)通过基于BBF机制的Kd-树算法对特征点进行图像匹配，并采用随机抽样一致性算法剔除误匹配点对；

(3)通过渐入渐出法对图像进行融合，消除拼接缝隙。

作为优选，所述步骤(1)中包括以下子步骤：

(11)对待拼接图像进行仿射参数采样，首先对纬度角θ进行等比采样：1，a,a²...aⁿ，a>1，其中n＝5，然后对经度角进行等差采样:0，b/t...kb/t，其中b＝72°，t＝|1/cosθ|，k为满足kb/t<180°的最后一个整数；

(12)根据采样得到的参数序列，利用公式：

$I(\phi ,t)=\left(\begin{array}{cc}\cos \phi & -\sin \phi \\ \sin \phi & \cos \phi \end{array}\right)\times \left(\begin{array}{cc}t& 0\\ 0& 1\end{array}\right)\times I^{\prime },$

计算得出仿射模拟后的图像I，其中I'为输入的原图像；

(13)对图像I采用Harris特征检测器提取特征点；

(14)利用SURF描述符对特征点进行描述；

进一步优选，所述步骤(13)中包括以下子步骤：

(131)计算图像在X和Y两个方向上的梯度和

$I_x=\frac{\partial I}{\partial x}=I\otimes (-\mathrm{1,0,1}),I_y=\frac{\partial I}{\partial y}=I\otimes {(-\mathrm{1,0,1})}^T;$

其中表示卷积运算；

(132)使用高斯函数g(x,y,σ)对和I_xI_y进行高斯加权，得到M矩阵中的各个元素；

$g(x,y,\sigma )=\frac{1}{2\pi {\sigma }^2}{e}^{-\frac{(x^2+y^2)}{2{\sigma }^2}},$其中(σ＝1)；

$M=\left(\begin{array}{cc}g\left(I_x^2\right)& g\left(I_x{I}_y\right)\\ g\left(I_x{I}_y\right)& g\left(I_y^2\right)\end{array}\right),$其中$g\left(I_x^2\right)=I_x^2\otimes w,g\left(I_y^2\right)=I_y^2\otimes w,g\left(I_x{I}_y\right)=I_x{I}_y\otimes w,$w为加权函数；

(133)计算每个像元的Harris相应值R：R＝{R:detM-α(trM)²<t}，并将小于阀值t的R的值置为0，其中detM为矩阵M的行列式，trM为矩阵M的直迹，α＝0.08；

(134)在5x5的邻域内进行非最大值抑制，局部最大值点即为图像中求得的Harris角点。

作为优选，所述步骤(2)中包括以下子步骤：

(21)根据数据点集建立Kd-树,并构建最优队列；

(22)将Kd-树的根节点压入队列，检测该树节点表示的空间中是否有更好的最近邻，提取出最优先节点；

(23)继续检索最优先节点，重复步骤(22)，直到优先队列为空。

由于采用了上述技术方案，本发明的有益效果是：

对待拼接图像进行仿射变化模拟处理，利用基于Harris的检测方法对特征点进行提取，并采用SURF特征法对特征点进行描述，本发明提取的特征点具有完全仿射不变性，且稳定性要优于SIFT算子、SURF算子。

在特征点匹配阶段，采用基于BBF机制的Kd-树算法代替传统的全局最近邻搜索算法对特征点进行匹配，达到缩短拼接时间的效果。

与现有技术相比，本发明切实可行，在拼接效果、耗时方面优势明显，不仅在旋转、光照变化以及尺度缩放情况下可以保持很好的稳定性，且具备完全的仿射不变性，对于仿射造成的畸变图像也能具有较好的拼接效果，能够为相关问题的方案设计提供借鉴意义，在计算机视觉、图像处理、虚拟现实等领域有广泛的应用前景。

附图说明

图1是本发明的图像拼接方法的主流程图。

图2是本发明的图像匹配过程的流程图。

图3是本发明的对图像进行仿射参数采样示意图。

图4是本发明的基于BBF的Kd-树检索流程图

具体实施方式

下面通过结合说明书附图，进一步说明本发明的技术方案。

本发明的思路是针对现有基于SIFT特征点、SURF特征点的图像拼接算法，存在计算量大以及对仿射造成的畸变图像进行拼接效果差等问题，首先对待拼接图像采用改进的SURF算法提取图像特征点，并对特征点进行描述，使得提取的特征点具备仿射不变性，之后采用基于BBF机制的Kd-树算法对特征点进行匹配，提高了算法运算速度。

参照图1，图2，本发明的一种基于仿射不变特征的图像拼接方法，包括以下步骤：

输入待拼接的图像，并进行仿射模拟变换：

输入两幅待拼接图像I'₁和I'₂，分别对其进行仿射模拟变换，并得到仿射模拟后的图像I₁和I₂，其计算步骤如下：对图像I'₁进行纬度角θ进行等比采样：1，a，a²...aⁿ，a>1，其中n＝5，然后对经度角进行等差采样:0，b/t，...kb/t，其中b＝72°，t＝|1/cosθ|，k为满足kb/t<180°的最后一个整数。对待拼接图像进行仿射参数采样过程如图3所示，仿射变化造成的图像畸变通常主要是由于相机光轴方向的变换所引起，而光轴方向的变换取决于两个角度，即相机的纬度和经度。因此可以在这两个角度上进行全方位的采样来考虑图像的各种仿射情况，图3中黑色点即为采样点，其中，左图为沿Y轴的半球体透视图，右图为沿Z轴的半球体透视图；将采样得到的参数序列，利用公式： $I(\phi ,t)=\left(\begin{array}{cc}\cos \phi & -\sin \phi \\ \sin \phi & \cos \phi \end{array}\right)\times \left(\begin{array}{cc}t& 0\\ 0& 1\end{array}\right)\times I^{\prime },$计算得出仿射模拟后的图像I₁。I₂的计算过程与I₁相同。

采用Harris特征检测器提取图像特征点：

对仿射模拟后的图像I₁，I₂采用高效稳定的Harris特征检测器提取特征点，可以保证特征点具有仿射不变性。首先根据公式：计算图像在X和Y两个方向上的梯度和其中表示卷积运算；接着使用高斯函数对和I_1xI_1y进行高斯加权(σ＝1)，得到M₁矩阵中的各个元素，$M=\left(\begin{array}{cc}g\left(I_{1x}^2\right)& g\left(I_{1x}{I}_{1y}\right)\\ g\left(I_{1x}{I}_{1y}\right)& g\left(I_{1y}^2\right)\end{array}\right),$其中 $g\left(I_{1x}^2\right)=I_{1x}^2\otimes w,g\left(I_y^2\right)=I_y^2\otimes w,g\left(I_{1x}{I}_{1y}\right)=I_{1x}{I}_{1y}\otimes w,$w为加权函数；然后计算每个像元的Harris相应值R₁：R₁＝{R₁:detM₁-α(trM₁)²<t}，并将小于阀值t的R₁的值置为0，其中detM₁为矩阵M₁的行列式，trM₁为矩阵M₁的直迹，α＝0.08；最后在5x5的邻域内进行非最大值抑制，局部最大值点即为图像中求得的Harris角点。图像I₂特征点的提取过程与I₁相同。

利用SURF描述符对特征点进行描述：

为了保证特征矢量具有旋转不变性，需要为图像I₁、I₂中每一个特征点分配一个主方向，具体步骤如下：统计以特征点为中心，以6s(s为特征点尺度)为半径圆形区域内，对图像进行Haar小波响应运算，即利用Haar小波滤波器在x，y方向进行响应，并使用σ＝2s的高斯加权函数对Haar小波进行高斯加权，距离特征点越近响应贡献越大；然后，在60°的扇形区域内求出x和y方向上的系数之和，并构建一个新的向量，接着遍历整个圆形区域，选择最长向量方向为 主方向；选定方向后，以每个特征点为中心，构建一个20σ×20σ的正方形窗，并沿主方向将方形窗分成4×4个子块，计算每个子块的dx、dy，并用高斯函数进行加权，得到每个子块的矢量V_子块：V_子块＝[∑dx,∑d|x|,∑dy,∑d|y|]；最后再对特征矢量进行归一化处理。由于共有4×4个子块，因此图像的每个特征点都由4×4×4＝64维特征矢量组成。

采用基于BBF机制的Kd-树算法进行图像匹配：

基于BBF机制的Kd-树算法是标准Kd-树的改进算法，引入了查找优先级的概念。图4为基于BBF的Kd-树检索流程图，首先根据图像提取的特征点数据建立Kd-树，并构建优先级队列，其中优先级队列中记录的都是kd-树节点，同时也是需要回溯的树节点，回溯这些树节点的优先级取决于它们离查询点的距离，距离越近，则优先级越高；将kd-树的根节点压入队列，并检测该树节点表示的空间中是否有更好的最近邻，提出最优先节点，其中当对节点进行搜索时，判断查询点位于分割超面的位置，如果为左侧，就将其右子节点压入优先队列，并检索其左子节点，如果为右侧，就将其左子节点压入优先队列，并检索其右子节点，同时，当某一叶节点被搜索完成后，也会从优先队列中删除，然后继续搜索最近邻节点的其它分支结构；重复前面的步骤直到优先队列为空，并报告当前结果，即树形结构中的相关匹配点。通过上述方法初步得到了两幅待拼接图像的匹配点对。但是图像间仍存在一些误匹配点对，这会使得对求取图像间变换矩阵的参数精度下降，因此还需要对匹配点对进行提纯。

利用随机抽样一致性算法剔除误匹配点对：

为了剔除图像间的错匹配点对，本发明采用鲁棒的随机抽样一致性算法(Random Sample Consensus,RANSAC)[Martin A.Fischler and Robert C.Bolles.Random sample consensus:a paradigm for modelfitting with applications to image analysis and automated cartography.Communications of ACM,1981,24(6):381-395.]，利用匹配点内在约束关系，对匹配点对进行多次提纯，剔除错误的匹配点对。

采用渐入渐出法对图像进行融合，消除拼接缝隙：

图像融合是图像拼接中的关键技术。在采集图像过程中，由于相机拍摄参数设置不同、场景区域光照差异、视野等影响，图像在拼接后往往容易出现色度不均匀的拼接缝合线。本发明采用渐入渐出法进行图像融合消除图像拼接缝隙，设I₁和I₂表示带拼接图像，融合后的图像I_C按下式计算：

$I_C(x,y)=\left(\begin{array}{cc}{I}_1(x,y)& (x,y)\in I_1\\ \lambda \left(x\right)\times I_1(x,y)+(1-\lambda \left(x\right))\times I_2(x,y)& (x,y)\in (I_1\cap I_2)\\ I_2(x,y)& (x,y)\in I_2\end{array}\right)$

其中λ(x)为重叠区域对应像素的权重系数，取值范围为[0,1]，假设第一幅图像在重叠区域的边缘位置为x₀，重叠区域宽度为d，则权重系数按公式： $\lambda \left(x\right)=1-\frac{x-x_0}{d}$进行计算。

通过此步骤，得到拼接后的图像。