一种基于直线特征匹配及约束的图像拼接方法

摘要

本发明涉及计算机视觉图像拼接领域，提供一种基于直线特征匹配及约束的图像拼接方法，包括步骤100，将两幅图像划分为目标图像和参考图像，提取并匹配两幅图像中的特征点，筛选正确的匹配点，提取两幅图像中的特征直线；步骤200，利用点线不变量匹配两幅图像中的特征直线，根据几何关系重构匹配直线邻域内的特征点以增加匹配特征点的数量，最后筛选正确的匹配点；步骤300，估计全局单应性矩阵；步骤400，为目标图像划分均匀网格，构造能量函数的约束项，通过最小化能量函数计算扭曲网格的顶点坐标；步骤500，将扭曲的目标图像与参考图像融合，形成最终的拼接图像。本发明能够在保持全局直线的同时大幅度减少拼接图像的失真情况。

说明书

技术领域

本发明涉及计算机视觉图像拼接领域，尤其涉及一种基于直线特征匹配及约束的图像拼接方法。

背景技术

图像拼接是将多幅图像组合成更大视场的一种方法，是计算机视觉系统中非常重要的应用之一，其广泛应用于摄影测量、机器人导航、无人机视觉和智能手机全景图合成等。在图像拼接过程中，特别是对于大视差的图像拼接，解决伪影失真问题的同时保护图像的直线结构信息是一个巨大的挑战。

最早的图像拼接算法由Automatic Panoramic Image Stitching usingInvariant Features(AutoStitch)开启，它为每个输入图像估计一个最优的全局变换，但是它只适用于理想的近平面场景，同时产生的图像往往会受到局部伪影和投影畸变的影响。在此之后，As-Projective-As-Possible(APAP)将图像划分为密集网格，每个网格都用一个单应性矩阵对齐，叫做局部单应性，但是仍然存在失真、直线结构无法保持等现象。Natural Image Stitching with the Global Similarity(GSP)通过直线对齐约束确定全局相似矩阵的角度选择，用APAP的方法初始化网格，约束项方面同时使用局部相似约束和全局相似约束，多图拼接性能和观感自然度提升，但是拼接过程中直线结构会出现大幅度弯曲现象。Single-Perspective Warps in Natural Image Stitching(SPW)同时强调了单视角变换的不同特征，能量函数包括点对齐项，畸变保护项和显著直线项，但是无法处理局部失真和全局直线保护之间的关系。除此之外还有一些基于拼接缝的图像拼接算法，但是在大视差图像拼接时，都会出现严重的失真现象。

发明内容

为了克服现有图像拼接方法在非重叠区域的失真问题和直线结构保持性较差的问题，本发明提供了一种基于直线特征匹配及约束的图像拼接方法，它可以根据几何关系重构图像中的匹配点，并利用局部直线和全局直线的关系对图像中的显著直线加以保护，丰富了图像的特征，减少拼接图像失真的同时保护了其直线结构，保证了拼接图像的自然性。

本发明提供的一种基于直线特征匹配及约束的图像拼接方法，包括以下过程：

步骤100，将两幅图像划分为目标图像和参考图像，利用SURF方法提取并匹配两幅图像中的特征点，利用RANSAC方法筛选正确的匹配点，利用LSD方法提取两幅图像中的直线；

步骤200，利用点线不变量匹配两幅图像中的直线，然后根据几何映射关系寻找匹配直线对应的邻域内的特征点以增加特征点的数量，最后使用RANSAC方法筛选正确的匹配特征点对，具体过程如下：

步骤201，从步骤100输出的直线中，根据直线的长度为每条直线划分邻域，然后计算目标图像直线和参考图像直线对应的左邻域和右邻域的相似度，根据邻域相似度得到最终的匹配直线集；

步骤202，从步骤201输出的匹配直线中，对每一对匹配直线，分别在其左邻域和右邻域内取匹配特征点，根据匹配特征点构造三角形特征数，将特征三角形上对应位置的点作为特征点对，以此获得更多的匹配点，最后使用RANSAC方法筛选正确的匹配特征点；

步骤300，利用步骤200获得的所有匹配特征点和匹配直线，估计目标图像和参考图像之间的单应矩阵H；

步骤400，为目标图像划分均匀网格，构造能量函数的约束项，通过最小化能量函数计算扭曲网格的顶点坐标；所述约束项包括点线对齐项、畸变抑制项、局部及全局直线保护项；

步骤401，构建目标图像的均匀网格；

步骤402，从步骤201输出的匹配直线、从步骤202输出的匹配点，构造点线对齐项；从步骤300输出的全局单应矩阵H，估计目标图像的旋转角，在目标图像上划分等距水平直线簇和垂直直线簇，在非重叠区和重叠区构造畸变抑制项；

步骤403，从步骤100输出的目标图像中的特征直线，其中部分直线若满足重构条件则将其进行合并，最终根据直线长度将其划分为局部直线和全局直线，据此构造显著直线保护项；

步骤404，通过最小化能量函数计算扭曲网格的顶点坐标；

步骤500，将扭曲的目标图像与参考图像融合，形成最终的拼接图像。

优选的，在步骤201中，计算目标图像直线和参考图像直线对应的左邻域和右邻域的邻域相似度，具体包括：

记从步骤100输出的目标图像中的直线集为

设两邻域对应的直线为l和l′，其关键点分别为

并按照上述方法构造{V′,P′

一组三角形特征数的相似度为：

基点P

该邻域的相似度用N组基点的相似度的最大值计算：

S＝max{S(P

对于两条直线，若其左右邻域的相似度均互为所有直线中的最大值，则认为这两条直线匹配。

优选的，步骤202，从步骤201输出的匹配直线中，对每一对匹配直线，分别在其左邻域和右邻域内取匹配特征点，根据匹配特征点构造三角形特征数，将特征三角形上对应位置的点作为特征点对，以此获得更多的匹配点，最后使用RANSAC方法筛选正确的匹配特征点，具体包括：

记从步骤201输出的匹配直线集为{L

以第j条匹配直线的左邻域为例，在目标图像中对应邻域中随机选定一对点为基点后，从剩余的匹配点中随机选取两对点作为一组，以此法一共可以构造

优选的，步骤403，从步骤100输出的目标图像中的特征直线，其中部分直线若满足重构条件则将其进行合并，最终根据直线长度将其划分为局部直线和全局直线，具体包括：

记从步骤100输出的目标图像中的特征直线集为{l

记两直线的斜率分别为k(l

在合并直线的循环中，我们对每条直线引入flag变量，默认所有直线初始状态flag变量均为0；若直线l

根据局部直线集

优选的，在步骤500之后，还包括：

步骤600，根据残差项、距离项和方向项，评估图像的直线性结构保护效果。

优选的，步骤600，根据残差项、距离项和方向项，评估图像的直线性结构保护效果，具体包括：

记从步骤201输出的匹配直线集为{L

残差项E

对于某直线L

距离项E

方向项E

利用残差项E

有益效果：本发明提出的一种基于直线特征匹配及约束的图像拼接方法，它可以根据几何关系重构图像中的匹配点，丰富了图像的特征，并利用局部直线和全局直线的关系对图像中的显著直线加以保护，尤其是较长的全局直线，直线性保护效果明显，减少拼接图像失真的同时保护了其直线结构，保证了拼接图像的自然性。

附图说明

图1是本发明提供的基于直线特征匹配及约束的图像拼接方法的工作流程图；

图2是利用点线不变量重构六对匹配点的示意图；

图3是重构匹配点效果的示意图；

图4是展示将局部直线合并为全局直线的示意图；

图5是设置显著直线保护项效果的示意图；

图6是残差项、距离项和方向项三种参数用于评估图像直线性的示意图。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

图1是本发明提供的基于直线特征匹配及约束的图像拼接方法的工作流程图。如图1所示，本发明提供一种基于直线特征匹配及约束的图像拼接方法，包括以下过程：

步骤100，将两幅图像划分为目标图像和参考图像，利用SURF方法提取并匹配两幅图像中的特征点，利用RANSAC方法筛选正确的匹配点，利用LSD方法提取两幅图像中的直线；

其中，SURF(Speeded Up Robust Features，高速稳健特征点检测)方法是一种特征点提取算法。RANSAC(Random Sample Consensus，随机抽样一致)方法用于去除SURF方法中存在错误情况的匹配点，使目标图像中每个特征点在参考图像中有且仅有一个特征点与之对应。LSD(Line Segment Detector，特征直线段检测)方法是一种提取图像中特征直线的算法。

步骤200，利用点线不变量匹配两幅图像中的直线，然后根据几何映射关系寻找匹配直线对应的邻域内的特征点以增加特征点的数量，最后使用RANSAC方法筛选正确的匹配特征点对，具体过程如下：

步骤201，从步骤100输出的直线中，根据直线的长度为每条直线划分邻域，然后计算目标图像直线和参考图像直线对应的左邻域和右邻域的相似度，根据邻域相似度得到最终的匹配直线集。

步骤201中，计算目标图像直线和参考图像直线对应的左邻域和右邻域的邻域相似度，具体包括：

记从步骤100输出的目标图像中的直线集为

设两邻域对应的直线为l和l′，其关键点分别为

并按照上述方法构造{V′,P′

一组三角形特征数的相似度为：

基点P

该邻域的相似度用N组基点的相似度的最大值计算：

S＝max{S(P

对于两条直线，若其左右邻域的相似度均互为所有直线中的最大值，则认为这两条直线匹配。

步骤202，从步骤201输出的匹配直线中，对每一对匹配直线，分别在其左邻域和右邻域内取匹配特征点，根据匹配特征点构造三角形特征数，将特征三角形上对应位置的点作为特征点对，以此获得更多的匹配点，最后使用RANSAC方法筛选正确的匹配特征点，具体包括：

记从步骤201输出的匹配直线集为{L

以第j条匹配直线的左邻域为例，在目标图像中对应邻域中随机选定一对点为基点后，从剩余的匹配点中随机选取两对点作为一组，以此法一共可以构造

步骤400，为目标图像划分均匀网格，构造能量函数的约束项，通过最小化能量函数计算扭曲网格的顶点坐标；所述约束项包括点线对齐项、畸变抑制项、局部及全局直线保护项；具体包括步骤401至步骤404：

步骤401，构建目标图像的均匀网格。

步骤402，从步骤201输出的匹配直线、从步骤202输出的匹配点，构造点线对齐项；从步骤300输出的全局单应矩阵H，估计目标图像的旋转角，在目标图像上划分等距水平直线簇和垂直直线簇，在非重叠区和重叠区构造畸变抑制项。

步骤403，从步骤100输出的目标图像中的特征直线，其中部分直线若满足重构条件则将其进行合并，最终根据直线长度将其划分为局部直线和全局直线，。

图4展示了局部直线由于光照、目标物等原因的局限性，存在若干局部直线需要合并成全局直线来处理的情况。本步骤中，记从步骤100输出的目标图像中的特征直线集为{l

记两直线的斜率分别为k(l

在合并直线的循环中，我们对每条直线引入flag变量，默认所有直线初始状态flag变量均为0。若直线l

然后根据局部直线集

步骤404，通过最小化能量函数计算扭曲网格的顶点坐标。

设目标图像为I，参考图像为I′。在I中，记网格变形前的顶点坐标为V，变形后的顶点坐标为

其中，

步骤500，将扭曲的目标图像与参考图像融合，形成最终的拼接图像。

步骤600，根据残差项、距离项和方向项，评估图像的直线性结构保护效果。具体包括：

记从步骤201输出的匹配直线集为{L

残差项E

对于某直线L

距离项E

方向项E

利用残差项E

如图6所示，直线L

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。