基于最佳缝合线自选区域渐入渐出算法的图像拼接方法

摘要

本发明涉及一种基于最佳缝合线自选区域渐入渐出算法的图像拼接方法。本发明通过使用sift算法对目标图像以及参考图像分别进行特征点提取，建立特征描述子集合，利用比较最近邻距离与次近邻距离的匹配方式得到初始匹配结果，对初始匹配结果使用RANSAC算法剔除外点保留内点完成图像配准；使用改进的基于最佳缝合线的渐入渐出融合算法进行图像融合，包括使用动态规划的方法寻找最佳缝合线，根据最佳缝合线限定融合范围，最后使用渐入渐出融合算法在限定融合范围内进行融合，完成图像拼接。本发明较好的解决了图像拼接结果不自然，存在拼接缝的问题，增强了图像结果，可用于图像拼接中。

说明书

技术领域

本发明涉及图像处理领域，特别涉及到一种基于最佳缝合线自选区域渐入渐出融合算法的图像拼接方法。

背景技术

随着信息时代的发展与进步，拍摄设备越来越智能化与便利化，人们能更方便地获得海量图像。但是在日常生活中，普通相机的拍摄角度远远达不到人类视角。为了应对人们对于大场景图像日益增加的需求，图像拼接技术得到了广泛的应用。图像拼接是指将一系列的有重叠区域的小视角，低分辨率图像，经过一定的图像配准与融合技术，生成一张具有高分辨率的，大视角的全景图像，该图像包含之前所有系列图像的全部信息。目前，图像拼接技术在民用，军事等领域得到了广泛的应用，例如：虚拟现实，医学全景图像，汽车驾驶辅助系统，遥感图像处理等具体应用方面。

图像拼接过程可总结为三大部分：图像预处理、图像配准及图像融合，每一部分都关系着最后拼接效果的好坏。尽管图像拼接技术已经研究了多年，图像拼接中的图像配准技术已经比较成熟，但是图像模糊和存在拼接缝问题却一直是图像拼接中的难点。拼接图像的重叠区域可能会出现因过渡不均匀现象导致的拼接缝，以及在进行透视变换后图像像素点值变小导致图像模糊的问题，这些问题直接影响拼接结果图的质量，不利于后续的图像解释、处理和分类。因此选择合适的重叠区域融合算法，有助于生成结构清晰、过渡自然的无缝拼接图像。

发明内容

为了解决现有技术中存在的有拼接缝，效果不自然以及图像变换后失真的技术问题，本发明提供一种新的基于改进图像融合的拼接方法。

在现有的图像拼接技术的基础上本发明进行两部分优化：

(1)采用掩模板矩阵，利用内核实现对图像的卷积运算，增强图像。

针对经透视变换后，图像像素点值变小导致图像模糊，失真问题，选取掩模板矩阵[[0,-1,0],[-1,5,-1],[0,-1,0]]，利用内核实现对图像的卷积运算，增强图像。

(2)沿最佳缝合线自选融合区域，采用渐入渐出算法对缝合线两侧的融合区域图像进行融合处理。

人们对图像的边缘信息比较敏感，需对缝合线周围颜色过渡明显的区域进行融合处理使其达到较好的效果。通过对渐入渐出融合算法进行改进，本发明提出基于最佳缝合线的渐入渐出融合算法，限定融合区域，有效地消除拼接过程中产生的伪影和拼接缝。

本发明方法的具体步骤是：

步骤1：对获取到的待拼接图像A，B进行预处理，统一图像大小。使用sift算法对目标图像以及参考图像分别进行特征点提取，建立特征描述子集合。

步骤2：使用KNN匹配算法进行特征点匹配，利用Lowe’s算法进行筛选，将得到的匹配对作为初始匹配的结果，对初始匹配结果使用RANSAC算法剔除外点保留内点。

步骤3：计算目标图像及参考图像间的仿射变换矩阵H，对经透视变换后的图像进行锐化处理。

步骤4：使用动态规划的方法寻找最佳缝合线，沿最佳缝合线生成一个条带形融合区域，采用渐入渐出法对选定的融合区域图像进行融合处理，完成图像拼接。

本发明的有益效果：

效果一：利用内核实现对图像的卷积运算，增强图像，有效地解决了经透视变化后图像的失真问题；

效果二：沿最佳缝合线自选融合区域，采用渐入渐出算法对缝合线两侧的融合区域图像进行融合处理，有效地消除了图像拼接过程产生的拼接缝问题，消除了伪影。无论是从图像融合评价指标还是视觉效果上来看，都提高了图像质量。

附图说明

图1是本发明的流程示意图。

图2是实施例中一张测试图像。

图3是实施例中一张待配准图像。

图4是经筛选后的图片粗配准结果。

图5是经RANSAC算法消除误匹配后的配准结果。

图6是图像经透射变换后结果示意图。

图7是最佳拼接缝结果示意图。

图8是直接渐入渐出算法的拼接结果示意图。

图9是拉普拉斯融合算法的拼接结果示意图。

图10是本实施例中改进后基于最佳缝合线渐入渐出融合算法的拼接结果示意图。

具体实施方式

下面结合案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施仅仅用于解释本发明，并不用于限定本发明。

本实施例所处理的图片如图2，图3所示，包括一张目标图像和一张参考图像。两张图像是对同一大场景进行两个角度的拍摄，两张图有公共部分。

本实例提供一种改进图像融合的图像拼接方法，见图1，所述方法包括：

步骤1：对获取到的待拼接图像A，B进行预处理，统一图像大小。使用sift算法对目标图像以及参考图像分别进行特征点提取，建立特征描述子集合。使用sift算法进行特征点提取的优势在于：sift算法对于图像的旋转变换、尺度缩放、亮度变化保持不变，对视角变化、仿射变换、噪声也保持一定程度的稳定性。

步骤2：使用KNN匹配算法进行特征点匹配，利用Lowe’s算法进行筛选，将得到的匹配对作为初始匹配的结果，对初始匹配结果使用RANSAC算法剔除外点保留内点。筛选匹配点的具体操作为：

S1：取一幅图像中的一个sift特征点，在另一幅图像中找到与该特征点欧式距离最近的两个特征点；

S2：在这两个特征点中，如果最近的距离除以次近的距离得到的比率ratio小于阈值T-0.6，则接受这一对匹配点。经筛选后的图片配准结果如图4所示；

S3：对得到初始匹配点结果，使用RANSAC算法剔除外点保留内点。在特征点对集合中随机抽取4对特征点，采用最小二乘法求解变换参数，利用前面选取的4对特征点来求解出图像几何变化矩阵H。图5为RANSAC算法排除错误匹配后配准结果。

步骤3：计算目标图像及参考图像间的仿射变换矩阵H，对经透视变换后的图像进行锐化处理。处理方式包括：

采用透视变换，将图片投影到一个新的视平面。在齐次坐标系下，二维平面上的透视变换具体可用下面的非奇异3x3矩阵形式来描述，即：

其中，参数矩阵H就是单应性矩阵，描述了不同坐标系下图像之间存在的运动关系，也可以间接反映相机的运动模式。图像透视变换实例如图6所示。

为了能够更好突出处理后视图图像的清晰程度，增强被模糊的细节层次，作为优选，进一步地，本发明对目标视图图像和透视变换后图像进行了锐化处理，根据Laplacian算子，在该算子原有的基础上，对模板系数进行变形，选取掩模板矩阵[[0,-1,0],[-1,5,-1],[0,-1,0]]，利用内核实现对图像的卷积运算，该矩阵可以将中心像元上下左右四邻点值相加的负数，加上中心像元值的五倍，可以突出亮度值突变的位置，达到使图像的边缘、轮廓线以及图像的细节变得清晰的效果，增强了图像。

步骤4：使用动态规划的方法寻找最佳缝合线，沿最佳缝合线生成一个条带形融合区域，采用渐入渐出法对选定的融合区域图像进行融合处理，完成图像拼接。处理方式包括：

(A)建立最佳缝合线求解准则为

其中E

E

其中，S

(B)在重叠区域内，图像中第一行的每一个像素点作为一条缝合线的起始点，准则值作为强度值。

(C)继续向下一行进行搜索，搜索方向分别为每一条缝合线当前点正下方、左下方45度和右下方45度，利用最佳缝合线准则，比较这3个点的准则值和当前点的两个相邻点的准则值，准则值最小的像素点更新为当前点。

(D)若搜索到重叠图像的最后一行的点，则进行步骤E)，否则返回步骤C)，继续进行下一次搜索。

(E)所有缝合线中，选择强度值最小的缝合线作为最佳缝合线。

通过本步骤找到的最佳缝合线如图7所示。

本实施例对融合的区域进行限制，确定融合区域具体步骤为：

(a)计算最佳缝合线的最小外接矩阵的左边界start，右边界end，根据最佳缝合线的位置来确定限定的融合区域S；

(b)每一行的缝合线的当前点x与重合区域的中点mid进行比较，选取缝合线当前点离两个边界处较短距离的长度为当前行融合限定范围d，限定的边界为[x-d,x+d]；

(c)根据每一行的d确定融合区域范围S，通过遍历，一般来讲，是一个不规则区域。

进一步地，根据渐入渐出融合算法在融合区域内进行融合。

重合区域中在确定的融合区域S内，设置待融合图像A，B的像素点值为I

I(x,y)＝ω

其中，

式子

在重叠区域中非融合区域范围内，判断其在缝合线的左侧还是右侧，若在左侧，则该像素点为左图的像素点I

图像融合的客观评价标准就是通过计算图像的统计参数来获得客观的量化指标。为了验证本实施例提出的改进算法的有效性，添加图像融合的质量评价标准来对改进融合算法和传统的加权融合算法进行对比。本实施例主要从图像的空间频率(SpatialFrequency)、标准差(STD)和信息熵(Entropy)三个方面来进行融合质量评价。

表1为传统加权平均融合与本实施例中改进融合方法的结果对比示意图。

本实施例算法的空间频率，标准差和信息熵均比现有的融合算法的数值高。说明改进融合算法获得的图像质量更好，清晰度更高，更符合实际需求。

图8，图9，图10分别为直接渐入渐出算法，拉普拉斯融合算法和本实施例中改进后基于最佳缝合线自选区域渐入渐出算法的拼接结果图。可以看到直接渐入渐出算法的结果中由于直接对重合区域进行融合，产生了伪影。而本发明所提出的基于最佳缝合线自选区域渐入渐出融合算法，拼接效果好，图像清晰，平滑，没有产生伪影。