基于最优栅格密度模型的全景图像拼接方法

摘要

本发明公开了基于最优栅格密度模型的全景图像拼接方法，用于满足军民领域在大视场监视的用户需求，包括以下步骤：1)获取待拼接的多帧图像；2)根据图像类型进行RGB到YUV空间转换，得到亮度矩阵Y；3)采用特征描述算子提取多帧图像的特征点；4)特征点筛选，剔除不理想特征点；5)建立栅格密度模型，计算多特征最优栅格密度；6)按栅格选取最优特征点；7)计算相邻图像配准的单应性变换矩阵；8)通过单应性矩阵对多帧图像进行拼接处理，并利用渐入渐出方法对相邻图像进行融合，消除拼接缝隙。本发明提供的方法拼接形成的全景图像更加真实地反映了现实场景，避免了拼接错位、锯齿现象明显的问题，拼接图像无缝隙。

说明书

技术领域

本发明属于光电图像处理技术领域，尤其涉及基于最优栅格密度模型的全景图像拼接方法。

背景技术

图像拼接将一组具有重叠区域的低分辨率或小视角图像，经过畸变校正、拼接、融合处理，组合成一幅高分辨率、大视角的全景图像，在军民监视领域得到越来越广泛的应用。在民用领域：典型应用包括大面积、高精度、真实场景地图测绘，医学影像合成，虚拟现实场景的构建，汽车全景驾驶辅助系统等；在军用领域：典型应用包括坦克全景巡视系统；潜艇全景支持系统等。图像拼接根据配准方法主要可以分为三类：第一类是基于相位相关的图像拼接，该类算法将输入图像序列先进行傅立叶变换，利用图像变换后的互功率谱中的相位信息计算图像间的相对位移；第二类是基于几何区域相关的图像拼接，该类算法是通过在图像像素点灰度级上，对输入图像的部分几何子区域进行相关运算来进行匹配，从而完成图像拼接；第三类是基于特征的图像拼接，该类算法首先提取输入图像的特征，然后通过特征匹配，来完成图像配准，从而完成图像拼接。现有全景图像拼接技术存在以下缺点：(1)大视场拼接时，全景图像失真严重；(2)全景图像局部区域拼接错位，锯齿现象明显；(3)相邻图像存在拼接缝隙，图像色差突出。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供基于最优栅格密度模型的全景图像拼接方法，有效提升图像拼接的成功率。

为了解决上述技术问题，本发明公开了一种基于最优栅格密度模型的全景图像拼接方法，具体步骤如下：

步骤1，获取待拼接的多帧图像，相邻帧图像间具有重合区，将具有重合区域的相邻两张图像划分为一组，标记为图像I

步骤2，根据图像类型对每组中的两幅图像进行RGB到YUV空间转换，得到亮度矩阵Y；常见图像类型包括彩色或灰度类型，根据图像类型采用不同方法获取图像亮度矩阵；

步骤3：选取N种特征提取算子，分别对图像I

步骤4：选取一种具备缩放、旋转、扭曲不变性的特征描述子，对特征点集合中所有点进行描述，每个特征点表征为一个特征向量，利用最近邻匹配法为P

步骤5：建立栅格密度模型，栅格数量为M，统计P′

步骤6：制定特征点提取策略，对每个栅格内特征点进行二次筛选，获得相邻图像的特征点集合；

步骤7：利用相邻图像匹配点对，计算相邻图像配准的单应性变换矩阵H；

步骤8：通过单应性变换矩阵H将待匹配图像的像素投射到参考图像，完成图像拼接，并利用渐入渐出的图像融合算法对相邻图像进行融合，消除拼接缝隙。

在一种实现方式中，步骤1包括：

获取待拼接的多帧图像，相邻帧图像间具有重合区，将具有重合区域的相邻两张图像划分为一组，对各组图像进行后续图像拼接操作。

在一种实现方式中，步骤2包括：

步骤2-1：图像类型是指彩色或灰度，判断是否为彩色图像；

步骤2-2：如果是灰度图像，直接将灰度值赋值给亮度矩阵Y；

步骤2-3：如果是彩色图像，进行RGB到YUV空间转换，亮度矩阵Y的转换方程为，

其中，Y是YUV空间的亮度分量，R、G、B分别为RGB空间的红色、蓝色和绿色分量。

在一种实现方式中，步骤3包括：

步骤3-1：选取N种特征提取算子，N≥3。

步骤3-2：分别利用已选取的N种特征提取算子对同组内两幅图像的Y通道(亮度矩阵Y)进行特征点提取，图像I

步骤3-3：对同一图像的所有特征点集合进行合并，得到两幅图像的特征点总集合P

各类特征提取算子的图像旋转、模糊、尺度变换等鲁棒性不同，选用N种鲁棒性互补的算子进行特征点提取能够更好应对不同场景图像拼接需求，提取更多有效的特征点，为实现较好的拼接效果提供基础。

在一种实现方式中，步骤4包括：

步骤4-1：选取一种具备缩放、旋转、扭曲不变性的特征描述子，分别对两幅图像的特征点总集合P

步骤4-2：采用最近邻匹配法，通过步骤4-1中将特征点描述为特征向量的方式计算P

步骤4-3：设定匹配阈值R

选用多种算子的特征点提取方法需要配合有效的特征点筛选方法，否则会因为无效特征点过多导致单应性变换矩阵计算过程收敛性差，无法得到较好的图像间对应关系。本步骤中采用最优匹配点和次优匹配间的的距离比率的方法筛选匹配点对的方法能够有效筛选出匹配程度较高的特征点对。

在一种实现方式中，步骤5包括：

步骤5-1：将每组内的两幅图像重叠区域划分为M个W×H的栅格，W、H分别是栅格的宽度和高度；

步骤5-2：统计每组内图像I

步骤5-3：统计M个栅格的总质量Q，当Q>M×t时，特征点分布满足最优栅格密度要求，执行步骤6，其中t为质量阈值，否则，调整匹配阈值R

本步骤中采用栅格方式来统计特征点的区域分布，设计栅格质量来量化表达该区域被表述的充分程度，总质量能够有效反映出特征点在图像重合区内的分布情况；采用调整匹配阈值R

在一种实现方式中，步骤6包括：

步骤6-1：遍历所有栅格，当栅格中特征点数量k

步骤6-2：对图像I

本步骤中设计的栅格中特征点选择方法，能够在保证特征点有效的前提下最大程度实现特征点在图像重合区内均匀分布，使各个栅格区域在图像匹配过程中占有足够的权重。

在一种实现方式中，步骤7中所述相邻图像配准的单应性变换矩阵根据匹配点集合P

其中，h

在一种实现方式中，步骤8包括：

步骤8-1：通过单应性变换矩阵H将待匹配图像的像素投射到参考图像，完成图像拼接，参考图像和待匹配图像像素点满足如下公式：

其中，(x

步骤8-2：根据渐入渐出的图像融合算法对相邻图像重合区域进行融合，渐入渐出权值Coe表达式如下所示：

其中，L是重合区最左侧一列像素在原图中的列数，R是重合区最右侧一列像素在原图中的列数，j是重合区像素点在原图像中的列数，所述原图指相邻两幅图像中的任一幅图像。

采用像素点在重合区域的相对位置计算在融合过程中的权重能够平衡左右图像间的色彩差异和图像过渡区域的色彩变化，使拼接图像最大程度保持平滑，符合人眼观感。

有益效果：

(1)利用多帧图像进行180度甚至360度拼接时，有效抑制单特征点匹配不准引起的图像失真问题，拼接形成的全景图像更加真实地反映了现实场景；(2)采用最优栅格密度模型合理选择图像区域特征点，避免局部区域特征点少甚至不存在引起的拼接错位、锯齿现象明显的问题，解决了现有技术图像拼接过程存在的匹配点分布不均匀影响特征信息准确度而造成拼接成功率低的问题；(3)利用渐入渐出方法对相邻图像进行色差消除，达到拼接图像无缝隙，自然过渡的目的。本申请实施例提供的方法能够满足军民领域在大视场监视的用户需求

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1为本申请实施例提供的方法的流程示意图。

图2为通过本申请实施例提供的方法获得的某民航机场全景图像拼接效果图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本发明公开了基于最优栅格密度模型的全景图像拼接方法，以机场塔台全景为例，具体实施过程如下：

步骤1：获取待拼接的多帧图像

采用可见光高清相机获取待拼接的8幅3840×2160分辨率图像，相邻帧图像间具有重合区约300×2160像素，将具有重合区域的相邻两张图像划分为一组，对各组图像进行后续图像拼接操作，以一组图像为例，图像记为I

步骤2：获取图像亮度图Y

判断图像类型为彩色图像或灰度图像，若为灰度图像，则Y

如果是彩色图像，进行RGB到YUV空间转换，转换方程为，

其中，R、G、B分别为彩色图像空间的红色、蓝色和绿色分量。

步骤3：获取图像特征点集合P

选取Surf、Fast、Harris三种特征提取算子作为特征点提取算法，Surf提取算子对尺度、角度旋转等变化不敏感，Fast提取算子对角点检测具有出众的优势，Harris提取算子对亮度和对比度的变化不敏感，三者的结合能够有效应对拼接场景中常见的拍摄角度变化、光照色差大、标志物缺少等问题；

利用Surf算子对Y

利用Fast算子对Y

利用Harris算子对Y

对同一图像的所有特征点集合进行合并，得到两幅图像的特征点总集合P

步骤4：筛选特征点，获取筛选后特征点集合P

选择BRIEF的算子作为特征描述子，对P

采用最近邻匹配法，通过步骤4-1中将特征点描述为特征向量的方式计算P

根据已设定匹配阈值R

步骤5，建立栅格密度模型，判定特征点是否满足最优分布。

步骤5-1：将相邻图像重叠区域划分为10个大小相同的W×H的栅格，W、H分别是栅格的宽度和高度，本实施例中，W取300列，H取216行；

步骤5-2：统计每组内图像I

步骤5-3：统计10个栅格的总质量Q，当Q>10×t时，特征点分布满足最优栅格密度要求，本实施例中，t＝0.8，执行步骤6，否则，调整匹配阈值最R

步骤6：按栅格选取最优特征点。

步骤6-1：遍历所有栅格，当栅格中特征点数量有X个以上时，将栅格中特征点按步骤4-2中距离比率R由小到大排序，提取该栅格中前X个特征点，当栅格中特征点数量不足X时，提取该栅格中所有特征点；本实施例中，X＝8。

步骤6-2：对图像I

步骤7：利用匹配点集计算变换单应变换矩阵，相邻图像配准的单应性变换矩阵根据匹配点集合P

步骤8：通过单应性变换矩阵完成图像拼接，并消除拼接缝隙。

步骤8-1：通过单应性变换矩阵H将待匹配图像的像素投射到参考图像，完成图像拼接，参考图像和待匹配图像像素点满足如下公式：

其中，(x

步骤8-2：根据渐入渐出的图像融合算法对相邻图像重合区域进行融合，渐入渐出权值Coe表达式如下所示：

其中，L是重合区最左侧一列像素在原图中的列数，R是重合区最右侧一列像素在原图中的列数，j是重合区像素点在原图像中的列数，所述原图指相邻两幅图像中的任一幅图像。

如图2所示为采用本实施例提供的方法获得的某民航机场全景图像拼接效果图，由图可以看出拼接形成的全景图像更加真实地反映了现实场景，避免了拼接错位、锯齿现象明显的问题，拼接图像无缝隙。

本发明提供了基于最优栅格密度模型的全景图像拼接方法，具体实现该技术和系统方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。