一种基于YUV色彩空间的图像快速拼接方法

摘要

本发明公开了一种基于YUV色彩空间的图像快速拼接方法，针对行车机构平面运动的特性建立了像素映射方程，结合编码器获取的相机位置和深度相机获取的图像深度建立像素映射表，从而实现图像像素在不同视角之间的快速变换；将像素映射方程由单个像素推广到了矩阵形式，从而可以对整张图片或者多张图片进行并行映射，可以实现大场景，多数量图片的快速拼接，针对图像拼接过程中，针对直接使用加权平均进行图像融合可能存在拼缝的问题，在保证图像拼接效果的同时，缩短了图像拼接的时间。

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于YUV色彩空间的图像快速拼接方法。

背景技术

目前主流的全景图片拼接流程都是采用相机图片进行特征匹配的方法进行全景图片拼接。在专利“一种基于SIFT特征的传送带表面物体图像拼接方法”(专利号：202110329935.4)中，使用SIFT特征进行匹配进行拼接；在专利“一种基于端到端神经网络的多路图片拼接方法”(专利号：202010553739.0)中，使用神经网络去估计图像特征和最优单应性矩阵，从而实现图像拼接。在专利“一种基于深度学习的手机实时全景拍摄方法”(专利号：202111269335.X)中也是使用SIFT特征去进行图像拼接。

但是，目前基于图像特征拼接的方法有三个问题：一是如果环境纹理和颜色信息比较简单，可能获取不到足够多很好的特征，造成特征匹配失败；二是特征的计算和匹配也很耗时；三是特征点匹配计算的单应性矩阵会造成累积误差。当然可以通过BA优化的手段去消除累积误差，但是当图像数量很多时，拼接图像的耗时将会很长。

在专利“全景视频快速拼接方法及系统”(专利号：201911001401.8)则利用了相机平移距离相对于拍摄物体距离可忽略不计的特性，提出了一种全景快速拼接方法，但是这种拼接方法在行车运动的场景下，相机的平移距离不可以忽略，所以这种拼接方法不适用。

鉴于此，实有必要提供一种新型的基于YUV色彩空间的图像快速拼接方法以克服上述缺陷。

发明内容

本发明的目的是提供一种基于YUV色彩空间的图像快速拼接方法，实现图像像素在不同视角之间的快速变换并进行并行映射，可以实现大场景，多数量图片的快速拼接融合。

为了实现上述目的，本发明提供一种基于YUV色彩空间的图像快速拼接方法，包括如下步骤：

S1：控制行车的运动机构对待拼接场景进行全局扫描，采集同一时刻相机位置t、RGB图像数据、深度图像数据，通过相机外参和相机内参将深度图数据映射到RGB图像中，得到每一个像素的深度值z；

S2：利用像素映射方程将所有图片的像素转换到初始视角的图片像素；

S3：对所有变换后的RGB值进行融合得到拼接的全景图像；

优选的，步骤S2还还包括步骤S21：利用三角测量原理得到同一个点在两个不同像素位置的关系为：

其中，P

P

K是相机内参；R是相机的旋转向量，t是相机的位置平移向量，

相机的旋转向量R是一个单位矩阵，相机深度z1＝z2，像素映射方程可以变为：

将像素映射方程变为：

P

通过上述P

diag(z

对于同一张图片来说，n行的值相同，将映射方程变成矩阵形式之后使用GPU对图像像素变换并行映射，

如果需要对m张图片进行并行映射，则使用像素映射方程：

P

通过像素映射方程得到的是初始视角的图片像素和其他相机视角位置图片像素的一个映射关系，通过这个映射关系将其他相机视角位置图像的RGB图像变换到初始视角下的相机图像，

RGB_origin[P

其中P

优选的，步骤S3还包括步骤S31：将经过转换到的初始视角的图片像素的图像作为待拼接图像，将得到的全景图像和待拼接图像分别转成灰度图，并进行二值化，通过按位与操作得到重叠区域的图像；

将初始视角的全景图片重叠区域和待拼接图像重叠区域的RGB值分别转到YUV色彩空间，计算初始视角的全景图片和待拼接图像重叠区域Y分量比值的亮度系数k，亮度系数：

其中，YUV

将待拼接图像转到YUV色彩空间，并对所有像素的Y分量都乘以这个k系数，YUV

将待拼接图像从YUV色彩空间转回RGB空间，将待拼接图像直接拷贝到全景图片对应的像素上，得到融合拼接的全景图像。

与现有技术相比，有益效果在于：1)针对行车机构平面运动的特性建立了像素映射方程，结合编码器获取的相机位置和深度相机获取的图像深度建立像素映射表，从而实现图像像素在不同视角之间的快速变换。

2)本发明将像素映射方程由单个像素推广到了矩阵形式，从而可以对整张图片或者多张图片进行并行映射，可以实现大场景，多数量图片的快速拼接。

3)本发明针对图像拼接过程中直接使用加权平均进行图像融合可能存在拼缝的问题，在保证图像拼接效果的同时，缩短了图像拼接的时间。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明提供的基于YUV色彩空间的图像快速拼接方法的流程图。

图2为本发明实施例的场景示意图。

图3为本发明实施例的像素投影的原理图。

图4为本发明实施例的图像拼接融合示意图。

具体实施方式

为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。

请参阅图1，本发明提供一种基于YUV色彩空间的图像快速拼接方法，包括如下步骤：

S1：控制行车的运动机构对待拼接场景进行全局扫描，采集同一时刻相机位置t、RGB图像数据、深度图像数据，通过相机外参和相机内参可以将深度图数据映射到RGB图像中，得到每一个像素的深度值z。

S2：利用像素映射方程将所有图片的像素转换到初始视角的图片像素；

如图3所示，利用三角测量原理得到同一个点在两个不同像素位置的关系为：

其中，P

P

K是相机内参；R是相机的旋转向量，t是相机的位置平移向量。

由于行车的运动机构是在平面内运动，相机的旋转向量R是一个单位矩阵，相机深度z1＝z2，像素映射方程可以变为：

为了提高像素映射的速度，将像素映射方程变为：

P

通过上述P

diag(z

对于同一张图片来说，n行的值相同，将映射方程变成矩阵形式之后就可以使用GPU对图像像素变换并行映射，提高映射速度。

如果需要对m张图片进行并行映射，则可以使用像素映射方程：

P

通过像素映射方程得到的是初始视角的图片像素和其他相机视角位置图片像素的一个映射关系，通过这个映射关系将其他相机视角位置图像的RGB图像变换到初始视角下的相机图像。

RGB_origin[P

其中P

S3：对所有变换后的RGB值进行融合得到拼接的全景图像。

S4：经过S2后转换到的初始视角的图片像素的图像作为待拼接图像，

将S3中得到的全景图像和待拼接图像分别转成灰度图，并进行二值化，通过按位与操作得到重叠区域的图像；

将初始视角的全景图片重叠区域和待拼接图像重叠区域的RGB值分别转到YUV色彩空间，计算初始视角的全景图片和待拼接图像重叠区域Y分量比值的亮度系数k，亮度系数：

其中YUV

将待拼接图像转到YUV色彩空间，并对所有像素的Y分量都乘以这个k系数，YUV

最后将待拼接图像从YUV色彩空间转回RGB空间，将待拼接图像直接拷贝到全景图片对应的像素上，得到全景拼接融合结果。

如图2所示，图中的小车可以在XY平面内运动，RGB相机和深度相机都是安装于小车上；RGB相机和深度相机都是垂直于运动平面向下安装。初始小车位置位于原点O处，此时相机视角位于c1位置(如图3所示)，经过在在X方向上运动一个位置x

为了表达像素映射的过程，此处假设c2位置的图片由两个像素组合，那么

假设x

那么，利用像素映射公式就可以把c2视角下的图像变换到c1视角下

；上面计算结果说明c2视角下像素位置(1，1)和c1视角下(364.5，364.75)存在映射关系，c2视角下像素位置(2，1)和c1视角下(365.5，364.75)存在映射关系，将c2视角下的图片像素值按照这个像素映射表进行变换，得到c1视角下图片，接下来就进入图片融合环节。

如图4所示，假设初始视角的全景图片为A，待拼接图像为C

将A图像和C图像分别转成灰度图，并进行二值化，得到

将初始视角全景图片重叠区域B1和待拼接图像重叠区域B2的RGB值分别转到YUV空间。计算初始视角全景图片和待拼接图像重叠区域Y分量比值的亮度系数k，亮度系数：

例如当YUV

将待拼接图像C转到YUV空间，并对所有像素的Y分量都乘以这个k系数，YUV

例如当

最后将待拼接图像C从YUV空间转回RGB空间，并将图像C直接拷贝到图像A对应的像素上，得到融合拼接的全景图像。

本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的示例。