一种视频融合中基于行的硬件缝合方法

摘要

本发明属于数字视频技术领域，具体为一种视频融合中基于行的硬件缝合方法。对于一个普适的视频拼接应用，需要执行获取、投影、匹配、缩放和旋转、校正、缝合、拼接、输出等一系列操作；其中，缝合操作是极为关键的一步。本发明首先计算第1行内重叠部分所有对应像素的绝对差，取绝对差值最小的一对像素点的位置作为缝合线的起点，然后依据计算第2行直至最后1行的在[ i

说明书

技术领域

本发明属于数字视频处理技术领域，具体涉及一种适用于视频融合的基于行的硬件缝合方法。

背景技术

随着电子多媒体的长足发展，人们对于宽屏乃至全景视频的需求也越来越旺盛。不管是看电影、玩游戏、还是视频会议、车载监控，人们都在追求更宽更大的视频体验。这种追求来源于宽屏全景能够提供普通视频所不能提供的沉浸式体验。在沉浸式的体验中，从情感上，人们能够更为身临其境地感受视频的氛围；从功能上，人们能够从视频中获取更多的信息。

为了实现宽屏乃至全景，传统的方法是利用广角镜头进行拍摄。但这种方法会不可避免地引入至少以下三种问题。其一、由于拍摄范围过大所导致的细节分辨率下降；其二、由于广角镜头所引入的边缘扭曲甚至畸形；其三、昂贵的镜头和摄像机费用。

作为广角镜头的候选方法，视频拼接慢慢地为人们所关注。该方向致力于从若干个分辨率较低的摄像头中获取源视频，通过拼接处理，从而产生出一个分辨率较高的融合后视频。由于每个摄像头只用于拍摄拼接后视频中的一部分区域，因此细节分辨率较高；普通镜头避免了广角引入的畸变；而由于实际使用的摄像头分辨率较低，因此成本相较低廉（此处并未考虑拼接成本）。

对于一个普适的视频拼接应用，如图1所示，需要执行以下操作：

1、获取，包含了对于处理前视频的格式转换乃至视频解码；

2、投影，实际上，摄像头在摄影过程当中隐式地包含了由三维空间到二维空间的投影，这一投影会或多或少地导致边界处的扭曲以及相对于视频中心的失配。为了更好地进行匹配操作，需要将视频投影到一个更为合适的平面上，例如一个圆柱面，以减少扭曲或者失配所引入的影响；

3、匹配，利用SIFT、SURF或者其他算法，寻找视频间的特征点，并生成对应的转换矩阵和相对位移；

4、缩放和旋转，根据转换矩阵完成对于视频的缩放和旋转操作；

5、校正，消除由于摄像头之间的失配所导致的色差；

6、缝合，在被拼接视频中寻找最佳的缝合线；

7、拼接，沿着缝合线拼接视频；

8、输出，包含了对于处理后视频的格式转换乃至视频编码。

缝合的优劣和执行速度直接影响了后续的拼接操作，进而影响了视频融合的效果和性能。

本发明可以有效地减少硬件实现下对于缝合线的搜索时间，提高缝合线的质量，从而高效地实现数字视频的实时融合操作。

发明内容

本发明的目的在于提出一种可以克服现有技术不足的、能有效进行视频融合中硬件缝合的方法，以有效地减少硬件实现下对于缝合线的搜索时间，提高缝合线的质量，从而高效地实现数字视频的实时融合操作。 

本发明提出的视频融合中硬件缝合的方法，是基于行进行的。首先，依据公式（1）计算第1行内重叠部分所有对应像素的绝对差，取值最小的一对像素点的位置作为缝合线的起点，并记为i₁：

  （1）

其中，i是像素所处的列坐标，j是像素所处的行坐标，以视频源重叠的部分作为起点，d_i,j是重叠部分第j行第i列的对应像素的绝对差，B^ov_1,i,j和B^ov_2,i,j分别是第1个视频源和第2个视频源重叠部分第j行第i列的像素，而所谓重叠部分指的是两个视频源所拍摄到的相同的一部分镜头，需要在融合时合并为一个镜头，m是重叠部分的总列数。

接着，依据公式（2）计算第2行直至最后1行的在[i_j-1-2,i_j-1+2]范围内的所有对应像素的绝对差，取差最小的一对像素点的位置作为该行的缝合点，并根据当前行数j记为i_j

  （2）

其中，i是像素所处的列坐标，j是像素所处的行坐标，以视频源重叠的部分作为起点，d_i,j是重叠部分第j行第i列的对应像素的绝对差，B^ov_1,i,j和B^ov_2,i,j分别是第1个视频源和第2个视频源重叠部分第j行第i列的像素，n是重叠部分的总行数。

最后，将缝合线的起点i₁和后续的缝合点i₂，i₃，i₄，……，i_n连接，即可得到缝合线。

上述算法通过计算重叠区域第一行中所有对应点的绝对差以得到缝合线的最佳入口，接着通过计算下一行中与该入口相邻的点的绝对差来决定下一行的缝合点，直到处理完最后一行。在硬件实现时，可以：

（1）降低带宽占用，本算法的处理单位为行，完成对于当前行的搜索之后，当前的缝合点能够立即产生，不需要重复读入图像数据。基于这个原因，融合操作也能够随即执行，再次省去了一次读入操作。两相结合之下，省下了大量的数据带宽；

（2）减少存储空间，为了得到缝合点，本算法的中间变量只有i_j-1，不需要记录所有入口所对应的最小累积方差；

（3）易于扩展，本方法中的判别标准，即对于d_i,j的计算可以从单点的绝对差进一步升级为使用多点的绝对差，并取值最小的多个像素点的中心作为缝合点或缝合线的起点，如公式（3）所示的3点的绝对差：

    （3）。

本方法中，对于第2行直至最后1行中缝合点的搜索范围也可以从从[i_j-1-1,i_j-1+1]扩展到更多的点，比如[i_j-1-2,i_j-1+2]，那么，公式（2）将变形为公式（4）：

   （4）

而在搜索的过程中，为了避免缝合线向左和向右偏斜的倾向，对绝对差的计算过程需要从搜索范围的中心开始向两边辐射，直到搜索完所有的点。具体地，如果搜索范围为[i_j-1-2,i_j-1+2]，那么首先中间变量d_min记录i_j-1点所对应的绝对差，本行的缝合点i_j记录为i_j-1，亦即上一行的缝合点；接着搜索i_j-1-1点所对应的绝对差，仅当该绝对差小于d_min时，将d_min记录为该绝对差，i_j记录为当前位置i_j-1-1；以此类推，依次搜索i_j-1+1，i_j-1-2，i_j-1+2。最终得到当前行的缝合点，并作为下一行缝合点搜索范围的中心点。如果按照从左到右依次搜索的顺序，且当该绝对差等于d_min时，更新i_j为当前位置i_j-1-1，那么缝合线会向右偏斜；如果按照从左到右依次搜索的顺序，且当该绝对差等于d_min时，不更新i_j，那么缝合线会向左偏斜。其中向左倾斜的情况和使用本方法从中间交替向两边搜索的情况都如图2所示。

最后，在视频源重叠的部分较小（如重叠范围近似等于拼接范围的两倍）的情况下，本方法包含了对于缝合线到重叠部分中心的最远距离的设置，即当搜索范围中的若干点超出了这一距离，就不对这些点进行搜索。为了阐述这一问题，需要结合图3中的以下概念：

（1）重叠范围：指被拼接视频重叠部分宽度的一半；

（2）搜索范围：指缝合线离重叠部分中心线的最远距离；

（3）拼接范围：指沿着缝合线进行拼接的距离。

显然应该有“融合范围+搜索范围≤重叠范围”，否则将不存在足够的数据进行拼接操作。而在传统的算法中，并没有对上述三个变量设置约束。在某些情况下，缝合线会极为远离中心线，导致可供融合的余量变得很小。如果这种情况发生了，很有可能会在融合后的视频中出现一条肉眼可观测的“融合线”。因此，本方法在重叠区域较小的情况下，为搜索范围添加了一对搜索边界，即当搜索范围中的若干点超出了这一距离，就不对这些点进行搜索，从而为拼接操作留有足够的余量。

附图说明

图1：普适的视频融合流程。

图2：不同的搜索顺序和可能的结果。

图3：缝合过程中的相关概念。

具体实施方式

下面通过实例并结合表格，进一步具体描述本发明方法。 

假设某对视频源的某一帧图像中重叠部分的前三行如下表所示：

采用三点的绝对差作为判断标准对第1行进行搜索有：

得到第0点为缝合线起点，采用单点的绝对差作为判断标准，并在[i_j-1-2,i_j-1+2]的范围内搜索第2行有：

由于搜索和更新顺序为0，-1，1，-2，2，且绝对差相等时不更新缝合点，因此，得到第-1点为第2行的缝合点，再次采用相同标准对第3行搜索有：

得到第3行的缝合点为-2，再次采用相同标准对第4行搜索有：

如果搜索边界设定为[-3,3]，尽管此处绝对差最小的点为第-4点，但是-4超出了搜索边界，因此不被搜索，所以得到第4行的缝合点为第-1点。

以上就是本方法的具体实施过程。