基于金字塔块匹配和泛函优化的拼接视频去结构偏差方法

摘要

本发明属于图像信息处理领域，提供了一种基于金字塔块匹配和泛函优化的拼接视频去结构偏差方法，在全局配准的基础上，针对视频拼接中视差引起的重叠区域结构偏差问题，利用金字塔块匹配方法得到两幅图像在重叠区域的一些图像块的对应关系，并用二维的位移量表示其位置偏差，然后通过能量泛函最小化将离散的位移量扩散到整个图像范围，最后依据得到的位移量对图像做形变操作，得到重叠区域无结构偏差的视频帧。同时，在能量泛函表达式的建立过程中同时考虑到形变操作的帧内和帧间约束，拼接完成的视频在播放时不会出现异常的扭曲和抖动。

说明书

技术领域：

本发明属于图像信息处理领域，涉及视频拼接方法，尤其涉及基于金字塔 块匹配和泛函优化的拼接视频去结构偏差方法。

背景技术

图像拼接作为计算机视觉学科的一个重要研究方向，受到了广泛的关注和 深入的研究。到目前为止，已有一系列针对不同应用需求的理论和方法被各国 学者提出，并取得了很好的实验效果，其中一些成熟的算法已集成在图像处理 领域的商业软件中。因此，可以认为图像拼接已经是一个较成熟的研究领域。 而对于视频拼接问题，虽然只是处理对象由图像替换为多路摄像机同步拍摄的 视频，但问题的规模和复杂度都急剧提升，限于相关理论基础和硬件设备的处 理能力，对视频拼接的研究还处在起步阶段。现有的视频拼接方法大多是某种 图像拼接方法在时间维上的简单拓展，对视频拼接问题带来的新特性和约束缺 乏充分的讨论，导致拼接效果不佳。

由于各台摄像机的光心不完全重合，同一场景在不同摄像机拍摄中的成像 存在一定的错位和变形，称这一差别为视差。视差的存在使得通过投影变换映 射到同一观察平面的各路画面并不能完全重合，即存在结构偏差。因此，为了 提高每一帧视频画面的拼接质量，必须消除结构偏差的影响。

现有图像拼接方法通常利用最优拼接缝技术解决这一问题，即避开结构偏 差影响严重的区域，并在最优拼缝附近进行融合操作，得到质量较好的拼接图 像。但对于视频拼接而言，大多数情况下，重叠区域内的场景是动态的，即相 邻帧的最优拼缝位置并不一致，由于视差的影响，若同一块区域的图像总是交 替地从不同原始图像中取到，会造成视频画面的异常闪烁。即使增加时空约束， 使前后帧拼缝的位置相对稳定，当有运动物体从拼缝两侧穿过时，总会存在拼 缝无法只进行小幅度调整就可以避开结构偏差的情况。综上，在单幅图像拼接 中被回避的结构偏差问题，会在视频拼接中凸显出来，影响拼接质量。

发明内容：

本发明针对视频拼接中重叠区域的结构偏差会影响拼接质量的现实，提出 了一种基于金字塔块匹配和泛函优化的拼接视频去结构偏差方法，能够在保持 视频帧间一致性的前提下消除结构偏差的影响，完成高质量的视频拼接。本发 明所采用的策略是通过图像形变操作，试图消除而不是回避结构偏差，具体方 法是在全局配准之后，根据重叠区域块匹配的结果，对重投影图像进行局部调 整。另外，由于引入了形变操作，为确保输出的拼接视频在播放时不会出现异 常的扭曲和晃动，本发明在计算形变时增加了帧间约束。

本发明首先利用金字塔块匹配方法得到两幅图像在重叠区域的一些图像块 的对应关系，并用二维的位移量表示其位置偏差。然后通过能量泛函最小化， 求解得到整个图像范围的位移量。最后依据每个位置的位移量对图像进行形变 操作，得到重叠区域无结构偏差的视频帧。

具体地，本发明采用的技术方案是：

一种基于金字塔块匹配和泛函优化的拼接视频去结构偏差方法，其特征在 于包括以下步骤：

S1.提取重投影后两幅图像的重叠部分进行金字塔块匹配，得到离散的结构 对应关系和离散点的位移向量；

S2.在步骤S1得到的离散位移向量基础上，综合视频拼接的各项约束，建立 形变扩散的能量泛函，通过最小化能量泛函得到整个图像范围内的位移量；

S3.依据步骤S2得到的位移量对输入图像进行形变操作，对形变后的图像进 行重投影和融合，得到当前各视频帧的拼接图像。

进一步地，所述步骤S1的具体方法包括：

S11.建立重投影后两幅图像重叠部分的图像金字塔；

以I_s，I_t表示重投影后两幅图像的重叠部分，首先对I_s和I_t进行多尺度的缩 放：

$\left(\begin{array}{cc}{I}_{s,k+1}=g_{\sigma }\otimes I_{s,k}& k=\mathrm{0,1},...L-1\\ I_{s,k+1}(i,j)=I_{s,k+1}^{\prime }& (2i-\mathrm{1,2}j-1)\end{array}\right)i=\mathrm{1,2},...H_k,j=\mathrm{1,2},...W_k$

其中k为当前层数，L为卷积操作执行的总次数，且I_s,0＝I_s，g_σ表示方差 为σ的高斯核函数，H_k与W_k分别为第k层图像的高度与宽度；对I_t做同样的操作， 建立金字塔I_t,0,I_t,1,…I_t,L；

S12.通过逐层块匹配，得到当前观察平面上图像块之间的对应关系；

以尺度由大到小，即层数k由L到0的顺序，对每一层的一组对应图像I_s,k与 I_s,k运行块匹配算法，得到当前层的匹配关系，并以二维的位移量 表示得到的位置偏差，其中V_k,x(·)与V_k,y(·)是向量水平和竖直两个方向上的分量，编号m＝1,2,…M_k与n＝1,2,…N_k分别为匹配块纵向 和横向的位置编号，M_k与N_k分别为第k层纵向和横向的最大编号；以为 作为下一层(2m-1,2n-1)，(2m-1,2n)，(2m,2n-1)与(2m,2n)处四对匹配块位移量搜 索的初始值，逐层搜索，最终得到原始图像即第0层图像的块匹配位移量 且有：

$\left(\begin{array}{c}{\hat{x}}_t(m,n)={\hat{x}}_s(m,n)+V_x(m,n)\\ {\hat{y}}_t(m,n)={\hat{y}}_s(m,n)+V_y(m,n)\end{array}\right)$

其中，与分别为源图像和目标图像的重投 影图像所在观察平面坐标系下各匹配块中心的坐标；块匹配的结果是离散的，， 将块匹配的结果以如下一维编号形式表示：

$\left(\begin{array}{c}{\hat{x}}_{t,p}={\hat{x}}_{s,p}+V_{x,p}\\ {\hat{y}}_{t,p}={\hat{y}}_{s,p}+V_{y,p}\end{array}\right)p=\mathrm{1,2},...P_m$

其中，P_m为匹配块对的数量；

S13.将各匹配块中心按照已知全局映射关系变换到待变形的原图像坐标系 下，并计算得到原图像坐标下离散的位移量；

为得到I_s所对应原始图像I_s,org中每个像素的形变量，需要将观察平面坐标 根据全局配准阶段得到的映射关系映射到I_s,org的图像坐标 上，得到对应的原始图像坐标(x_s,p,y_s,p)与(x_t,p,y_t,p)，此时，I_s,org中目标位置(x_t,p,y_t,p) 对应的位移量可由下式得到：

$\left(\begin{array}{c}{U}_{x,p}=x_{t,p}-x_{s,p}\\ U_{y,p}=y_{t,p}-y_{s,p}\end{array}\right).$

进一步地，所述步骤S2的具体方法包括：

S21.结合块匹配得到的离散先验信息与视频拼接中形变操作需要满足的帧 内和帧间约束，建立需最小化的能量泛函表达式；

对输入图像进行变形操作，需要得到I_s,org全图范围Ω内的位移函数 其中的两个分量相互独立且计算过程一致，在此统一以标量函数 U表示其中之一；函数U需要满足以下三个约束：

(1)U在(x_t,p,y_t,p)处的值应该与U_p尽可能地接近；

(2)图像内相邻位置的U值应该尽可能地接近；

(3)相邻帧的U值应该尽可能地接近；

其中约束(1)表示在步骤S1通过块匹配得到的离散的位移量先验信息， 约束(2)为帧内位移量的连续性约束，约束(3)为帧间位移量的连续性约束；

约束(1)对应的能量泛函分量为：

$E_D=\underset{\Omega }{\int \int }{(U-\tilde{U})}^2\mathrm{dxdy}$

其中，为定义在Ω上由网格化插值得到的参考位移函数；

约束(2)对应的能量泛函分量为：

$E_S=\underset{\Omega }{\int \int }{|▿U|}^2\mathrm{dxdy}=\underset{\Omega }{\int \int }({\left(\frac{\mathrm{dU}}{\mathrm{dx}}\right)}^2+{\left(\frac{\mathrm{dU}}{\mathrm{dy}}\right)}^2)\mathrm{dxdy}$

约束(3)对应的能量泛函分量为：

$E_C=\underset{\Omega }{\int \int }{(U-U_{\mathrm{pre}})}^2\mathrm{dxdy}$

综合上述三个约束，需要最小化的总的能量泛函为：

$\left(\begin{array}{c}E=E_D+{\lambda }_1{E}_S+{\lambda }_2{E}_C\\ =\underset{\Omega }{\int \int }({(U-\tilde{U})}^2+{\lambda }_1{|▿U|}^2+{\lambda }_2{(U-U_{\mathrm{pre}})}^2)\mathrm{dxdy}\end{array}\right)$

S22.根据变分原理，将能量泛函最小化问题转换为偏微分方程的求解；

根据变分原理，依欧拉-拉格朗日(Euler-Language)公式，可将最小化E的 问题等价为如下偏微分方程的求解问题：

上述偏微分方程是一个椭圆型二阶偏微分方程；

S23.利用差分方法数值求解在步骤S22得到的偏微分方程

在步骤S22中得到的偏微分方程是连续形式的，对其进行离散化，并求解 数值解；

所用到的一阶差分格式如下：

$\frac{\partial U}{\partial x}=\frac{U(x+h,...)-U(x,...)}{h}+O\left(h\right)$

二阶差分格式为：

$\frac{{\partial }^{2}U}{{\partial x}^2}=\frac{U(x+h,...)-2U(x,...)+U(x-h,...)}{2h}+O\left(h^2\right)$

特别地，拉普拉斯算子Δ·的差分格式为：

$\mathrm{\Delta U}=\frac{U(x+h,y)+U(x-h,y)+U(x,y+h)+U(x,y-h)-4U(x,y)}{2h}+O\left(h^2\right)$

其中，差分间隔h取一个像素的宽度，在图像坐标系中h＝1，通过代入上述 微分算子的差分格式，将S22中得到的偏微分方程转换为差分方程；该差分方 程是线性的，其求解可通过超松弛迭代方法实现；

按照上述步骤分别求解位移向量分量U_x和U_y对应的S22中得到的偏微分方 程，即可得到原始图像I_s,org每一个像素的位移向量

进一步地，所述步骤S3的具体方法包括：

S31.根据在步骤S2得到的位移量对输入图像进行形变操作；

根据I_s,org全图像范围内的位移函数可对I_s,org进行形变操作，变形后图 像I′_s,org中位置(x′_s,p,y′_s,p)处的像素值可从I_s,org的如下位置取值：

$\left(\begin{array}{c}{x}_{s,p}=x_{s,p}^{\prime }-U_{x,p}\\ y_{s,p}=y_{s,p}-U_{y,p}\end{array}\right)$

通常(x_s,p,y_s,p)为非整数位置，该位置处的值需要通过附近像素做双线性插值 得到；

S32.根据摄像机本身已标定得到的投影参数，将变形后的图像投影到统一的 观察平面并融合；

将变形后的图像I′_s,org与目标图像I_t,org根据投影到同一观察平面，此时，两图 像的重叠区域是无结构偏差的，对两幅重投影图像应用多尺度融合或梯度域融 合方法进行融合，即得到当前帧的拼接图像；对视频的每一组同步帧适用步骤 S1到S3，即可得到拼接完成的视频。

本发明所述方法在全局配准的基础上，针对视频拼接中视差引起的重叠区 域结构偏差问题，利用金字塔块匹配和能量泛函最小化对输入图像进行一定的 形变操作，能够使变形后的图像再重投影到观察平面后无结构偏差，最后配合 重投影和融合操作，完成高质量的视频拼接。同时，在能量泛函表达式的建立 过程中同时考虑到形变操作的帧内和帧间约束，拼接完成的视频在播放时不会 出现异常的扭曲和抖动。

附图说明：

图1为本发明的总体流程图。

图2为金字塔块匹配各层的匹配结果示意图。

具体实施方式

下面将结合附图和实例对本发明的具体实施方式作进一步的详细说明。

本发明将视频拼接划分为全局配准和局部调整两个阶段。在全局配准阶段, 基于SIFT特征提取与匹配的结果，计算得到各路摄像机的投影参数，据此可以 将各路图像投影到统一的观察平面，这一阶段现在已有成熟的解决方案；本发 明主要致力于第二个阶段，即局部调整阶段，利用金字塔块匹配方法得到两幅 图像在重叠区域的一些图像块的对应关系，并用二维的位移量表示其位置偏差， 然后通过能量泛函最小化将离散的位移量扩散到整个图像范围，最后依据得到 的位移量对图像做形变操作，得到重叠区域无结构偏差的视频帧，局部调整阶 段的总体流程图如图1所示。

本发明提供的基于金字塔块匹配和泛函优化的拼接视频去结构偏差方法通 过以下步骤实现：

S1.根据摄像机本身已标定得到的投影参数，将两幅源图像投影到同一的观 察平面，并提取重投影后两幅图像的重叠部分进行金字塔块匹配，得到离散的 匹配块和对应的位移向量。

S2.在步骤S1中得到的离散位移向量基础上，综合视频拼接的帧内和帧间约 束，建立形变扩散的能量泛函，并将最小化能量泛函转化为偏微分方程的求解 问题，通过差分求解偏微分方程得到整个图像范围内的形变量。

S3.依据步骤S2得到的整个图像范围内的形变量对输入图像进行形变操作， 再将形变后的图像进行重投影到统一的观察平面并作融合，得到当前帧的拼接 图像。

进一步地，所述步骤S1的具体方法包括：

S11.建立重投影后两幅图像重叠部分的图像金字塔。

以I_s，I_t表示重投影后两幅图像的重叠部分，首先对I_s和I_t进行多尺度的缩 放：

$\left(\begin{array}{cc}{I}_{s,k+1}=g_{\sigma }\otimes I_{s,k}& k=\mathrm{0,1},...L-1\\ I_{s,k+1}(i,j)=I_{s,k+1}^{\prime }& (2i-\mathrm{1,2}j-1)\end{array}\right)i=\mathrm{1,2},...H_k,j=\mathrm{1,2},...W_k$

其中k为当前层数，L为卷积操作执行的总次数，且I_s,0＝I_s，g_σ表示方差 为σ的高斯核函数，H_k与W_k分别为第k层图像的高度与宽度。对I_t做同样的操作， 建立金字塔I_t,0,I_t,1,…I_t,L。

S12.通过逐层块匹配，得到当前观察平面上图像块之间的对应关系。

以尺度由大到小，即层数k由L到0的顺序，对每一层的一组对应图像I_s,k与 I_s,k运行块匹配算法，得到当前层的匹配关系，并以二维的位移量 表示得到的位置偏差，其中V_k,x(·)与V_k,y(·)是向量水平和竖直两个方向上的分量，编号m＝1,2,…M_k与n＝1,2,…N_k分别为匹配块纵向 和横向的位置编号，M_k与N_k分别为第k层纵向和横向的最大编号。以为 作为下一层(2m-1,2n-1)，(2m-1,2n)，(2m,2n-1)与(2m,2n)处四对匹配块位移量搜 索的初始值，逐层搜索，各层的匹配结果如图2所示。最终得到原始图像即第0 层图像的块匹配位移量且有：

$\left(\begin{array}{c}{\hat{x}}_t(m,n)={\hat{x}}_s(m,n)+V_x(m,n)\\ {\hat{y}}_t(m,n)={\hat{y}}_s(m,n)+V_y(m,n)\end{array}\right)$

其中，与分别为源图像和目标图像的重投 影图像所在观察平面坐标系下各匹配块中心的坐标。块匹配的结果是离散的， 因此为处理方便，可将块匹配的结果以如下一维编号形式表示：

$\left(\begin{array}{c}{\hat{x}}_{t,p}={\hat{x}}_{s,p}+V_{x,p}\\ {\hat{y}}_{t,p}={\hat{y}}_{s,p}+V_{y,p}\end{array}\right)p=\mathrm{1,2},...P_m$

其中，P_m为匹配块对的数量。

S13.将各匹配块中心按照已知全局映射关系变换到待变形的原图像坐标系 下，并计算得到原图像坐标下离散的形变量。

为得到I_s所对应原始图像I_s,org中每个像素的形变量，需要将观察平面坐标 与根据全局配准阶段得到的映射关系映射到I_s,org的图像坐标 上，得到对应的原始图像坐标(x_s,p,y_s,p)与(x_t,p,y_t,p)，此时，I_s,org中目标位置(x_t,p,y_t,p) 对应的位移量可由下式得到：

$\left(\begin{array}{c}{U}_{x,p}=x_{t,p}-x_{s,p}\\ U_{y,p}=y_{t,p}-y_{s,p}\end{array}\right)$

进一步地，所述步骤S2的具体方法包括：

S21.结合块匹配得到的离散先验信息与视频拼接中形变操作需要满足的帧 内和帧间约束，建立需最小化的能量泛函表达式。

对输入图像进行变形操作，需要得到I_s,org全图范围Ω内的位移函数 在本发明中的两个分量相互独立且计算过程一致，因此为简化表 述，统一以标量函数U表示其中之一。同时，对以及后续出现的二维位移向 量作类似简化。函数U需要满足以下三个约束：

(1)U在(x_t,p,y_t,p)处的值应该与U_i尽可能地接近；

(2)图像内相邻位置的U值应该尽可能地接近；

(3)相邻帧的U值应该尽可能地接近。

其中约束(1)表示在步骤S1通过块匹配得到的离散的位移量先验信息， 约束(2)为帧内形变量的连续性约束，约束(3)为帧间形变量的连续性约束。

约束(1)对应的能量泛函分量为：

$E_D=\underset{\Omega }{\int \int }{(U-\tilde{U})}^2\mathrm{dxdy}$

其中，为定义在Ω上由网格化插值得到的参考位移函数。

约束(2)对应的能量泛函分量为：

$E_S=\underset{\Omega }{\int \int }{|▿U|}^2\mathrm{dxdy}=\underset{\Omega }{\int \int }({\left(\frac{\mathrm{dU}}{\mathrm{dx}}\right)}^2+{\left(\frac{\mathrm{dU}}{\mathrm{dy}}\right)}^2)\mathrm{dxdy}$

约束(3)对应的能量泛函分量为：

$E_C=\underset{\Omega }{\int \int }{(U-U_{\mathrm{pre}})}^2\mathrm{dxdy}$

综合上述三个约束，需要最小化的总的能量泛函为：

$\left(\begin{array}{c}E=E_D+{\lambda }_1{E}_S+{\lambda }_2{E}_C\\ =\underset{\Omega }{\int \int }({(U-\tilde{U})}^2+{\lambda }_1{|▿U|}^2+{\lambda }_2{(U-U_{\mathrm{pre}})}^2)\mathrm{dxdy}\end{array}\right)$

S22.根据变分原理，将能量泛函最小化问题转换为偏微分方程的求解。

若以最优化方法直接迭代求解步骤S21中得到的能量泛函，由于未知函数U 定义在图像范围内，将U依图像分辨率离散化后，每一个像素位置处的位移量 都是需求解的未知状态变量的分量。现有最优化方法在求解如此大规模的最优 化问题时，收敛速度无法满足视频拼接对处理速度的要求。因此，需要对问题 进行转化，以加速求解。

根据变分原理，依Euler-Language公式，可将最小化E的问题等价为如下偏 微分方程的求解问题：

上述偏微分方程是一个椭圆型二阶偏微分方程。

S23.利用差分方法数值求解在步骤S22得到的偏微分方程。

在步骤S22中得到的偏微分方程是连续形式的，其解析解通常情况无法求 得，本发明在实施时对其进行离散化，并求解数值解。所用到的一阶差分格式 如下：

$\frac{\partial U}{\partial x}=\frac{U(x+h,...)-U(x,...)}{h}+O\left(h\right)$

二阶差分格式为：

$\frac{{\partial }^{2}U}{{\partial x}^2}=\frac{U(x+h,...)-2U(x,...)+U(x-h,...)}{2h}+O\left(h^2\right)$

特别地，拉普拉斯算子Δ·的差分格式为：

$\mathrm{\Delta U}=\frac{U(x+h,y)+U(x-h,y)+U(x,y+h)+U(x,y-h)-4U(x,y)}{2h}+O\left(h^2\right)$

在本发明中，差分间隔h取一个像素的宽度，在图像坐标系中h＝1，通过代 入上述微分算子的差分格式，将S22中得到的偏微分方程转换为差分方程。差 分方程的求解通过超松弛(SOR，Successive OverRelaxation)迭代方法实现。

按照上述步骤分别求解位移向量分量U_x和U_y对应的S22中得到的偏微分方 程，即可得到原始图像I_s,org每一个像素的位移向量

进一步地，所述步骤S3的具体方法包括：

S31.根据在步骤S2得到的形变量对输入图像进行形变操作。

根据I_s,org全图像范围内的形变量可对I_s,org进行形变操作，变形后图像 I′_s,org中位置(x′_s,p,y′_s,p)处的像素值可从I_s,org的如下位置取值：

$\left(\begin{array}{c}{x}_{s,p}=x_{s,p}^{\prime }-U_{x,p}\\ y_{s,p}=y_{s,p}-U_{y,p}\end{array}\right)$

通常(x_s,p,y_s,p)为非整数位置，该位置处的值需要通过附近像素做双线性插值 得到。

S32.根据摄像机本身已标定得到的投影参数，将变形后的图像投影到统一的 观察平面并融合。

将变形后的图像I′_s,org与目标图像I_t,org根据投影到同一观察平面，此时，两图 像的重叠区域是无结构偏差的。对两幅重投影图像应用多尺度融合或梯度域融 合方法进行融合，即得到当前帧的拼接图像。对视频的每一组同步帧适用步骤 S1到S3，即可得到拼接完成的视频。