一种基于几何插值的高效视频稳定方法

摘要

本发明涉及一种基于几何插值的高效视频稳定方法，属于视频处理技术领域；包括以下步骤：根据帧间匹配代价计算出一条最优平滑路径；以最优平滑路径上的帧为界，将视频划分为若干个分段，并对每个分段利用特征点检测和匹配进行运动估计；以每个分段的起始帧和终止帧为基准，通过对几何量进行线性插值方法计算出其余帧的运动补偿；通过运动补偿变换对抖动帧进行图像变换后生成稳定的视频。与已有方法相比，本发明方法使用帧间仿射变换来描述相机运动，通过对几何量进行线性插值求得抖动帧的平移补偿和旋转补偿，生成的稳定图像不会产生明显的扭曲现象，且计算效率快，鲁棒性高。

说明书

技术领域

本发明涉及一种视频稳定方法，具体涉及一种基于几何插值的高效视频稳定方法，属于视频处理技术领域。

背景技术

视频拍摄成在媒体娱乐、城市安防等方面有着重要的应用。但是，由于视频拍摄时硬件环境和拍摄人员水平的限制，运动环境下拍摄的视频往往存在画面抖动等问题，影响对视频的进一步处理。

对于视频稳定这一具有较高应用价值的问题，国内外的学者已经做了大量的基础研究。常用的视频稳定方法主要包括三类：基于估计和平滑2D相机运动的方法，基于估计和平滑3D相机运动的方法以及结合前两者优点的2.5D方法。基于估计和平滑2D相机运动的方法有MATSUSHITA等人的Full-framevideostabilizationwithmotioninpainting，GRUNDMANN等人的Autodirectedvideostabilizationwithrobustl1optimalcamerapaths等。通常来说，2D方法的鲁棒性和算法效率都要更好，因为它们只需要估计相邻两帧间的线性变换。但是2D方法无法处理由场景深度变换引起的视差问题。基于估计和平滑3D相机运动的方法有Liu等人的工作Content-preservingwarpsfor3dvideostabilization和Videostabilizationwithadepthcamera等。3D方法原则上可以处理视差问题并生成非常稳定的结果，但是鲁棒性较差，且计算代价十分高昂。结合2D方法和3D方法优点的2.5D方法有Liu等人的Subspacevideostabilization以及Goldstein和Fattal的Videostabilizationusingepipolargeometry。2.5D方法不需要三维重建，大大减少了时间消耗，但方法需要的长特征点轨迹也使得它无法处理一些如相机急速运动、快速场景变换、严重遮挡等情况。

发明内容

本发明的目的是针对视频抖动，为了使用户获得更舒适的视觉感受，提出了一种基于几何插值的高效视频稳定方法。

本发明的思想是根据帧间匹配代价计算出一条最优平滑路径；以最优平滑路径上的帧为界，将视频划分为若干个分段，并对每个分段利用特征点检测和匹配进行运动估计；以每个分段的起始帧和终止帧为基准，通过对几何量进行线性插值来计算出其余帧的运动补偿；通过运动补偿变换对视频帧进行图像变换后生成稳定的视频。

本发明的的目的是通过以下技术方案实现的。

一种基于几何插值的高效视频稳定方法，包括以下步骤：

步骤一、计算最优平滑路径

对于抖动视频，计算一条最优平滑路径，路径上的每一帧都视为稳定帧，无需进行去抖操作，而除此之外的所有帧都视为抖动帧；

步骤二、在步骤一的基础上进行视频分段运动估计

令最优平滑路径上的帧为关键平滑帧，然后以其为界将视频的所有帧在时间尺度上划分为若干个分段。对于每一个视频分段的帧序列表示为F_s，F₁，F₂，…，F_t，F_e，其中F_s和F_e是路径上相邻的关键平滑帧，构造出若干条特征点轨迹，表示如下：

其中，p_ij(i＝s,1,…,t,e；j＝1,…,n)表示i帧第j条轨迹上的特征点坐标，n表示轨迹条数，t表示两关键帧之间帧的数量，s和e分别表示相邻两关键平滑帧序号；

步骤三、在运动估计基础上计算抖动帧的运动补偿

对于抖动帧，使用线性插值方法分别计算几何平移量和几何旋转量的运动补偿。

3.1计算几何平移量的运动补偿

令表示帧F_s至帧F_e图像序列中相应帧在步骤三所述轨迹上所有特征点坐标的平均值，即

$>\overline{p_i}=\frac{p_{i1}+p_{i2}+\mathrm{...}+p_{in}}{n}$>

其中，i＝s,1,…,t,e；

则对帧F_i(i＝1，2，…，t)，其平移量补偿为

$>{\mathrm{shift}}_i=\overline{p_s}-\overline{p_i}+\frac{\overline{p_e}-\overline{p_s}}{t+1}\times i$>

对应矩阵形式为：

$>M_{{\mathrm{shift}}_i}=\left(\begin{array}{ccc}1& 0& {\mathrm{shift}}_i\left(x\right)\\ 0& 1& {\mathrm{shift}}_i\left(y\right)\\ 0& 0& 1\end{array}\right)$>

3.2计算几何旋转量的运动补偿

对于帧F_i(i＝1，2，…，t)，其旋转角度补偿为

$>{\theta }_i={\theta }_{is}+\frac{{\theta }_{se}}{t+1}\times i$>

其中，θ_is为帧F_i至帧F_s的旋转角度，θ_se为帧F_s至帧F_e的旋转角度；

旋转中心为

$>{\mathrm{center}}_i=\overline{p_i}+{\mathrm{shift}}_i$>

据此可计算出旋转矩阵

在计算两帧之间的旋转角度时，需要计算出其二维旋转矩阵R。首先根据两帧之间的特征点序列可以求出仿射矩阵A(使用标准化特征点坐标，即特征点坐标减去其对应帧的平均特征值坐标)，然后对A进行SVD分解如下：

A＝UΣV^T

则二维旋转矩阵R：

R＝UV^T

又因为二维旋转矩阵具有如下形式，θ为旋转角度：

$>\left(\begin{array}{cc}cos\theta & \sin \theta \\ -sin\theta & cos\theta \end{array}\right)$>

据此通过反正弦函数可得到两帧之间的旋转角度θ；

3.3根据3.1和3.2计算出的平移运动补偿和旋转运动补偿计算出最终的图像补偿变换矩阵

最终，对于帧F_i(i＝1，2，…，t)，其补偿变换为

$>A_i=M_{{\mathrm{rotate}}_i}·M_{{\mathrm{shift}}_i}$>

步骤四、根据步骤三计算出的图像变换矩阵对抖动图像进行变换生成稳定帧

对于抖动帧F_i(i＝1，2，…，t)，在计算出其补偿变换A_i之后，使用A_i对图像进行变换，生成稳定的图像帧。对视频中的全部抖动帧据此处理后就可以生成一个稳定的视频。

有益效果

对比传统视频稳定方法，本发明方法具有以下优点：

(1)传统的基于估计和平滑2D相机运动的方法一般无法处理具有较大景深的场景，在处理大景深场景时往往会出现显著的图像扭曲，而本发明只对抖动帧的平移和旋转运动进行补偿，因为平移和旋转都是刚性变换，所以稳定结果绝对不会出现显著的扭曲现象。

(2)传统的基于估计和平滑3D相机运动的方法依赖于三维重建，这种方法计算复杂度较高，且鲁棒性差，而本发明避免使用从运动恢复结构的方法，而是使用帧间仿射变换来描述相机运动，因此提高了计算效率，增加了鲁棒性。

(3)基于2.5D的方法一般将运动平滑和运动补偿分为两部分进行，但是本发明无需运动平滑步骤，而是直接使用对几何量的线性插值求得补偿变换，大大减少了计算时间，提高了计算效率。

综上所述，本发明方法可以更加高效地处理视频序列中的抖动帧，得到稳定的视频。

附图说明

图1是本发明实施例一种基于几何插值的高效视频稳定方法流程示意图。

具体实施方式

下面将结合附图和实施例对本发明加以详细说明。

实施例

一种基于几何插值的高效视频稳定方法，具体实现步骤如下：

步骤一、计算最优平滑路径

对于抖动视频，计算一条最优平滑路径，路径上的每一帧都视为稳定帧，无需进行去抖操作，而除此之外的所有帧都视为抖动帧。在计算时采用NeelJoshi等人提出的方法(Joshi,N.,Kienzle,W.,Uyttendaele,M.,andCohen,M.Real-TimeHyperlapseCreationviaOptimalFrameSelection.ACMSIGGRAPH2015.)。对于视频的每一帧，都与后续W帧计算帧匹配代价，然后通过动态规划算法计算出一条从视频起始g帧内某一帧出发至最后g帧内某一帧结束的代价最小的路径。NeelJoshi方法中帧匹配代价定义如下：

第一项：对齐代价

$>C_r(i,j)=\frac{1}{n}\underset{p=1}{\overset{n}{\Sigma }}\left|\right|{(x_p,y_p)}_j^T-T(i,j){(x_p,y_p)}_i^T|{|}_2$>

其中，i和j为帧索引，和分别表示帧i和帧j上的特征点坐标，T(i，j)为帧i到帧j的单应变换矩阵，n表示特征点对数量；

第二项：重叠度代价

C_o(i，j)＝||(x₀，y₀)^T-T(i，j)(x₀，y₀)^T||₂

其中，(x_o，y_o)^T为图像的中心坐标；

联合代价函数：

$>C_m(i,j)=\left(\begin{array}{cc}{C}_o(i,j)& C_r(i,j)<{\tau }_c\\ \gamma & C_r(i,j)\ge {\tau }_c\end{array}\right)$>

其中，τ_c＝0.1*d，γ＝0.5*d，d为图像对角线长度；

第三项：速度代价$>C_s(i,j,v)=\min ({\left|\right|(j-i)-v\left|\right|}_2^2,{\tau }_s)$>

v值用以约束路径上相邻两帧之间间隔的帧数，τ_s为200；

第四项：加速度代价

$>C_a(h,i,j)=\min ({\left|\right|(j-i)-(i-h)\left|\right|}_2^2,{\tau }_a)$>

其中，τ_a为200；

步骤二、视频分段运动估计

令最优平滑路径上的帧为关键平滑帧，然后以其为界将视频的所有帧在时间尺度上划分为若干个分段。对于每一个视频分段F_s，F₁，F₂，…，F_t，F_e，其中F_s和F_e是路径上相邻的关键平滑帧，构造出若干条特征点轨迹，表示如下：

其中，p_ij表示i帧第j条轨迹上的特征点坐标，n表示轨迹条数；

在此我们的运动估计方法采用KLT算法进行特征点检测和跟踪。

步骤三、计算抖动帧的运动补偿

对于抖动帧，通过线性插值对几何平移量和旋转量进行计算。

3.1平移补偿

令表示帧F_s至帧F_e图像序列中相应帧在步骤三所述轨迹上所有特征点坐标的平均值，即

$>\overline{p_i}=\frac{p_{i1}+p_{i2}+\mathrm{...}+p_{in}}{n}$>

则对帧F_i(i＝1，2，…，t)，其平移量补偿为

$>{\mathrm{shift}}_i=\overline{p_s}-\overline{p_i}+\frac{\overline{p_e}-\overline{p_s}}{t+1}\times i$>

对应矩阵形式为：

$>M_{{\mathrm{shift}}_i}=\left(\begin{array}{ccc}1& 0& {\mathrm{shift}}_i\left(x\right)\\ 0& 1& {\mathrm{shift}}_i\left(y\right)\\ 0& 0& 1\end{array}\right)$>

3.2旋转补偿

对于帧F_i(i＝1，2，…，t)，其旋转角度补偿为

$>{\theta }_i={\theta }_{is}+\frac{{\theta }_{se}}{t+1}\times i$>

其中，θ_is为帧F_i至帧F_s的旋转角度，θ_se为帧F_s至帧F_e的旋转角度。

旋转中心为

$>{\mathrm{center}}_i=\overline{p_i}+{\mathrm{shift}}_i$>

据此可计算出旋转矩阵

在计算两帧之间的旋转角度时，需要计算出其二维旋转矩阵R。首先根据两帧之间的特征点序列可以求出仿射矩阵A(使用标准化特征点坐标，即特征点坐标减去其对应帧的平均特征值坐标)，然后对A进行SVD分解如下：

A＝UΣV^T

则二维旋转矩阵R：

R＝UV^T

又因为二维旋转矩阵具有如下形式：

$>\left(\begin{array}{cc}cos\theta & \sin \theta \\ -sin\theta & cos\theta \end{array}\right)$>

据此通过反正弦函数可得到两帧之间的旋转角度θ。

3.3图像补偿

最终，对于帧F_i(i＝1，2，…，t)，其补偿变换为

$>A_i=M_{{\mathrm{rotate}}_i}·M_{{\mathrm{shift}}_i}$>

步骤四、图像变换生成稳定帧

对于抖动帧F_i(i＝1，2，…，t)，在计算出其补偿变换A_i之后，使用A_i对图像进行变换，生成稳定的图像帧。对视频中的全部抖动帧据此处理后就可以生成一个稳定的视频。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。