一种基于绕环自适应相机路径优化的视频防抖方法

摘要

本发明公开了一种基于绕环自适应相机路径优化的视频防抖方法，解决了现有视频防抖技术受环境限制大，效果欠佳等问题。该视频防抖方法包括以下步骤：1.运动估计；2.平滑操作；3.对平滑后的帧作扭曲度检测，对平滑后的帧作留存度检测；4.相机路径绕环；步骤5.重复步骤2到步骤4直到去除掉视频中的高频分量和低频分量；步骤6.通过图像变换渲染出最终稳定视频。本发明通过对传统的运动估计进行优化，并通过绕环的方式，建立了一套可自适应视频扭曲度与视频内容留存度的路径优化方法，在减小视频帧扭曲并克服视频内容留存度过小问题的同时，有效抑制视频中的低频分量，从而提升视频的稳定度，能很好地应对场景变换与相机运动变换。

说明书

背景技术

本发明涉及移动端设备拍摄的图像处理方法，具体的说，是涉及一种移动 端拍摄的视频的防抖方法。

技术领域

移动端拍摄的视频，因为拍摄过程中摄像头在晃动，不规律的晃动会照成 拍摄出的画面晃动，从而降低视频的观看质量,因此，为了提供移动端拍摄视频 的观看质量，视频防抖处理显得尤为重要。

视频防抖致力于降低视频拍摄过程中的抖动，产生出稳定的视频，从而提 升视频的观看质量。现有的视频防抖方法大致可以分为三个模块，运动估计模 块，路径优化模块和视频渲染模块。其中，运动估计模块致力于利用各种各样 的形式来表征相机的原始运动，常用的方法包括块匹配法，特征点法，三维重 建法；路径优化模块致力于将相机从原始抖动运动变换出稳定的相机运动，常 用的方法有低通滤波器，运动矢量平滑；视频渲染模块将原始视频中的每一帧 从抖动的原始运动路径变换到稳定的相机路径上，从而产生出稳定的视频效果， 常用的方法有基于单个单应性变换方法和基于块单应性变换方法。

然而，移动端拍摄出的视频内容多种多样，视频的运动形式亦多种多样： 内容可涵盖白天、夜晚、室内、室外、开阔空旷、人海嘈杂；视频运动形式涵 盖普通走路拍摄、机载快速运动拍摄、户外运动拍摄、视频焦距拉长缩短、视 频快速转场。视频拍摄内容与视频运动形式的多样性，对视频防抖中的三个模 块均造成不同程度的影响，导致稳定的视频产生失真现象(视频帧出现扭曲或 视频内容留存度过小)。

具体来讲，在运动估计模块，块匹配法和特征点法在场景过于单一或过于 复杂的情况下，精度会受到一定的影响，不准确的运动估计会对之后的两个模 块带来影响，从而导致稳定效果下降，严重的情况还会引起视频帧的扭曲失真。 三维重建的方法因为依赖对场景的三维重建，消耗大量的计算资源和时间，且 容易出错产生错误的重建结果，因此缺乏实用性。在路径优化模块中，低通滤 波和运动矢量平滑可以有效去除相机抖动中的高频分量，却很难有效去除掉相 机运动中的一些低频率运动分量，其中高频分量对应着相机的颤抖，低频分量 对应着相机平滑的晃动。如若强行去除相机的晃动，则会对渲染模块带来困扰。 在快速运动的场景中，去除相机的晃动会使得最终渲染出的结果视频内容留存 度过小，影响观看效果。

发明内容

为了克服上述问题，本发明提供一种基于绕环自适应相机路径优化的视频 防抖方法。

为了实现上述目的，本发明采用的技术方案如下：

一种基于绕环自适应相机路径优化的视频防抖方法，包括以下步骤：

步骤1.通过相邻帧特征点匹配和相邻帧块搜索共同作用，估算出相邻帧间 基于单应性变换的帧间运动模型；

步骤2.对抖动帧的帧间运动模型进行高斯平滑，得到稳定帧的帧间运动模 型；

步骤3.对平滑后的帧作扭曲度检测，对平滑后的帧作留存度检测；

步骤4.相机路径绕环；

步骤5.重复步骤2到步骤4直到去除掉视频中的高频分量和低频分量；

步骤6.通过图像变换渲染出最终稳定视频。

进一步的，所述步骤1的具体方式如下：

(11)对帧间进行运动估计，采用单应性变换作为帧间运动模型，以描述 相邻帧间的运动

$\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ z^{\prime }\end{array}\right)=\left(\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)---\left(1\right)$

式中，(x′,y′,z′)表示变换后的坐标，对应着当前帧的前一帧中图像点的 位置，(x,y)表示变换前的坐标，对应着当前帧图形点的位置，单应性变换矩阵 中a,b,d,e表征图像的旋转，缩放，g,h表征图形的透视变换，c,f表征图像的平移 变换；

(12)通过公式A＝{(x′,y′)-(x,y)}，估算出前一帧和后一帧中对应点对 位置,进而估算出帧间运动模型中的各个参数的值。

进一步的，所述步骤(12)的具体方式如下：

(121)通过图像的特征点匹配，获取初始的点对集合,基于单应性变换模 型并利用RANSAC,剔除掉匹配错误的点对，最后形成的第一批点对集合记为A1；

(122)对图像分块，将图像分成大小均等的16x16的区域块，同时将视频中 的每一帧转换为灰度图像，算出每一块内灰度图像的方差值，并留下方差值大 于指定阀值的区块；

(123)块匹配：对留下的每一个区块，在前一帧灰度图像内容中搜索对应 的最匹配的区块，通过块匹配，收集到了第二批点对集合，记录为A2；

(124)将两组点对集合组合成一对点对集，记为A＝A1∪A2；

(125)通过最小二乘法，将两组点对写入如下公式：

$\left(\begin{array}{cccccccc}0& 0& 0& -x_i& -y_i& -1& x_i{y_i}^{\prime }& y_i{y_i}^{\prime }\\ x_i& y_i& 1& 1& 0& 0& -x_i{x_i}^{\prime }& y_i{x_i}^{\prime }\end{array}\right)\left(\begin{array}{c}a\\ b\\ c\\ d\\ e\\ f\\ g\\ h\end{array}\right)=\left(\begin{array}{c}{y_i}^{\prime }\\ {x_i}^{\prime }\end{array}\right)---\left(2\right)$

利用最小二乘法求解获得帧间运动模型中的各个参数。

进一步的，所述步骤2的具体方式如下：从第0时刻开始，一直到视频结 束，每两帧之间算出一个F_t,将两两帧之间的F_t依次级联起来获得抖动帧帧间运 动模型的串集合：

F＝{F₀,F₀F₁,…F₀F₁..F_t-1F_t}

对集合中的每一个元素作平滑操作，获得稳定帧帧间运动模型的集合:

H＝{H₀,H₀H₁,…H₀H₁..H_t-1H_t}。

进一步的，所述步骤4中相机路径绕环通过绕环公式：

$B_{t-1}{F}_t=B_t{H}_t=>>H_t=B_{t-1}{F}_t{B}_t^{-1}---\left(3\right)$

进行多次平滑操作，直到消除视频中存在的低频分量为止；其中，用式(3) 算出的H_t,替换原始路径中的F_t即可实施下一次的平滑操作，B_t表示每一个时 刻t帧由抖动变为稳定的变换矩阵，其亦为一个单应性变换运动模型。其中， H_t指每两帧之间F平滑操作后得到的稳定帧的帧间运动模型。

进一步的，所述步骤3中对变换矩阵B_t作分析，获得视频帧扭曲度的客观 反映值：

取变换矩阵B_t左上角四个元素，组成一个小的4x4矩阵$\left(\begin{array}{cc}a& b\\ d& e\end{array}\right),$对该矩阵 作奇异值分解,获得$U\left(\begin{array}{cc}{\lambda }_1& 0\\ 0& {\lambda }_2\end{array}\right)V^T,$其主对角线上的比值κ＝λ₁/λ₂,用于表征图 形是否扭曲，该值越接近1，说明扭曲越小，反之，则扭曲越大；

对变换矩阵B_t作分析，获得帧内容的留存度：通过对帧内图像的4个角点进行 单应性变换，获得4个新角点，然后根据4个新角点可以获得一个新的四边形， 在新的四边形中寻找最大内切矩形，计算出最大内切矩形占原始矩形的面积比 例，记为π。原始的4个角点为图片的4个顶点，如图3中左边部分所示，为矩 形的4个角，每一个角点可写成[x,y,1]的形式，然后利用B_t依据公式(1) 进行变换，

进一步的，在每次平滑操作的过程中，观察κ与π的值，当κ<0.9，或者κ> 1.1，或者π<0.8的时候，即将该帧对应的变换矩阵B_t减半，减半方式为B_t＝ B_t+I,其中I表示单位矩阵。

需要说明的是，本申请文件中的“相机”是指具有拍摄功能的设备，如： 智能手机、平板电脑等，而不是特指传统的相机。

本发明与现有技术相比，具有以下优点：

本发明通过对传统的运动估计进行优化，并通过绕环的方式，建立了一套 可自适应视频扭曲度与视频内容留存度的路径优化方法，在减小视频帧扭曲并 克服视频内容留存度过小问题的同时，有效抑制视频中的低频分量，从而提升 视频的稳定度，能很好地应对场景变换与相机运动变换。

附图说明

图1为本发明-实施例中初始的相机运动位置和稳定后相机的运动位置之间 的关系图。

图2为本发明-实施例中低通高斯滤波示意图。

图3为本发明-实施例中帧内容的留存度计算示意图。

图4为本发明的流程示意图。

具体实施方式

实施例

如图4所示，本实施例提供了一种基于绕环自适应相机路径优化的视频防 抖方法，该方法由三个部分组成：(1)运动估计模块；(2)路径优化模块；(3) 视频渲染模块。

运动估计模块利用单应性变换(Homography)作为基础，并对估计单应性 变换的过程进行了改进，有效的提高了运动估计的准确性。通过运动估计得到 帧间运动模型，具体如下：

1.运动估计，对帧间进行运动估计，采用单应性变换作为帧间运动模型， 以描述相邻帧间的运动。可描述的运动类型包括：旋转，平移，缩放和透视变 换,帧间运动模型如下：

$\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ z^{\prime }\end{array}\right)=\left(\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$

其中，(x′,y′,z′)表示变换后的坐标，对应着当前帧的前一帧中图像点的 位置。(x,y)表示变换前的坐标，对应着当前帧图形点的位置。具体来讲，变换 后的真实X-Y坐标为：其中，单应性变换矩阵中待确定的参数为 a,b,c,d,e,f,g,h.其中，a,b,d,e表征图像的旋转，缩放；g,h表征图形的透视变 换；c,f表征图像的平移变换；

2.通过估算出前一帧和后一帧中对应点对位置，A＝{(x′,y′)-(x,y)},进而 估算出单应性变换中的各个参数的值，获取点对的位置包括以下步骤：

(a)通过图像的特征点匹配，获取初始的点对集合,基于单应性变换模型并 利用RANSAC,剔除掉匹配错误的点对，最后形成的第一批点对集合记为A1；

(b)对图像作分块，将图像分成大小均等的16x16的区域块，同时将视频中的 每一帧转换为灰度图像，算出每一块内，灰度图像的方差值，留下方差值 大于指定阀值的区块。

(c)对留下的每一个区块，在前一帧灰度图像内容中搜索对应的最匹配的区 块。最匹配的条件利用MAD(MeanAbsoluteDifference)作为准则，即平 均绝对差。原区块中心点记为(x,y)，搜索半径记为r＝16,即搜索区 域为原区块位置周围区域：(x-r,y-r)～(x+r,y+r)。在搜索过程中发 现的最优位置，对应最小的MAD值，记录为(x′,y′)。这样通过块匹配，收 集到了第二批点对集合，记录为A2。

(d)将两组点对集合组合成一对点对集，记为A＝A1∪A2

(e)通过最小二乘法，将两组点对写入如下公式：

$\left(\begin{array}{cccccccc}0& 0& 0& -x_i& -y_i& -1& x_i{y_i}^{\prime }& y_i{y_i}^{\prime }\\ x_i& y_i& 1& 1& 0& 0& -x_i{x_i}^{\prime }& y_i{x_i}^{\prime }\end{array}\right)\left(\begin{array}{c}a\\ b\\ c\\ d\\ e\\ f\\ g\\ h\end{array}\right)=\left(\begin{array}{c}{y_i}^{\prime }\\ {x_i}^{\prime }\end{array}\right)$

其中，A中每一组点对，可以写出上述两行等式，将A中所有点对写成公式 即可获得一个超定的线性方程组。利用最小二乘法求解可获得帧间运动单应性 变换参数。获取的帧间单应性变换运动模型，为当前帧往前一帧上运算所获得。 若当前帧时刻为t,前一帧时刻为t-1，记单应性变换运动模型为F_t。

从第0时刻开始，一直到视频结束，每两帧之间都可以算出一个F_t,将两两 帧之间的F_t依次级联起来可以获得一个串集合：F＝{F₀,F₀F₁,…F₀F₁..F_t-1F_t}。

路径优化模块是基于绕环自适应的相机路径优化方法，其中，绕环是指在 路径优化中，初始抖动路径和优化路径之间，相邻帧间存在着一个级联式的环， 通过绕环的方式可迭代式的优化相机路径，从而有效的去除相机路径中留存的 低频分量；自适应是指，在相机路径绕环优化的过程中，自动检测出不能进行 绕环的位置，从而避免因过渡优化带来的视频内容留存度过小的问题。通过在 绕环的过程中，将代表帧间运动的单应性变换设置为基础矩阵(Identity Matrix),绕环优化过程中亦可以将运动估计不准确的部分，还原为原始视频帧， 即将不能做路径优化的部分不做路径优化，部分结果变为原始的视频帧，或者 接近原始视频帧的位置，从而有效减小结果中的视频帧扭曲。自适应的绕环路 径优化可在减小视频帧扭曲并克服视频内容留存度过小问题的同时，有效抑制 视频中的低频分量，从而提升视频的稳定度。

本实施例中，路径优化的具体内容如下：

对串集合：F＝{F₀,F₀F₁,…F₀F₁..F_t-1F_t}中的每一个元素作平滑操作，可以 获得一个新的集合:H＝{H₀,H₀H₁,…H₀H₁..H_t-1H_t}。如图1所示，展示了初始 的相机运动位置和稳定后相机的运动位置之间的关系图，第一排为原始抖动帧， 帧间的运动由单应性变换模型F_t表示，第二排表示优化中或优化后的稳定帧，帧 间的运动由单应性变换模型H_t表示。每一个时刻t,帧由抖动位置(第一排)变 换到稳定位置(第二排)的变换矩阵表示为B_t，该变换矩阵B_t也是一个单应性变 换。

在平滑的过程中，对帧间运动模型矩阵中的相应位置作低通高斯滤波。具 体为：矩阵中的每一个位置作低通滤波，如图2所示，每一个九宫格表示一个单 应性变换矩阵F_t，将每一个对应格子里的值，连成一个串，组成一个信号，如左 上角信号可表征为a₀a₁a₂…a_t,除右下角为1外，共可获得8个有效信号。对8个 信号，分别独立的作平滑操作可获得平滑信号，平滑核心采用普通的高斯核心， 记为G，将这一平滑过程记录为：平滑之后可以获得每一帧对应的变换 矩阵B_t,进而算出稳定位置的变换H_t。

一次平滑操可以有效的去除掉视频中的高频分量，但却很难有效的去除掉 视频中的低频分量，因此需要多次滤波。这里涉及到一个绕环操作，即将H_t通 过F_t与B_t和B_t-1,表示出来。具体来说，绕环公式为：用绕环公式算出的H,替换原始路径中的F,就可以实施下一次的 平滑操作，直到消除视频中存在的低频分量为止。

在绕环计算中，还应当对平滑后的帧作扭曲度检测，对平滑后的帧作留存 度检测，具体如下：

1、对变换矩阵B_t作分析，可以获得视频帧扭曲量的客观反映值。变换矩阵 B_t亦为一个单应性变换，取其左上角四个元素，组成一个小的4x4矩阵$\left(\begin{array}{cc}a& b\\ d& e\end{array}\right),$对该矩阵作奇异值分解(singularvaluedecompositionSVD)分解,获得 $U\left(\begin{array}{cc}{\lambda }_1& 0\\ 0& {\lambda }_2\end{array}\right)V^T,$其主对角线上的比值κ＝λ₁/λ₂,可用来表征图形是否扭曲，该值 接近1，说明扭曲越小，反之则扭曲越大。

2、对变换矩阵B_t作分析，还可以获得该帧内容的留存度。如图3所示，通 过对4个角点进行单应性变换，可以获得一个新的四边形，在新四边形中寻找 最大内切矩形，虚线表示。可计算出最大内切矩形占原始矩形的面积比例，记 为π。

在每次平滑的过程中，观察κ与π的值，当κ<0.9或者κ>1.1或者π<0.8 的时候，即将该帧对应的转换矩阵B_t减半，减半方式为B_t＝B_t+I,其中I表示 单位矩阵，数值表示停止条件。直到所有帧的B_t对应的κ与π均满足第14条的条 件，结束运算。

运用减半的B_t将视频中的输入帧变换到稳定的位置上，采用的变换方式为 基于单应性变换的图像坐标变换(Imagewarping)。完成路径优化后，最后通 过图像变换渲染出最终稳定视频。

按照上述实施例，便可很好地实现本发明。值得说明的是，在上述技术方 案的前提下，为解决同样的技术问题，即使在本发明上做出一些无实质性的改 动或润色，所采用的技术方案的实质仍然与本发明一样，故其也应当在本发明 的保护范围内。