UMH块匹配运动估计与光流场运动估计相结合的一种帧率提升方法

摘要

本发明提供一种帧率提升的方法。该方法主要分为四个步骤，分别是图像分割，得到前景、背景以及物体边缘；对前景与背景采用可变尺寸块匹配运动估计，对物体边缘采用基于光流场的运动估计；对运动向量进行后处理，得到靠谱的运动矢量；采用重叠块运动补偿和双线性插值方法进行运动补偿，合成插入帧。本发明提出来的帧率提升的方法能够解决传统帧率提升方法中出现的光环效应、边缘块锯齿效应等问题，在帧率提升领域得到广泛的应用。

说明书

技术领域

本发明涉及一种帧率视频提升的方法，属于视频数据处理领域。

背景技术

视频的帧率提升方法是通过在原始帧率视频序列中插入预测的帧来提升低帧率视频的视觉质量，获取高帧率的视频。由于视频帧率提升多样化的应用，帧率提升技术在消费电子领域越来越重要。HDTV和多媒体PC系统可以播放比广播视频流帧率高的视频，视频帧率提升技术就可以应用到提升原始视频帧率来提高终端用户的观影效果。

目前视频帧率提升采用最多的方法是基于运动估计的运动补偿方法，大部分的帧率提升方法都是基于块匹配的运动估计方法。然而在前景与背景的交界处，由于运动的物体边缘块匹配的不准确性，导致估计出不准确的运动矢量，从而在闭塞的区域会出现光环效应、锯齿边缘等问题，导致帧率提升后的视频质量下降，影响终端用户的视觉效果。

发明内容

针对帧率提升中存在的光环效应、锯齿边缘的问题，本申请提供了一种运动物体检测的前景、背景分离，采用基于块匹配的运动估计和光流场运动估计相结合的视频帧率提升方法，用以提高帧率提升后的视频质量。

本发明的技术解决方案如下：

一种基于UMHexagonS块匹配运动估计和光流场运动估计相结合的视频帧率提升方法，其特征在于该方法包括以下步骤：

步骤1：对原始视频进行处理，采用帧间差法分离前景背景，并标记边缘像素点；

步骤2：采用可变尺寸UMHexagonS块匹配运动估计得到前景、背景的运动矢量；

步骤3：采用光流场运动估计得到运动物体边缘像素点运动矢量；

步骤4：对得到的运动矢量进行后处理；

步骤5：对前景和背景进行重叠块运动补偿，对物体边缘进行双线性插值运动补偿，得到插入帧；

步骤6：将插入帧和原始帧合成高帧率的视频。

优选地，在步骤2和步骤3中对前景、背景、物体边缘分别采用自适应运动估计方法，以提高物体边缘像素点运动矢量的准确性。

优选地，在步骤4中对得到的运动矢量进行可靠性判断，对不可靠的运动矢量进行中值滤波，以提高运动矢量的准确性。

优选地，在步骤5中进行重叠块运动补偿，以降低块效应、提高视频质量。

附图说明

图1：是本发明整体处理框图。

图2：UMHexagonS块匹配运动估计方法示意图。

图3：仿真结果图。

具体实施方式

本发明针对图像中物体的运动情况，分为前景、背景、边缘区域，分别采用尺寸可变块匹配运动估计方法、基于光流场运动估计的方法，对运动矢量后处理后采用重叠块运动补偿的方法构造插入帧，起到降低光环效应、边缘锯齿化的作用，达到重构高质量高帧率视频的目标。

下面结合具体实施例（但不限于此例）以及附图对本发明进行进一步的说明。

（一）对原始数字图像的处理：

（1）读入视频；

（2）设置计数器t=1,依次保存第i帧作为当前帧，第t+2帧作为下一帧，预留第t+1帧作为待插入帧；

（3）利用动态自适应阈值帧间差法进行运动目标检测来分离前景与背景。基于帧间差分的运动检测即帧差法，它根据相邻帧或隔帧图像间亮度变化的大小来检测运动目标。具体包括以下几个步骤：

a.通过公式(1)计算第t帧图像与第t+2帧图像的差分，记为D(x,y)：

D(x,y)＝|F_t+2(x,y)-F_t(x,y)|                     （公式1）

其中：F_t(x,y),F_t+2(x,y)分别表示t和t+2时刻的图像；

b.动态自适应阈值TH的选取，阈值TH的取值为帧差法中差分图的最高灰度值和最低灰度值差的1/2。通过步骤a记录D(x,y)的最大值为D_max,最小值为D_min，TH＝(D_max-D_min)/2；

c.对差分图像D(x,y)进行二值化处理，根据公式2进行图像分割：

$>R(x,y)=\left(\begin{array}{cc}0& D(x,y)>\mathrm{TH}\\ 1& D(x,y)\le \mathrm{TH}\end{array}\right)$>                      （公式2）

公式2中R(x,y)为二值化之后的差分图像，TH为图像分割的阈值。

（二）运动矢量的估计阶段：

（1）根据附图2所示，对于运动物体，采用块尺寸为4*4的UMHexagonS双向运动估计方法。具体步骤如下：

a.虚拟待插入帧第t+1帧，根据步骤（一）的分割结果，将前景物体所在的位置分为若干4*4的矩形块，依次对每一小块进行双向运动估计；

b.块匹配的准则如下：根据公式3计算第t帧与第t+2帧对应块的最小绝对误差和(Sum of Absolute Difference,SAD)，SAD定义如下：

$>\mathrm{SAD}[B_{i,j},v]=\underset{s\in B_{i,j}}{\Sigma }\left|f_t\right[s-v]-f_{t+1}[s+v]$>               （公式3）

其中，B_i,j为第t+1帧中要估计的块，v为候选的运动矢量，s为第t+1中要插入的像素点，f_t[s-v]为第t+1向前映射到第t帧中对应的像素点，f_t+1[s+v]为第t+1帧向后映射到第t+2帧中对应的像素点；

c.根据匹配准则，非对称十字型多层次六边形格点（UnsymmetricalMulti-resolution Hexagon,UMHexagonS）搜索方法采用了混合多层次搜索方式，具体步骤如下：

Step1:中心点的预测，对初始中心点首先进行中值预测，然后是上层预测，最后进行前帧对应块的运动矢量预测；

Step2:混合多层次的运动搜索；

Step2.1非对称十字搜索，然后以搜索到的最优点为中心点进行格点搜索，再以当前的最优点为中心点进行大六边形搜索；

Step2.2进行扩展六边形搜索，直到最优点为中心点或者达到最大搜索次数时停止；

Step2.3缩小搜索范围，进行菱形搜索，直到最优点为中心点或者达到最大搜索次数时停止。

（2）对于相对静止的背景，采用块尺寸为8*8的UMHexagonS搜索双向运动估计方法（具体的步骤如步骤（1））；

（3）对于前景与背景的边缘轮廓，采用基于光流场方法的运动估计。光流计算的基本模型是：假设在一个较小的空间临域上像素的亮度值保持恒定，通过最小二乘法最优化方法可以较快的计算出运动图像的局部光流场，具体步骤如下：

a.令f(x,y,t)表示连续的时空亮度分布,如果沿着运动轨迹其亮度保持不变我们可以得到：

$>\frac{\mathrm{df}(x,y,t)}{\mathrm{dt}}=0$>                               （公式4）

公式4中，x,y分别沿着运动轨迹随时间t变化。对公式4运用微分链式法则可以得到：

$>\frac{\partial f(x,y,t)}{\partial x}{v}_x(x,y,t)+\frac{\partial f(x,y,t)}{\partial y}{v}_y(x,y,t)+\frac{\partial f(x,y,t)}{\partial t}=0$>       （公式5）

公式5中，分别表示沿空间坐标的运动矢量的分量。公式5称为光流方程或光流约束条件，公式5还可以写成<矢量内积>的形式：

$>⟨▿f(x,y,t),v(x,y,t)⟩+\frac{\mathrm{df}(x,y,t)}{\mathrm{dt}}=0$>                （公式6）

b.运动场的流量矢量逐像素变化的最小值应当满足光流方程，令：

$>{ϵ}_{\mathrm{of}}\left(v(x,y,t)\right)=⟨▿f(x,y,t),v(x,y,t)⟩+\frac{\mathrm{df}(x,y,t)}{\mathrm{dt}}$>         （公式7）

公式7表示光流方程中的误差，当ε_of(v(x,y,t))等于0的时，满足光流方程。在有遮挡和噪声的情况下，求出ε_of(v(x,y,t))二次方的最小值。我们可以用正则化方法求光流，使下式最小：

$>\int {(▿\mathrm{fgv}+\frac{\partial f}{\partial t})}^2+\lambda \left(\right||{▿}_{v_x}{\left|\right|}^2+|\left|{▿}_{v_y}{\left|\right|}^2\right)\mathrm{dx}$>                   （公式8）

公式8中，$>{▿}_{v_x}={(\frac{{\partial }_{v_x}}{{\partial }_x},\frac{{\partial }_{v_x}}{{\partial }_y})}^T,{▿}_{v_y}={(\frac{{\partial }_{v_y}}{{\partial }_x},\frac{{\partial }_{v_y}}{{\partial }_y})}^T,$>是λ拉格朗日乘数，如果导数▽f和能比较精确的求出，参数可取较大者，否则可取较小者。

（三）运动矢量后处理阶段：

a.运动矢量可靠性的判断：

Step1：计算要判断块（记为B块）及其周围八个块的运动矢量的平均值：

$>v_m=\frac{1}{9}\underset{i=1}{\overset{9}{\Sigma }}{v}_i$>                            （公式9）

公式中v_m为平均值，v_i分别代表周围八个块的运动矢量。

Step2:计算差值：

$>\mathrm{Dn}=\frac{1}{8}\underset{i=2}{\overset{9}{\Sigma }}{|v}_m-v_i|$>                     （公式10）

公式中v_m为平均值，v_i代表B块的运动矢量。

Step3:计算平均差值：

Dc＝|v_m-v₁|                        （公式11）

Step4:判断，如果Dc＞Dn，则v₁为不可靠运动矢量，需要中值滤波。

b.对不可靠运动矢量进行中值滤波：

v_1smooth＝median[v₁,v₂,v₃,...,v₉]       （公式12）

（四）运动补偿阶段：对前景与背景物体采用重叠块运动补偿方法（OBMC），对前景与背景边缘采用双线性插值的运动补偿方法。当运动矢量估计不准确或物体运动不是简单的平移运动以及一个块中有多个不同物体运动时，采用重叠块运动补偿方法可以解决块效应问题。采用OBMC方法，一个像素的预测不仅基于其所属块的运动矢量的估计，还基于相邻块的运动矢量估计。

在传统的视频帧率提升方法中，对运动物体边缘做基于块的运动估计时，会使用到背景的像素点，这就造成了边缘估计的不准确性。在运动物体边缘采用基于像素点的运动估计就不会存在使用背景像素信息来估计运动物体像素信息的问题，从而可以得到正确的运动矢量，有效的解决了边缘光环效应和锯齿块问题。

如附图3所示，图中从左往右，从上到下一次分别为UMHexagonSexagonS块匹配运动估计直接运动补偿、重叠块运动补偿、光流场运动估计双线性插值运动补偿、本专利运动补偿仿真结果。

本发明采用标准YUV视频测试序列foreman序列得到仿真结果，与基于UMHexagonSexagonS运动估计补偿方法、基于光流场运动估计插值方法、重叠块运动补偿方法进行了比较，可以看出本发明的方法有效解决了边缘光环效应、边缘锯齿块的问题。