具有前景目标的动态场景视频快速稳像方法

摘要

本发明属于计算机图像处理领域，涉及一种具有前景目标的动态场景视频快速稳像方法，包括：对于一帧图像，选定一个模板，将其平分成多个子块；分别计算各个子块与其上一行或上一列对应子块对应子块之间的像素绝对差，并对各个像素绝对差求均值；对于每个子块，求取其与上、下、左、右四个位置的子块之间的像素绝对差设定阈值T＝AD及阈值T′(T′＜T)，对于每个子块Ci，j，如果则认为子块Ci，j为前景目标模块；对所有图片进行前景目标分离；对图像进行运动补偿，得到稳像后的图像。本发明可以大大减少参与计算的模块数量，可以提高前景目标分离的精度和速度。

说明书

技术领域

本发明属于计算机图像处理领域，可用于视频序列电子稳像等相关领域。

背景技术

在实际工程中，摄像机拍摄的内容往往不仅仅是自然背景，还包含许多运动的前景目标，如行人、车辆等等，这些运动目标使得视频图像内部产生一定的局部运动。在进行稳像处理时，全局运动矢量的估计精度会受到这些局部运动的影响而降低，从而影响稳像的最终效果，因此在求取运动参数时需要先对前景运动目标进行提取，以去除干扰，提高参数估计的精度运动目标的提取技术，是图像处理技术中一个比较热门的课题，主要可以分为静止背景下的运动目标提取与运动背景下的目标提取两大类，对于抖动的视频序列，背景大多是变化的，因此运动背景下景目标的提取技术在实际电子稳像过程中就显得尤为重要。动态背景下的运动目标提取是运动目标提取领域的难点之一，目前通常采用基于监督分类和运动矢量场的方法解决。基于监督分类的方法主要是通过对大量的做了类别标记的样本数据进行学习，从问题中取得训练范例的输入变数值和对应的目标输出变数值，进而从中学习输入和目标输出间的关系，并运用到实际图形中，提取运动目标，基于运动矢量场的方法，则需要先将相邻图像进行配准，进行运动补偿后再进行差分运算，以实现前景运动目标的提取。

以上两种方法虽然都有各自的优势，且都取得了不错的效果，但这两种方法也都有自己的不足之处，基于监督分类的方法虽然能够实现运动背景下的运动目标提取，但需要事先进行学习和训练，而且在实际应用中，获取大量用于训练和测试的已标记(已知类别)样本是很困难的，因此该算法具有很大的局限性；基于运动矢量场的方法虽然能够比较准确地提取出前景运动目标，但需要事先进行整幅图像的运动参数估计，并需要基于运动场对视频图像进行分割，计算量大，这使得它的应用范围受到了很大程度的限制。因此，需要寻求一种新的目标提取方法，该方法应该在保证运动目标提取效果的同时，尽可能地节省时间，以满足实际工程的需要。

发明内容

在具有前景目标的动态场景视频快速稳像算法中，现有的运动目标提取方法比较复杂，实时性差，不能取得令人满意的效果，而在许多实际工程中，对实时性的要求也比较高，因此传统方法将会影响到后续的运动估计等操作的效果，为了解决这一问题，本发明提出一种能够在保证运动目标提取效果的同时，有效减少用于参与计算的模块数量，提高运算速度的动态场景视频快速稳像方法。本发明的技术方案如下：

一种具有前景目标的动态场景视频快速稳像方法，包括下列步骤：

1)对于一帧图像，选定一个模板，将其平分成m×n大小为M×M的子块，平分后的每个子块记为C_i，j(i＝1，K，m；j＝1，K，n)，子块C_i，j所在的行为第i行，所在的列为第j列；

2)按照下列公式分别计算第i行的所有子块与第i-1行对应子块以及第j列的所有子块与第j-1列对应子块之间的像素绝对差，记为及其中，x_i，j、y_i，j为子块C_i，j左上角顶点的坐标，f(x，y)为当前帧x，y处的灰度值；

3)对于子块C_i，j，令其周围上、下、左、右四个位置的子块为R_u、R_d、R_l、R_r，则子块C_i，j和R_u、R_d、R_l、R_r之间的像素绝对差记为

4)计算和的均值

5)设定上限阈值T＝AD，并选定一个合适的下限阈值T′(T′＜T)，对于没有位于模板边界上的每个子块C_i，j，如果则认为子块C_i，j为前景目标模块；

6)利用上述方法对所有帧图片进行前景目标分离，得到用于运动估算的剩余模块；

7)完成前景目标分离后，根据运动估算求得的仿射变换参数对图像进行运动补偿，得到稳像后的图像。

本发明针对动态视频序列中前景运动目标影响全局运动矢量估计精度的问题，提出了一种基于块绝对差分的方法来提取前景目标，通过设定阈值来预判背景模块是否具有足够的梯度信息来估计运动矢量，最后利用求解超定方程等传统方法获取全局运动参数的动态场景视频快速稳像方法。本发明相对于基于监督分类和运动矢量场等传统的前景目标提取算法的改进之处在于：事先不需要进行帧间的配准，同时通过设定相关阈值来确定背景模块是否具有足够的梯度信息。与原方法相比最大的优点是：大大减少了参与计算的模块数量，可以提高前景目标分离的精度和速度。

附图说明

图1为采用阈值判定时的前景目标提取效果图，黑色部分为判定出的背景模块。

图2为采用判定时的前景目标提取效果图，黑色部分为判定出的图像中影响运动矢量估计精度和速度的模块。

图3为采用判定时的前景目标提取效果图，彩色部分为分离出前景目标后最终得到的背景目标。

图4的左图、中图和右图分别为实际交通监控视频中连续3帧中的第一帧、第二帧和第三帧视频图像。

图5为采用本发明对图4中的连续3帧图像进行前景目标提取的结果。

图6为采用本发明对图4中的连续3帧图像分离视频前景目标，用于运动参数估算的模块选取结果。

图7为对图4中的连续3帧图像稳像后的效果。

图8和图9分别是图4中的连续3帧在稳像前后的视频序列帧间差分结果。

图10为连续30帧视频序列稳像前后的帧间PSNR。

具体实施方式

以下通过附图和实施例对本发明做进一步的说明。

本发明提供的是一种结合了块绝对差分和预判局部模块的前景目标提取算法，其具体步骤如下：

1)首先将整幅图像粗定位出一个模板f，f的上、下、左、右四个边距离整幅图像的四个边均大于M个像素点，且保证该模板能平分成m×n大小为M×M的子块，平分后的每个子块记为C_i，j(i＝1，K，m；j＝1，K，n)，C_i，j所在的行就是第i行，所在的列就是第j列。

2)计算第i行(或第j列)的所有子块与第i-1行(或第j-1列)对应子块之间的像素绝对差，记为(或)：

$>D_{i,j}^{\mathrm{row}}=\underset{m=1}{\overset{M}{\Sigma }}\underset{n=1}{\overset{M}{\Sigma }}|f(x_{i,j}+m,y_{i,j}+n)-f(x_{i,j}+m,y_{i,j}-M+n)|$>(1)

$>D_{i,j}^{\mathrm{col}}=\underset{m=1}{\overset{M}{\Sigma }}\underset{n=1}{\overset{M}{\Sigma }}|f(x_{i,j}+m,y_{i,j}+n)-f(x_{i,j}-M+m,y_{i,j}+n)|$>

其中x_i，j、y_i，j为当前块C_i，j左上角顶点的坐标，f(x，y)为当前帧x，y处的灰度值，M×M即为块的大小。对于当前块C_i，j，令其周围的块为R_u、R_d、R_l、R_r(分别表示上、下、左、右四个位置)，则当前块C_i，j和R_u、R_d、R_l、R_r之间的像素绝对差记为

$>D_{i,j}^1=D_{i,j}^{\mathrm{row}},D_{i,j}^2=D_{i+1,j}^{\mathrm{row}}$>(2)

$>D_{i,j}^3=D_{i,j}^{\mathrm{col}},D_{i,j}^4=D_{i,j+1}^{\mathrm{col}}$>

3)计算和的均值AD：

$>\mathrm{AD}=\frac{1}{(m+1)\times (n+1)}\underset{i=1}{\overset{m+1}{\Sigma }}\underset{j=1}{\overset{n+1}{\Sigma }}(D_{i,j}^{\mathrm{row}}+D_{i,j}^{\mathrm{col}})---\left(3\right)$>

设定阈值T＝AD，如果则认为当前块为前景目标，否则用黑色块替换当前块，如图1所示。其中min表示取最小值。

4)若直接将图1所示的黑色区域作为运动估算模块，则参与计算的模块会很多，从而增加运动矢量估计的运算量，而且可能会存在导致不准确运动矢量估计的模块，因此，本发明采用预判局部模块的方法，即通过设定一个合适的下限阈值T′(T′＜T)来判断当前模块是否具有足够的梯度信息来估计运动矢量。当即可去除图像中影响运动矢量估计精度和速度的模块，如图2所示。再将前景目标模块从图2中分离出去，剩余的模块即可作为运动估算模块，如图3所示。本发明设定了下限阈值T′和上限阈值T，根据选取符合条件的前景模块，选用的模块数N可以通过T′来调整，若满足N_min＜N＜N_max(其中N_min、N_max为N的阈值)，则结束模块选取的操作，否则调整T′，重复选取估算模块。

至此，前景目标分离与特定估算模块的选择操作结束，图3即为当T′＝AD/2时设定的运动估算区域，图中的前景目标几乎全部被舍去，可以保证运动矢量估计的精度和速度。

5)完成前景目标分离后，即可采用图3中的运动模块通过牛顿迭代或求解超定方程等方法求出仿射变换参数，并对图像进行运动补偿，从而得到稳像后的图像。

选用实际交通监控视频对本发明提出的方法进行仿真实验，其中连续3帧视频图像如图4所示，图像分辨率大小为320×240。从图中可以看出，视频图像出现了明显的晃动，属动态背景，且图中来往行进的车辆较多，视频帧间存在较大的局部运动。

首先将图像分成大小为16×16的小块，利用本发明对前景目标进行提取，前景目标模块提取结果如图6所示。

从图5中可以看出，视频序列中的前景目标(车辆)已基本提取出来。此时，计算得到的AD(即阈值T)在900～920之间。如果直接选择图中黑色区域(即背景模块)用于全局运动参数估计，则参与计算的模块会很多，这会在很大程度上影响块匹配及运动矢量估计的计算量。因此，本发明采用预判局部模块的方法，在进行运动矢量估计前，通过设定预判阈值T′＝AD/2，对模块运动矢量估计的可靠性进行预判，剔除可能会导致不准确运动矢量估计的模块，只选定满足条件的模块用于运动参数估计，提取的模块如图6所示。

从图5，6中可以看出，本发明成功地分离了视频序列中的前景目标，图6中参与运动参数估计的模块数量仅为50个左右，约为整幅图像模块数量的1/6，大大减少了计算量。

为了验证选定的模块对运动矢量估计的有效性，本发明在实际监控视频中选取了连续30帧图像进行稳像实验。利用模板匹配算法，获得初始阈值T₀＝100，再分别对提取前模块、图5中的黑色区域模块(背景模块)，以及经过预判筛选后的模块进行块匹配，实验结果如表1所示。

表1选取不同运动估算模块对匹配结果的影响效果

从表1可以看出，与原始模块和前景目标提取后的背景模块相比，经过预判筛选后的模块数量明显减少，从而大大降低了模块匹配的计算量，平均匹配时间仅约为用原始模块进行计算的1/5，用背景模块进行计算的1/4，且补偿后的图像帧间PSNR值也略高于用原始模块和背景模块进行匹配后的结果。上述结果表明，采用块绝对差分和预判局部模块的方法，不仅大大减小了用于运动参数估计的模块数量，减少了运算时间，而且剔除了可能会导致不准确运动矢量估计的模块，提高了模板匹配的准确度。

利用本发明对实际交通监控视频进行稳像处理，图4中3帧图像补偿后效果如图7所示，从图中可以看出，本发明成功去除了视频画面的抖动。

图8和图9分别是稳像前后的视频序列帧间差分结果，从图中可以看出，稳像前帧间差值结果明显，即相邻帧间具有明显的偏移量，而补偿后的相邻帧基本重合，仅有部分前景运动目标，取得了较好的稳像效果。

连续30帧视频序列稳像前后的帧间PSNR如图10所示，从图中可以看出，稳定后图像序列帧间的PSNR值明显高于原序列的PSNR，平均高出约7dB，说明本发明对具有前景目标的动态视频序列取得了较好的稳像效果。