一种基于分块模糊核集的非均匀视频盲去模糊方法

摘要

本发明涉及一种基于分块模糊核集的非均匀视频盲去模糊方法，属于视频处理技术领域；包括以下步骤：根据视频帧图像梯度大小检测模糊帧；使用清晰帧和模糊帧之间的特征匹配计算分块单应变换；通过分块单应变换的离散采样逼近模糊运动，并通过优化逼近误差计算模糊运动的速度参数；根据模糊运动速度获取各个分块对应的模糊核，并利用反卷积计算清晰的分块；将清晰的分块拼接得到清晰的帧图像，从而去除模糊帧。与已有方法相比，本发明方法采用多个模糊核描述视频帧的模糊运动，计算时不需设定初始值，增加了鲁棒性，对于非均匀的视频模糊处理更加高效；对视频中的清晰区域要求不高，增加了适用范围。

说明书

技术领域：

本发明涉及一种视频盲去模糊方法，具体涉及一种基于分块模糊核集的非均 匀视频盲去模糊方法，属于视频处理技术领域。

背景技术：

随着数码摄像机的普及，视频拍摄成为人们日常生活中重要的活动，在家 庭娱乐、影视制作、生产安防等方面有着重要的应用。但是，由于视频拍摄时 环境和使用人员的限制，拍摄的视频不可避免的存在画面模糊等问题，影响人 眼的观看感受和后期的进一步处理。

对于视频去模糊这一具有较高应用价值问题，国内外的学者已经做了大量 的基础研究。常用的视频去模糊方法主要包括两类：基于模糊核优化求解的方 法和基于图像合成的方法。基于模糊核优化求解的方法以D.Lee等人在IEEE  Transactions on Image Processing上的工作Video deblurring algorithm using  accurate blur kernel estimation and residual deconvolution based on a  blurred-unblurred frame pair为代表，使用视频帧之间的运动获取模糊帧潜在的清 晰图像，然后迭代优化求解模糊核。但是该方法使用单一的模糊核描述整个帧 图像的模糊运动，对于具有较大景深的视频场景去模糊效果较差。基于图像合 成的方法以S.Cho等人在ACM Transactions on Graphics上的工作Video  deblurring for hand-held cameras using patch-based synthesis为代表，通过清晰帧 上的清晰区域对模糊帧上的模糊区域进行合成。但是该方法对视频中的清晰区 域的分布要求较高，即如果模糊帧上的相关区域没有对应的其他帧上的清晰区 域，该方法将无法进行去模糊处理，从而影响最终的视频质量。

发明内容：

本发明的目的是针对视频序列中出现的模糊帧，为了使用户获得更清晰的 视觉感受，提出了一种基于分块模糊核集的非均匀视频盲去模糊方法。

本发明的思想是根据视频帧图像梯度大小检测视频序列中的模糊帧；使用 清晰帧和模糊帧之间的特征匹配计算分块单应变换；通过分块单应变换的离散 采样逼近模糊运动，并通过优化逼近误差计算模糊运动的速度参数；根据模糊 运动速度获取各个分块对应的模糊核，并利用反卷积计算清晰的分块；通过将 清晰的分块拼接得到清晰的帧图像，从而去除视频中的模糊。

本发明的的目的是通过以下技术方案实现的：

一种基于分块模糊核集的非均匀视频盲去模糊方法，包括以下步骤：

步骤一、检测模糊帧

对于视频的每一帧，检测该帧是否是模糊帧，若是，执行以下步骤；否则， 继续检测，直到没有模糊帧；

步骤二、视频帧网格化

将视频帧划分为由若干矩形分块组成的网格，记录网格中每个矩形角点的坐 标为

$\{X_{i,j}^t=(x_{i,j}^t,y_{i,j}^t)\in R^2\},$

其中，t表示视频帧索引数，i和j表示矩形角点的索引数，是第t帧视频中 (i，j)角点，是第t帧图像中(i，j)角点的二维坐标,R表示实数集，

将网格中每个矩形表示为

$Q_{i,j}^t=\{X_{i,j}^t,X_{i+1,j}^t,X_{i+1,j+1}^t,X_{i,j+1}^t\};$

步骤三、分别计算前后两个清晰帧与模糊帧之间的特征点匹配

对于每一个模糊帧，分别在模糊帧前面和后面寻找和模糊帧最近的清晰帧 作为参考，命名为前清晰帧和后清晰帧，分别检测模糊帧图像和前后清晰帧图 像上的特征点，并进行特征点匹配，得到彼此匹配的特征点对的集合{(p_t1,p_s1)} 和{(p_s2,p_t2)}。其中p_t1和p_t2分别是前后清晰帧上的特征点，p_s1和p_s2分别是模糊 帧上与p_t1和p_t2匹配的特征点；

步骤四、分别计算前清晰帧到模糊帧和模糊帧到后清晰帧的对应分块的单 应变换

对于每个分块，根据前清晰帧和模糊帧匹配的特征点，通过优化以下能量函 数计算每个分块对应的单应变换H_i，j，t-1：

$E\left(H_{i,j,t-1}\right)=\underset{p_{t1}\in Q_{i,j}^{t-1}}{\Sigma }{\left|\right|p_{s1}-H_{i,j,t-1}·p_{t1}\left|\right|}^2;$

根据模糊帧和后清晰帧匹配的特征点，通过优化以下能量函数计算每个分块 对应的单应变换H_i，j，t：

$E\left(H_{i,j,t}\right)=\underset{p_{s2}\in Q_{i,j}^t}{\Sigma }{\left|\right|p_{t2}-H_{i,j,t}·p_{s2}\left|\right|}^2;$

其中，t-1表示前清晰帧到模糊帧的单应变换，H_i，j，t-1是包含6个未知数， 最后一行是(0,0,1)的三阶矩阵，表示前清晰帧左上角角点索引为(i,j)的分块到 模糊帧对应分块的单应变换，t表示模糊帧到后清晰帧的单应变换，H_i，j，t是包含 6个未知数，最后一行是(0,0,1)的三阶矩阵，表示模糊帧左上角角点索引为(i,j) 的分块到后清晰帧对应分块的单应变换，p_t1，p_s1，p_t2，p_s2是三维列向量，前二 维分别是特征点的X和Y坐标，第三维设为1，双竖线符号表示二范数；

步骤五、计算模糊帧对应的模糊运动的速度

5.1 首先确定前后清晰帧中谁最靠近模糊帧，若是前清晰帧，则通过H_i，j，t-1对前清晰帧的每个分块进行图像变换和拼接得到图像L，若是后清晰帧，则通过 对后清晰帧的每个分块进行图像变换和拼接得到图像L，然后对图像L网格 化得到所有分块

5.2 利用前清晰帧到模糊帧和模糊帧到后清晰帧的单应变换作为参考，通过 优化以下能量函数计算模糊运动的速度参数 $w_{i,j}^t=\{w_{i,j,t-1}^1,w_{i,j,t-1}^3,...,w_{i,j,t-1}^{T-1},w_{i,j}^0,w_{i,j,t}^1,w_{i,j,t}^2,...,w_{i,j,t}^{T-1}\}:$

$E\left(w_{i,j}^t\right)={\left|\right|w_{i,j}^0{L}_{i,j}^t+\underset{l=1}{\overset{T-1}{\Sigma }}(w_{i,j,t-1}^l{H}_{i,j,t-1}^l\left(L_{i,j}^t\right)+w_{i,j,t}^l{H}_{i,j,t}^l\left(L_{i,j}^t\right))-b_{i,j}^t\left|\right|}^2+\lambda {\left|\right|a\left|\right|}^2;$

其中是模糊帧上的一个分块，是通过步骤5.1得到的与该分块对应的清晰 分块，表示用单应变换对进行图像变换，同理表 示用单应变换对进行图像变换,λ是预先设定的权值，a是一个大小为 2T-2的向量，其中第k个分量为中第k+1个分量与第k个分量的差； 是分别对单应变换H_i，j，t-1的逆和H_i，j，t进行T-1次离散采样得到的变 换，即

$\left(\begin{array}{c}{H}_{i,j,t-1}^l=\frac{T-l}{T}I+\frac{l}{T}{H}_{i,j,t-1}^{-1},\\ H_{i,j,t}^l=\frac{T-l}{T}I+\frac{l}{T}{H}_{i,j,t}\end{array}\right);$

其中T是预设的参数，l是离散采样的索引数，I是3阶单位矩阵；

步骤六、计算分块的模糊核图像

根据预设的模糊核图像的大小，将中心位置是白色像素的核图像按照计算得 到的运动速度和离散采样的变换进行图像变换，得到中心白色像 素的运动轨迹，并且将轨迹上的像素灰度设为相应的中的值，从而得到每一 个分块的模糊核图像

步骤七、反卷积计算清晰帧

对于每一个分块，利用反卷积的方法计算下面公式中对应的清晰分块

$b_{i,j}^t=L_{i,j}^t\otimes K_{i,j}^t;$

其中是卷积符号。在得到每个分块对应的清晰图像后，将清晰的分块拼接， 最终生成模糊帧对应的清晰帧。

有益效果：

对比传统视频去模糊方法，本发明方法具有以下优势：

(1)传统的基于模糊核的视频去模糊方法采用单一核函数进行反卷积求解， 无法有效处理非均匀的视频模糊，而且依赖于初始模糊核的估计，算法鲁棒性 较差。本方法采用多个模糊核描述视频模糊运动，能够有效处理非均匀的视频 模糊，而且计算时不需要设定模糊核的初始值，增加了鲁棒性。

(2)传统的基于图像合成的视频去模糊方法对视频中出现的清晰区域要求 比较高，限制了能够进行去模糊的视频的范围。本方法不需要对模糊帧上每个 模糊区域都有对应的清晰区域，因此适用的范围更加广泛。

综上所述，本发明方法可以更加高效地处理视频序列中的模糊帧，得到清晰 的视频帧图像。

附图说明：

图1是本发明实施例一种基于分块模糊核集的非均匀视频盲去模糊方法流 程示意图。

图2是本发明方法与其他方法是对人工模糊图像的去模糊实验结果对比图。

图3是本发明方法与其他方法对自然的均匀运动模糊图像的去模糊实验结 果对比图。

图4是本发明方法与其他方法对自然的非均匀运动模糊图像的去模糊实验 结果对比图。

具体实施方式

下面将结合附图和实施例对本发明加以详细说明，同时也叙述了本发明技 术方案解决的技术问题及有益效果，需要指出的是，所描述的实施例仅旨在便 于对本发明的理解，而对其不起任何限定作用。

实施例

一种基于分块模糊核集的非均匀视频盲去模糊方法，具体实现步骤如下：

步骤一、检测模糊帧

模糊帧检测方法有很多，例如Niranjan等人提出的基于累计概率的非参考图 像模糊检测方法(Niranjan D.Narvekar and Lina J.Karam,Senior Member,IEEE,‖ A No-Reference Image Blur Metric Based on the Cumulative Probability of Blur  Detection(CPBD)‖,IEEE TRANSACTIONS ON IMAGE PROCESSING,VOL.20, NO.9,SEPTEMBER 2011.)，还有基于小波变换的模糊检测方法(Tong H., Mingjing L.,Hongjiang Z.,Changshui Z.:，，Blur detection for digital images using  wavelet transform.IEEE Int.Conf.on Multimedia and Expo(ICME),2004,pp. 17–20.)等。

本实施例采用的模糊帧检测方法如下：对于视频的每一帧，统计帧图像的像 素的梯度，计算整幅帧图像的梯度大小的平均值。如果该帧平均梯度值小于预 定阈值T，则该帧是模糊帧。

本实施例中阈值T为该视频所有帧的平均梯度值中最大值的二分之一。

步骤二、视频帧网格化

将视频的每一帧划分为由若干矩形分块组成的网格，记录网格中每个矩形角 点的坐标为

$\{X_{i,j}^t=(x_{i,j}^t,y_{i,j}^t)\in R^2\},$

其中，t表示视频帧索引数，i和j表示矩形角点的索引数，是第t帧视频中 (i，j)角点，是第t帧图像中(i，j)角点的二维坐标，R表示实数集。

将网格中每个矩形表示为

$Q_{i,j}^t=\{X_{i,j}^t,X_{i+1,j}^t,X_{i+1,j+1}^t,X_{i,j+1}^t\}.$

步骤三、分别计算前后两个清晰帧与模糊帧之间的特征点匹配

对于每一个模糊帧，分别在模糊帧前面和后面寻找和模糊帧最近的清晰帧 作为参考，命名为前清晰帧和后清晰帧。特征点检测方法很多，例如SIFT方法 (D.G.Lowe.Object recognition from local scale-invariant features.In Proc.ICCV, pages 1150–1157,1999.)，SURF方法(Bay H,Tuytelaars T,Van Gool L.Surf: Speeded up robust features[M]//Computer Vision–ECCV 2006.Springer Berlin  Heidelberg,2006:404-417.)，还有ORB方法(RUBLEE E，RABAUD V， KONOLIGE K,et al.ORB:an efficient alternative to SIFT or SURF[C].IEEE  International Conference on Computer Vision,2011:2564-2571.)等,本实施例采用 SIFT方法分别检测模糊帧图像和前后清晰帧图像上的特征点，并使用匈牙利匹 配算法进行特征点匹配，得到彼此匹配的特征点对的集合{(p_t1,p_s1)}和{(p_s2,p_t2)}。 其中p_t1和p_t2分别是前后清晰帧上的特征点，p_s1和p_s2分别是模糊帧上与p_t1和 p_t2匹配的特征点。

步骤四、分别计算前清晰帧到模糊帧和模糊帧到后清晰帧的对应分块的单 应变换

为了估计模糊帧形成时的模糊运动，对于每个矩形分块，计算前清晰帧到模 糊帧以及模糊帧到后清晰帧之间的单应变换。首先计算前清晰帧到模糊帧的单 应变换，根据前清晰帧和模糊帧匹配的特征点，优化以下能量函数计算每个分 块对应的单应变换H_i，j，t-1，不失一般性，本实施例中采用最小二乘优化算法最小 化以下能量函数求解：

$E\left(H_{i,j,t-1}\right)=\underset{p_{t1}\in Q_{i,j}^{t-1}}{\Sigma }{\left|\right|p_{s1}-H_{i,j,t-1}·p_{t1}\left|\right|}^2$

其中，t-1并不是视频帧索引数，而是表示这是前清晰帧到模糊帧的单应变 换，H_i，j，t-1是包含6个未知数，最后一行是(0,0,1)的三阶矩阵，表示前清晰 帧左上角角点索引为(i,j)的分块到模糊帧对应分块的单应变换，p_t1，p_s1是三维 列向量，前二维分别是特征点的XY坐标，第三维设为1。双竖线符号表示二范 数。

接着，计算模糊帧到后清晰帧的单应变换，根据模糊帧和后清晰帧匹配的特 征点，优化以下能量函数计算每个分块对应的单应变换H_i，j，t，不失一般性，本实 施例中采用最小二乘优化算法最小化以下能量函数求解:

$E\left(H_{i,j,t}\right)=\underset{p_{s2}\in Q_{i,j}^t}{\Sigma }{\left|\right|p_{t2}-H_{i,j,t}·p_{s2}\left|\right|}^2$

其中，t并不是视频帧索引数，而是表示这是模糊帧到后清晰帧的单应变换， H_i，j，t同样是包含6个未知数，最后一行是(0,0,1)的三阶矩阵，表示模糊帧左 上角角点索引为(i,j)的分块到后清晰帧对应分块的单应变换，p_t2，p_s2是三维列 向量，前二维分别是特征点的XY坐标，第三维设为1。

步骤五、计算模糊帧对应的模糊运动的速度

首先确定前后清晰帧中谁最靠近模糊帧，若是前清晰帧，则通过H_i，j，t-1对前 清晰帧的每个分块进行图像变换和拼接得到图像L，若是后清晰帧，则通过对后清晰帧的每个分块进行图像变换和拼接得到图像L，然后对图像L网格化得 到所有分块

利用前清晰帧到模糊帧和模糊帧到后清晰帧的单应变换作为参考，通过优化 以下能量函数计算模糊运动的速度参数 $w_{i,j}^t=\{w_{i,j,t-1}^1,w_{i,j,t-1}^3,...,w_{i,j,t-1}^{T-1},w_{i,j}^0,w_{i,j,t}^1,w_{i,j,t}^2,...,w_{i,j,t}^{T-1}\},$其中的分量表示权 重：

$E\left(w_{i,j}^t\right)={\left|\right|w_{i,j}^0{L}_{i,j}^t+\underset{l=1}{\overset{T-1}{\Sigma }}(w_{i,j,t-1}^l{H}_{i,j,t-1}^l\left(L_{i,j}^t\right)+w_{i,j,t}^l{H}_{i,j,t}^l\left(L_{i,j}^t\right))-b_{i,j}^t\left|\right|}^2+\lambda {\left|\right|a\left|\right|}^2$

其中是模糊帧上的一个分块，是前面得到的与该分块对应的清晰分块， 表示用单应变换对进行图像变换，同理表示用单 应变换对进行图像变换,λ是预先设定的权值。本方法设定λ＝5。a是一 个大小为2T-2的向量，其中第k个分量为中第k+1个分量与第k个分量的 差。是分别对单应变换H_i，j，t-1的逆和H_i，j，t进行T-1次离散采样得到 的变换，即

$\left(\begin{array}{c}{H}_{i,j,t-1}^l=\frac{T-l}{T}I+\frac{l}{T}{H}_{i,j,t-1}^{-1},\\ H_{i,j,t}^l=\frac{T-l}{T}I+\frac{l}{T}{H}_{i,j,t}\end{array}\right)$

其中T是预设的参数。本方法设定T＝20。l是离散采样的索引数。I是3阶单位 矩阵。本实施例中采用严格凸规划方法对能量函数优化求解，得到模糊运 动的速度参数。

步骤六、计算分块的模糊核图像

本实施例中预先设定模糊核图像的长、宽各为40个像素，中心位置像素灰 度值设为然后将模糊核图像的中心像素按照离散采样得到的一系列单应变 换进行变换，即每一个单应变换都分别乘上中心像素的坐标，以此 跟踪中心像素的位置，最终得到一系列坐标的集合，即是中心像素的运动轨迹， 之后根据坐标集合，将模糊核图像上对应像素点的灰度值设为相应的中的 值，即对于变换灰度值设为对于变换灰度值设为模糊核图像其他像素点的灰度值设为0，从而得到每一个分块的模糊核图像

步骤七、反卷积计算清晰帧

对于每一个分块，利用反卷积的方法计算下面公式中对应的清晰分块

$b_{i,j}^t=L_{i,j}^t\otimes K_{i,j}^t$

其中是卷积符号。在得到每个分块对应的清晰图像后，将清晰的分块拼接， 生成模糊帧对应的清晰帧，最终得到清晰的视频。

实验结果：

如图2所示是采用不同方法在分别使用单一模糊核和多模糊核人工合成的 模糊图像上的去模糊效果对比图。(a)的顶部和底部分别是用来合成模糊图像的 模糊核与原始的清晰图像；(b)用单一模糊核人工合成的模糊图像以及不同方法 的去模糊结果(正方形框内)；(c)用多模糊核人工合成的模糊图像以及不同方法 的去模糊结果(正方形框内)；对于(b)和(c)，顶部从左到右依次为模糊图像， high-quality image deblurring方法结果(Q.Shan,J.Jia,and A.Agarwala, “High-quality motion deblurring from a single image,”ACM Trans.Graph.,vol.27, no.3,pp.73–82,Aug.2008.)，L₀-sparse image deblurring方法结果(L.Xu,S.Zheng, and J.Jia,“Unnatural l0 sparse representation for natural image deblurring,”CVPR, pp.1107–1114,2013.)，底部从左到右依次为bilinear image deblurring方法结果(O. Whyte,J.Sivic,A.Zisserman,and J.Ponce,“Non-uniform deblurring for shaken  images,”Int.J.Comput.Vision,vol.98,no.2,pp.168–186,Jun.2012.)， patch-synthesis based video deblurring方法结果(S.Cho,J.Wang,and S.Lee, “Video deblurring for hand-held cameras using patch-based synthesis,”ACM Trans. Graph.,vol.31,no.4,pp.64–72,Jul.2012.)，以及本发明实验结果。通过对比可以 看出，总体上大部分的方法在处理人工合成的均匀模糊图像的时候都能够得到 不错的去模糊效果，但是我们的方法在边缘部分能够得到更清晰的结果；而对 于人工合成的非均匀模糊图像，以前的方法只在图像的一些局部区域有去模糊 效果，或者会引起过平滑的现象，然而我们的方法却能够在整张图像上得到很 好的去模糊效果。

如图3所示是采用不同方法对自然图像中均匀运动模糊图像的去模糊效果 对比图。图像中用黑线分割出了六个区域，顶部从左至右依次为输入的模糊图 像，high-quality image deblurring方法结果，L₀-sparse image deblurring方法结果， 底部从左至右依次为bilinear image deblurring方法结果，patch-synthesis based  video deblurring方法结果，以及本发明方法实验结果。

如图4所示是采用不同方法对自然图像中非均匀运动模糊图像的去模糊效 果对比图。图像中用黑线分割出了六个区域，顶部从左至右依次为输入的模糊 图像，high-quality image deblurring方法结果，L₀-sparse image deblurring方法结 果，底部从左至右依次为bilinear image deblurring方法结果，patch-synthesis based  video deblurring方法结果，以及本发明方法实验结果。通过图3和图4可以看出， high-quality image deblurring方法和L₀-sparse image deblurring方法由于不精确的 模糊核估计而导致许多振铃效应的产生。另外，bilinear image deblurring方法的 实验结果中依然存在明显的模糊。patch-synthesis based video deblurring方法可以 得到不错的结果，但去模糊后图像有些过平滑。而本发明的实验结果因为采用 更精确的分块模糊核集估计所以能够得到更好的去模糊效果。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步 详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于 限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等 同替换、改进等，均应包含在本发明的保护范围之内。