基于块合成的非均匀运动视频去模糊

摘要

随着便携视频录制设备的普及，录制视频成为人们记录生活的重要方式。然而非专业人士录制的视频往往由于运动物体或者手的抖动造成视频中存在运动模糊，并且这种运动模糊视频帧序列在时间和空间上模糊程度存在不一致性。目前视频去模糊方法，比如直接估计每一帧的运动模糊核并利用反卷积恢复视频帧的去模糊方法，要么产生人工痕迹，要么不能处理多个运动物体或者手无意抖动造成的运动模糊。此外，很难同时处理非均匀模糊并保持去模糊结果在时间和空间上保持一致性。
　　本文通过为视频中每一帧构建非均匀运动模糊模型，利用清晰块重建模糊块实现视频去模糊。我们发现采用基于单应性矩阵的运动模糊模型可以近似估计运动模糊，因此提出基于多层次单应性矩阵的视频去模糊方法来解决大尺度的相对运动模糊。该方法首先根据模糊帧与相邻的清晰帧的光流信息，将两帧之间存在的相对运动分割为独立的处理对象不同运动对象分别估计模糊核；清晰帧经过模糊核处理与模糊帧对齐匹配，从而在清晰帧中找到对应清晰区域替换模糊区域实现对视频中大幅度相对运动去模糊。然而，基于单应性矩阵的运动模糊模型很难真实表示运动模糊。为了找到模糊块对应的清晰块，我们重新估计非均匀运动模糊并采用基于块匹配的随机搜索策略处理不同帧之间旋转、尺度变换和模糊程度不同的问题题。为了更好区分不同运动物体，我们采用基于颜色和运动的超像素的分块替换规则分块的图像表示方法，利用每个分块上的运动信息估计非均匀运动模糊。为了进一步提高去模糊处理效率，本文采用GLSL实现算法的硬件加速。实验结果表明本文提出的方法可以解决存在复杂相对运动的模糊帧去模糊问题，相比于现有方法，处理结果从主观视觉上还是客观评价上都有明显优势。

目录

第一章 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 主要研究内容

1.4 本文创新点

1.5 本文组织结构

第二章 相关工作

2.1 视频帧配准

2.2 清晰块来源

2.3 模糊核估计

2.4 视频帧去模糊

2.5 本章小结

第三章 基于块合成的视频去模糊模型

3.1 去模糊原理和流程

3.2 基于单应性矩阵的模糊模型

3.3 视频帧去模糊

3.4 时间一致性

3.5 本章小结

第四章 基于运动分割的视频去模糊

4.1 基于光流的运动分割

4.2 模糊函数估计

4.3 块匹配与纹理合成

4.4 GPU并行加速

4.5 本章小结

第五章 基于动态场景的视频去模糊

5.1 光流的计算和应用

5.2 基于运动分割的超像素块

5.3 非均匀运动模糊核估计

5.4 基于PatchMatch的去模糊

5.5 空间一致性

5.6 GPU并行加速

5.7 本章小结

第六章 实验结果与分析

6.1 基于运动分割视频去模糊

6.2 基于运动场景的非均匀视频去模糊

全文总结

6.3 本文总结

6.4 将来工作

参考文献

致谢

攻读学位期间发表的学术论文

声明