基于视频图像序列的背景虚化

摘要

随着时代的发展和潮流的进步，人们越来越多的使用譬如手机等移动设备来拍照和拍摄视频。然而移动设备由于受到硬件条件的限制，拍摄的作品往往无法和单反相机相媲美，拍摄出背景虚化效果的照片就是其中之一。为了模仿单反相机的背景虚化效果，本文提出了一种基于视频图像序列的深度恢复算法，通过恢复场景深度来确定场景的景深层次，从而来模拟背景虚化效果。
　　本文利用一段场景视频中的一系列图像序列对场景进行深度重建。首先为了排除视频拍摄中对焦失败对深度恢复造成的影响，对视频图像序列进行了虚焦重建，保证每一帧候选图片都是清晰的。使用了基于图像块搜索的方法通过借助相邻清晰图像帧来对虚焦模糊的图像进行重建，并使用马尔科夫随机场来保证重建图像空间上的一致性。然后从重建后的视频图像序列的运动信息中恢复出场景的三维结构，使用平面扫描法对整个三维场景深度进行重建并使用马尔科夫随机场和引导滤波对深度进行优化。最后对求得的三维场景深度进行分层，并设计一个与用户交互的界面，对于被用户选中的场景层次作为前景，并对背景进行虚化操作。
　　使用手机对现实生活中的场景进行了拍摄，利用得到的视频图像序列对算法进行了测试和验证，实验结果表明本文的深度恢复算法能够很好的对场景三维信息进行重建，其中虚焦重建的结果也使深度重建更加鲁棒，背景虚化效果也比较令人满意。

目录

声明

摘要

图目录

第1章 绪论

1．1 课题背景

1．2 课题难点

1．3 本文工作

1．3．1 虚焦图像重建

1．3．2 多视角深度重建和背景虚化

1．4 本文组织和逻辑结构

1．4．1 组织结构

1．4．2 逻辑结构

1．5 本章小结

第2章 图像虚焦重建和深度恢复技术综述

2．1 图像虚焦重建技术

2．1．1 基于块匹配的图像重建技术

2．1．2 图像虚焦模糊估计

2．1．3 图像虚焦模糊重建

2．2 深度恢复和背景虚化技术

2．2．1 背景虚化技术

2．2．2 基于单目视图的深度恢复

2．2．3 基于多目图像的深度恢复

2．3 本章小结

第3章 虚焦图像重建

3．1 研究背景

3．2 图像块匹配

3．2．1 候选图像选择

3．2．2 图像对齐

3．2．3 图像块清晰度衡量

3．2．4 图像块相似度衡量

3．3 单帧图像虚焦模糊重建

3．4 实验结果与分析

3．4．1 实验结果

3．4．2 实验结果分析

3．5 本章小结

第4章 多视角深度重建和背景虚化

4．1 研究背景

4．2 多视角深度重建

4．2．1 摄像机标定

4．2．2 计算相机外参数

4．2．3 场景深度重建

4．2．4 深度图优化

4．3 背景虚化

4．3．1 深度分层

4．3．2 背景虚化

4．4 实验结果与分析

4．4．1 深度恢复的实验结果

4．4．2 背景虚化的结果

4．4．3 性能分析

4．5 本章小结

第5章 总结及展望

5．1 工作总结

5．2 未来展望

参考文献

致谢