基于机器学习的单目视频深度恢复

摘要

单目视频的深度恢复是计算机视觉领域的一个很重要的问题，尤其在3D电影越来越受追捧，各种3D设配，3D应用兴起的当下。人们越来越追求3D视觉的享受，通过对单目视频实现深度恢复，可以减少制作3D电影的制作成本，同时可以扩大3D市场的片源。越来越多的研究人员将研究的焦点对准了视频的深度恢复，这不仅仅是商业化市场的需要，同时也是技术发展的要求。
　　 在2D转3D的研究中，最近几年的研究热点是如何通过机器学习的方法来实现视频深度恢复，之所以焦点对准机器学习，是因为机器学习的方法，相对于传统视觉几何方法，更具普遍性。传统的通过分析不同视频特点，解决特定问题深度恢复的解决方案，虽然会有更好的视觉效果，可是使用的场景受限，算法的工业化意义降低。
　　 本文提出的算法是以视频分割为基础，融入了机器学习的方法，同时为了提高算法的适用性，加入了用户的输入信息。作为输入的用户信息对于恢复视频的深度信息，具有很好的指导意义。
　　 本文实现的基于机器学习的单目视频深度恢复，首先考虑到算法的适用性，以及实验重点，所需要的分割信息以及预处理时的深度信息，作为输入信息给定，给定某些帧的分割信息以及深度信息;其次通过GMM模型，基于SIFT流的信息传递以及基于形状先验的分割信息传递，将人工处理的分割信息传递到相邻视频帧，并通过插值法获得前景区域的深度信息;最后对于背景区域的深度恢复，采用SIFT流传递深度信息，采用图像补全技术进行补全。图像补全技术的限制，本文提出采用机器学习的方法，来实现未知区域的深度优化。
　　 本文详细的介绍了算法实现的细节，同时实验的结果表明，本文提出的算法具有鲁棒性，以及很好的实用性。

目录

声明

摘要

第1章 绪论

1．1 课题背景

1．2 单目视频深度恢复概述

1．3 动态场景深度恢复

1．3．1 高斯混合颜色模型

1．3．2 基于SIFT流的运动信息映射

1．3．3 基于形状先验的信息映射

1．4 静态背景深度恢复技术概要

1．4．1 洪泛法(Flood Fill)图像补全

1．4．2 Graph Cut能量优化

1．4．3 时域一致性立体优化

1．5 机器学习在深度恢复中的应用

1．5．1 基于Laws纹理模版的特征向量

1．5．2 支持向量机(Support Vector Machine，SVM)分类原理

1．6 本文的研究内容及主要贡献

1．7 本章小结

第2章 基于分割的视频深度恢复

2．1 问题描述与算法概述

2．2 动态场景的深度恢复方法

2．2．1 关键帧处理

2．2．2 非关键帧的前景处理

2．3 静态场景的深度恢复方法

2．3．1 基于SIFT流的深度映射

2．3．2 基于洪泛法的图像补全技术

2．4 实验结果

2．5 本章小结

第3章 基于机器学习方法的图像补全及其他应用

3．1 问题描述

3．2 图像的特征表达

3．3 训练数据的优化

3．4 SVM训练及预测

3．5 局部优化

3．6 使用机器学习方法的深度恢复

3．7 实验结果与讨论

第4章 总结与展望

4．1 总结

4．2 展望

攻读硕士学位期间主要的研究成果

致谢

参考文献