基于GIST特征匹配与SIFT流的2D-3D图像转换方法研究

摘要

随着3D电影放映银幕的增多和3D硬件产品的进一步普及，现有的3D媒体资源已经远远不能满足日益增长的市场需求。为了解决这一问题促进3D产业发展，人们开始尝试将已有的2D媒体资源加工处理，比如说专业拍摄所得的电影和电视剧，或者日常生活中随手拍的平面照片和视频，将其转换成可以在立体终端显示的3D资源，而人们可以借助一些3D辅助设备进行观看
　　本文研究的是一种自动的2D转3D方法，通过对图像场景的相似性的分析，在现有的R GB D数据库中找出与输入图像场景相似度最高的若干幅图像，并在局部特征分析的基础上建立输入图像与匹配图像之间的映射关系。之后，建立概率模型，在已知的深度图基础上对预期输出深度信息进行估计，也就是实现深度图的优化过程，从而得到一幅精确深度图。最后，通过某种相应的专业手段来生成最终的3D图像。本文的具体内容包括：
　　第一，采用一种基于GIST特征匹配的参考图像选取方法，在数据库中寻找与输入图像在场景上相似的匹配图像。为实现对已有信息的更全面的利用，将图像场景分类方法引入深度图获取过程中，通过计算不同图像的GIS T特征所获取的GIST向量，来衡量图像在场景上的相似情况，进而找到所需的参考图像。
　　第二，采用基于SIFT流的像素映射算法，使得输入图像与匹配图像的像素之间能有一种更精确的对应，以便完成深度图的赋值与优化。先分别计算输入测试图像与参考图像的SIF T特征。接着，在输入图像与匹配图像的SIF T特征图像之间通过能量函数寻优的方法，可以得到像素匹配所需要的SIFT流矢量，记录像素的映射关系。
　　第三，采用一种基于IRLS的深度估计算法，实现深度优化求解。该算法需要建立一个能量函数，描述输入图像和其期望深度图之间概率关系，其中包括输入图像自身的信息、与匹配图像的像素分布的映射关系、深度图的梯度信息以及均值信息，之后再进行迭代求解，得到期望深度图。最后，利用所得深度结果可以很容易地构建出最终的3D图像。

目录

封面

中文摘要

英文摘要

目录

第1章 绪 论

1.1 课题研究的背景和来源

1.2 课题研究的目的和意义

1.3 国内外研究现状

1.4 本文的主要研究内容

第2章 基于GIST特征匹配的参考图像选取

2.1 引言

2.2 GIST特征与场景分类

2.3 GIST特征提取

2.4 匹配图像的选取

2.5 实验结果及分析

2.6 本章小结

第3章 基于SIFT流的像素映射

3.1 引言

3.2 SIFT特征

3.3 BP算法

3.4 SIFT流算法

3.5实验结果及分析

3.6 本章小结

第4章 基于IRLS的深度估计

4.1 引言

4.2 IRLS算法

4.3 光流法原理

4.4 深度估计

4.5 立体构建与评价方法

4.6 实验结果

4.7 本章小结

结论

参考文献

攻读硕士学位期间发表的论文及其它成果

声明

致谢