立体视频中的场景运动分类方法研究

摘要

人眼观察真实世界能够获得立体感的一个最主要的原因是人眼视觉系统是双目构造并且左右眼看到的视觉影像是略微不同的，立体视频在播放时利用了这一原理来给观影者提供立体感。考虑到观影舒适度和立体感呈现的效果，需要对拍摄所得的原始立体视频进行后期处理。其中立体视频中场景的运动信息是关键的一环，能为处理过程提供指导。本文的主要研究目的即是对没有先验知识的立体视频进行场景运动信息的计算和分类。
　　本文一开始着重讨论了拍摄使用的立体相机对的设置方式以及在不同方式下的成像模型和特点。立体视频相比普通视频具有的优势是已知立体相机对的设置信息后可以将某一帧立体视图内的特征点直接进行三维重建。基于度量重建结构之间的关系来估计场景的运动是本文提出的分类算法中的一个重点。
　　本文获得场景运动信息的着手点在于直接计算拍摄所用相机对的运动轨迹。视频中呈现的场景运动的本质原因是由于相机对在拍摄的过程中相对场景产生了运动，因此对于复杂的场景运动方式可以通过相机对的运动来进行准确地解释和表达。由于视频没有先验知识，待求参数很多，因此本文将相机对的内外参数有效地分离后分别计算，并且在内参计算中创新性地利用了立体帧内度量重建结构的约束性质，从而降低了求解的难度以及提高了结果的准确性。
　　视频相对于图像而言具有的特点是内容的连续性，因此在以上计算结果的基础上本文提出了优化的方法，通过将一段立体视频作整体的处理来提高结果的准确性。最终，两帧之间的相机运动计算结果被表达成为场景运动分类信息，然后汇总后取主分量作为该视频片段的场景运动方式。
　　除此以外，通过对一些特殊情况的考虑和处理，本文最终得到了一个完整的场景运动分类的算法。实验结果表明，本文提出的算法是优秀和鲁棒的，在一定偏差条件下仍能有效地分类出场景的运动信息。

目录

声明

致谢

摘要

1 绪论

1．1 课题研究背景

1．2 现有技术及其发展趋势

1．3 本文的主要内容和组织结构

2 立体相机成像模型研究

2．1 单目针孔相机模型

2．2 双目立体相机模型

2．3 两视图之间的对极几何

2．4 本章小结

3 基于度量重建的立体视频场景运动信息分类

3．1 概述

3．1．1 重建的几个层次

3．1．2 本文算法流程介绍

3．2 特征点的匹配

3．2．1 两视图的匹配策略

3．2．2 多视图的匹配策略

3．3 立体帧间运动预判断

3．3．1 场景运动静止的判断

3．3．2 相机运动是否有旋转分量的判断

3．4 对有旋转分量的立体相机运动计算

3．4．1 基于度量重建的立体相机对内参和运动计算

3．4．2 利用结构来优化运动参数

3．5 对无旋转分量的立体相机运动估计

3．6 立体场景运动信息分类

3．7 本章小结

4 总结与展望

4．1 总结

4．2 展望

参考文献

在学期间所取得的科研成果

作者简历