基于对极几何的多视点视频编码方法研究

摘要

H.264/AVC是目前最新、最有前途的视频压缩标准，它在追求编码效率的同时也提供了非常好的视频质量，具有广阔的应用前景。多视点视频是由摄像机阵列从不同角度拍摄同一场景得到的一组视频信号，它蕴涵了景物的深度信息，在自然场景的表征上更具真实感，可以给人们带来更加真实、清晰的观感效果。多视点视频技术具有传统视频技术无法比拟的优势，成为近年来视频领域的研究热点之一。多视点视频的巨大数据量，使其存贮和传输变得十分困难，必须对其进行高效的压缩。数据压缩的重要方法是消除图像中时间和空间相关性带来的冗余数据。而在多视点视频中，存在着很大的时间冗余和空间冗余，用运动估计和视差估计的方法可以有效地消除这些冗余，达到对多视点视频更好地进行压缩编码的目的，因此运动估计和视差估计是多视点视频编码中的关键技术之一。对极几何是计算机视觉中的重要概念，它反映了同一物体在两个不同视点成像平面上投影点之间的约束关系。在多视点视频序列中，任意两视点在同一时刻的帧具有对极几何约束关系。运动矢量一般由物体在不同时刻的位移确定，而视差矢量体现了物体在同一时刻不同视点间的位移。当运动矢量和视差矢量对应于同一内容时，与之相关的所有像素均可在与之时间和空间相邻的帧中找到，称为闭合的四边形约束关系。
　　 本文针对多视点视频的时空冗余，充分考虑了多视点间的对极几何和四边形约束关系，提出了一种多视点问的基于对极几何的四边形约束关系，并基于这种关系提出了一种新的快速运动估计和视差估计算法。该算法无论在摄像机平行还是会聚放置时，都可以同时从运动估计和视差估计两个方面减少编码时间，提高编码效率。本文提出的算法在多视点视频编码的参考模型JMVC(Joint Multi-viewVideo Coding)平台进行了实验与分析。实验结果表明与JMVC的快速搜索算法TZsearch相比，本文提出的算法在不影响图像序列编码质量和编码比特率的前提下，大幅提高了编码效率，将编码时间减少了45～60％。

目录

文摘

英文文摘

第一章 绪论

1.1 引言

1.2 视频编码技术的发展

1.3 多视点视频

1.3.1 多视点视频

1.3.2 多视点视频的应用

1.4 多视点视频编码的标准化进程

1.5 本文的主要研究内容和成果

第二章 H.264/AVC视频编码技术

2.1 H.264视频压缩编码标准及其应用

2.2 H.264编解码器结构

2.2.1 H.264编解码器特点

2.2.2 H.264编码器

2.2.3 H.264解码器

2.3 H.264关键技术研究

2.3.1 帧内预测

2.3.2 帧间预测

2.3.3 宏块的最佳匹配

2.3.4 多参考图像管理

2.4 本章小结

第三章 多视点视频编码技术及分析

3.1 多视点视频编码预测模式

3.1.1 视内预测

3.1.2 视间预测

3.2 多视点视频编码预测结构

3.2.1 传统的多视点视频编码预测结构

3.2.2 多视点视频编码标准预测结构

3.3 多视点视频编码性能评价指标

3.3.1 主观质量的评定

3.3.2 客观质量的评定

3.4 本章小结

第四章 多视点视频编码几何模型研究

4.1 相机成像模型

4.2 对极几何与基础矩阵

4.3 运动与视差矢量的四边形约束关系

4.4 本章小结

第五章 基于对极几何的快速运动和视差估计算法

5.1 问题描述

5.2 基于对极几何的四边形约束关系

5.3 算法实现

5.3.1 算法的形成

5.3.2 算法步骤

5.4 测试环境

5.4.1 测试平台

5.4.2 测试序列

5.5 实验结果与性能分析

5.5.1 主观质量评价

5.5.2 峰值信噪比质量评价

5.5.3 码率和编码时间质量评价

5.6 本章小结

第六章 总结与展望

6.1 论文总结

6.2 可改进的方向

致谢

参考文献

在读期间研究成果