基于三维模型的图像集压缩编码

摘要

随着当今互联网时代下云计算和云存储的飞速发展，网络云端存在的大量图像数据给业界带来了巨大的存储压力。与此同时，这些数据中包含大量的相似图像。它们通常在云端以图像集的形式组织和存储，集合内的图像包含同一个场景对象，具有较强的相关性和一定的差异性。现有的图像集压缩方法普遍采用的二维几何变换模型不够准确，难以有效压缩差异性较大的网络图像集;类比成视频序列进行预测编码，复杂度较高。因此，为了更加有效的去除相似图像间的冗余，本文提出了一种全新的基于三维模型的图像集压缩编码方案。
　　根据Wyner提出的共性信息理论，该方案首先采用三维点云来表示图像集内所有图像的共性信息，随后参考共性信息来编码每张图像。更具体的，该方案首先采用Photo Tourism系统重建出图像集的三维点云，即场景对象的几何信息，同时估计出图像的摄像机参数。随后，采用基于上下文学习的方法，从图像集中选择一定数量的代表性图像，使用HEVC intra独立编码。最后，本文设计了一种基于三维模型的图像间预测方法，编码非代表性图像:从代表性图像中选择一张最为相似的图像;通过三维模型将其依次进行匹配像素点对、二维-三维-二维图像映射、光照补偿的过程，生成当前图像的预测;采用HEVC inter模式，参考生成的预测图像，对当前图像再进行一次局部运动补偿下的预测编码。
　　该系统在三个公开数据集RockBoat、Herzjesu、Notre Dame上进行实验，并与JPEG、HEVC intra以及最新的图像集压缩编码方法进行对比，展现出了较为明显的性能提升。个人照片集RockBoat和Herzjesu比HEVC intra提高约10％，编码效率是JPEG的3倍;数据集Herzjesu在考虑三维模型存储开销的情况下，本文的方法比当前最优的方法提升了0.3％;对于差异性较大的网络图像数据集Notre Dame，现有方法受限于分辨率无法直接编码，而本文的方法与HEVC intra相比码率减少了1.8％。与此同时，分别针对代表性图像选择、基于三维模型的预测方法等模块的实验充分验证了各个模块的重要作用。实验结果表明，代表性图像选择模块具有显著的作用;当小数据集选择3到5张代表性图像、大数据集选择图像集图像总数量的5％-10％时，图像集总体编码效率接近最优。此外NotreDame数据集上的实验表明，当云端存在高质量参考时，基于三维模型的预测方法性能优异，单张图像相比HEVC intra的码率减少最高可达到75.1％，图像中场景对象（建筑物）区域的主观质量也得到明显提升。
　　综上所述，我们提出的基于三维模型的图像集压缩编码方案能够显著提高预测准确性，提高图像集压缩效率;而且该方案只选择代表性图像中最相似的一张作为参考，能够实现接近于随机存取的效果，编解码的复杂度大大降低。因此，这一方案具有较强的实际应用价值，能够广泛应用在图片社交、博物馆虚拟游览等图像集应用场景。

目录

声明

摘要

表格索引

插图索引

第一章 绪论

1．1 研究背景及意义

1．2 研究历史与现状

1．2．1 传统图像编码

1．2．2 图像集编码

1．2．3 多视角视频编码

1．2．4 基于图像的建模和融合

1．3 论文内容与章节安排

第二章 基于三维模型的图像集压缩编码

2．1 三维点云模型的建立

2．1．1 生成三维点云

2．1．2 三维点云的量化

2．2 选择图像集的代表性图像

第三章 基于三维模型的图像间预测方法

3．1 选择参考图像

3．2 生成预测图像

3．2．1 匹配对应的像素点对

3．2．2 二维-三维-二维图像映射

3．2．3 光照补偿

3．3 基于预测的编码

第四章 实验结果与分析

4．1 基于三维点云模型的图像集压缩方案总体性能

4．1．1 数据集RockBoat和Herzjesu的总体性能

4．1．2 数据集Notre Dame的总体性能

4．1．3 总体性能测试实验结果小结

4．2 代表性图像选择的性能

4．3 代表性图像数量对性能的影响

4．4 基于三维模型的图像间预测方法的性能

4．4．1 单张图像的性能

4．4．2 多张图像的平均性能

4．4．3 编码方案主观质量的对比

4．5 本章小结

第五章 总结与展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果