基于新视角图像的光场质量评价

摘要

近年来,随着3D视频业务的飞速发展,光场作为一种新兴的三维场景的表征方式,越来越受到人们的重视.光场能够同时提供移动视差、双目视差、选择性聚焦三方面的视觉信息,借助基于图像的渲染技术,光场成像可以生成多视点、多焦面、多孔径的的新视角图像,将成像结果从传统的2D平面图像提升到了4D光场图像.然而,基于图像的渲染技术只有在光场采样密度较高的前提下才能生成满足要求的图像质量,因此,设计一种在采样密度较低的情况下也能提升渲染质量的渲染算法非常重要.相比于传统的3D视频业务的3DOF特性,光场成像实现了6DOF的自由视点视频业务,能提供更加真实、全面的视觉体验.光场质量直接影响了用户的最终视觉体验,光场质量的评价研究对于光场采集、压缩、渲染算法性能的判定至关重要.本文首先针对光场渲染算法提出了基于深度信息的光场插值算法,然后设计实现了基于VR设备的光场质量主观评价系统,并深入分析了影响光场质量的因素及其相互关系. 为提高光场新视角成像质量,本文提出了基于深度信息的渲染算法.首先需要获取光场源的深度信息.基于两种主流的光场深度预测算法,生成了光场数据源的完整深度图,并分析了不同深度预测算法的性能差异.然后基于带有深度信息的光场数据源,设计并实现了渲染算法.不同于传统IBR技术距离优先的光线选取准则,基于深度信息的插值滤波核函数在构建时依据深度差大小选择采样光线.最后通过对渲染结果的分析可以看到,本文所提出的渲染算法相比IBR渲染算法的PSNR上升了至少5个dB,新视角图像质量有了大幅度提升. 针对光场的质量评价,本文提出并搭建了基于VR设备的光场体验质量评价系统.该系统以立体视觉及完全自由视点的形式对光场主观质量进行全面评价,提升了主观评价结果的准确性.之后,通过设计主观实验,分别研究了深度信息、场景内容与主观实验MOS之间的关系.实验结果表明:基于深度信息的渲染算法性能明显优于未采用深度信息的IBR渲染算法;深度信息的差异性对本文所提出的的渲染算法也有影响,深度信息越准确,渲染质量越高;新视角图像质量与场景内容密切相关,通过场景纹理复杂度和场景深度范围所反映的场景内容表明,纹理复杂度越高、深度范围越大,成像质量越差.针对光场质量客观评价的研究,提出了考虑深度图质量以及场景内容的客观评价模型.通过构建光场新视角图像的质量与客观影响因子之间的关系得到了与主观实验一致的结论,从而更加全面的预测了光场质量.

目录

第一个书签之前