基于视觉信息表示的立体图像质量评价技术研究

摘要

为获得身临其境的视觉体验，图像和视频立体化成为多媒体技术的重要发展方向。人们已经可以通过先进的立体图像处理技术制作出高水平的3D电影，对关键赛事实现高清立体视频的实况转播。立体显示设备成为市场的宠儿，各种立体图像技术正在慢慢地改变着人们的生活。由于当前的立体图像技术建立在2D图像处理技术基础上，在采集、存储、传输和处理过程中除了会出现图像失真的传统图像质量问题，还会出现影响视觉体验的立体图像所特有的质量问题，立体图像的质量在人们的三维感知和立体体验过程中起着至关重要的作用。如何建立符合人眼双目视觉感知特性的立体图像质量评价模型是计算机视觉领域里新的研究热点，对立体图像的应用与发展具有十分重要的理论和现实意义。由于人眼双目视觉的复杂性，立体图像质量评价已经演变成一个集视觉生理心理学、图像处理、计算机视觉等多学科交叉的研究领域。立体图像的最终接受者是人眼，任何引起双目视觉感知的图像特征直接影响着人们对图像质量的判断，准确地描述这些特征对建立符合人眼视觉特性的立体图像质量评价模型起着重要作用。
　　在立体图像质量评价研究中，研究者已经通过主观实验发现了一些双眼所特有的视觉特性和影响双眼感知的视觉因素，并将其中的部分特性和因素用于立体图像质量评价算法和模型中，部分算法和模型已经在一些3D技术中得到了初步的应用。但是，立体图像质量评价仍然存在着缺乏有效的双目视觉感知模型，未面向立体图像特有质量问题，人眼双目视觉特性的考虑不足，模型预测性能不佳，视觉特性计算复杂等情况，影响了立体图像的技术发展与应用推广。本文以建立符合人眼双目视觉特性的特征表示模型为出发点，针对上述问题进行了探索，并提出了一些有效的立体图像质量评价的算法模型。具体研究内容分为以下五个部分：
　　第一，传统的图像信息表示是对图像中各像素点像素值的概率分布计算信息熵，而根据人眼视觉生理学的研究成果，人眼不是以像素点为单位进行视觉感知，如何建立有效的视觉感知信息表示模型是亟待解决的问题。基于稀疏编码理论，本文提出了一个立体图像视觉信息表示模型。在所提模型中，先由立体图像训练出一组视觉基元作为视觉感知单元，在香农信息论框架下，根据视觉基元表示立体图像时的概率分布计算立体图像视觉信息，即左视点图像的视觉熵、右视点图像的视觉熵和这两个视点图像的互信息。实验结果验证了所提模型的有效性。
　　第二，目前的立体图像舒适度评价模型大多基于左、右视点图像的视差强度或视差分布，需要依赖摄像机参数等信息才能得到相对准确的视差信息，这在很多3D应用中无法实现；除视差因素外，还有很多因素影响立体图像舒适度。基于立体图像视觉信息表示模型，针对立体图像舒适度评价问题，本文提出了一个立体图像舒适度评价模型。在所提模型中，主要考虑了对调节汇聚冲突和双眼非一致感知的两个立体图像不舒适因素的评价，提出由视觉感知信息表示调节汇聚过程，由左、右视点图像结构特征表示双眼感知一致性因素，再由支持向量回归（SVR）方法来学习这两个不舒适因素与主观舒适度得分的关系，最后，通过训练好的SVR模型来预测立体图像舒适度。实验结果表明所提模型能够有效地预测立体图像的舒适度，解决立体图像舒适度评价需要依赖摄像机参数的问题。
　　第三，传统的图像质量评价技术无法用于评价左、右两个视点图像具有不同视觉质量的立体图像，目前大多数立体图像质量评价算法需要依赖参考图像完成质量评价，在某些3D应用中受限。基于立体图像视觉信息表示模型，针对立体图像的非对称失真评价问题，本文提出了一个面向立体图像非对称失真的部分参考质量评价算法。在所提算法中，先通过一个标准图像库建立了一个公共的视觉基元集；再由这个公共视觉基元集在立体图像稀疏表示时系数的概率分布计算单眼视觉信息和双眼视觉信息，分别用于表示双眼视觉感知中的单眼线索和双眼线索；随后建立参考立体图像和失真立体图像之间的视觉信息损失向量；通过SVR来学习损失向量与主观质量评分（DMOS）的关系，再用训练好的SVR模型来预测立体图像的非对称失真质量。实验结果证实了所提模型的有效性，解决了一个典型立体图像通信系统中质量监测的问题。
　　第四，在立体视频的感知中涉及多个人眼视觉特性，传统的JND（恰可觉察差）模型通常仅考虑人眼的一种或两种视觉特性，导致立体视频质量评价模型预测性能不佳，针对人眼对立体视频感知中存在多个视觉特性的情况，本文提出了立体视频质量评价模型。所提模型联合利用立体视频感知中的SJND（立体恰可觉察差）和视觉注意特性，其中，SJND反映人眼双目视觉系统中存在的多个视觉掩蔽特性，通过提取立体视频的恰可觉察差作为视觉感知特征；视觉注意特性由立体视频中帧内、帧间和视间引起视觉注意的显著性特征联合表示；在计算参考立体视频和失真立体视频视觉感知特征的相似度中引入视觉注意特性，提升立体视频质量评价的精度。最后，通过主观实验建立基准的立体视频数据库。实验结果表明所提算法具有较好的预测性能。
　　第五，传统的2D图像显著性检测模型无法获得立体图像中的深度显著性特征，当前立体显著性检测模型在提取深度显著性特征时需要依赖基准深度图，且计算复杂、运算时间长。针对立体显著性运算时间长和基准深度图依赖的问题，提出了一个高效的立体视觉显著性检测模型。所提模型首先用Log-Gabor滤波器从生成的视差图中提取深度显著图，再联合左视点图像中提取的2D显著图和纹理显著图由线性加权融合（WLC）技术融合得到立体视觉显著图，最后，经中心偏爱增强得到最终的立体视觉显著图。实验结果表明在取得了与目前主流算法检测性能相当的条件下，解决了立体显著性运算时间长的问题。
　　总之，本文对立体图像质量评价中的立体图像信息表示、立体图像舒适度评价、立体图像非对称失真评价、立体视频失真评价以及立体视觉注意问题进行了深入的研究，提出了相应的方法和技术方案，取得了较好的效果。

目录

第1章 绪 论

1.1课题背景及研究目的和意义

1.2立体图像成像技术

1.3图像质量评价

1.4立体图像质量评价

1.5论文主要研究内容及章节安排

第2章 立体图像视觉信息表示

2.1引言

2.2人眼立体感知基础

2.3自由能量理论与图像稀疏编码理论

2.4立体图像信息表示

2.5实验结果

2.6本章小结

第3章 立体图像舒适度评价

3.1引言

3.2立体图像舒适度研究现状

3.3基于视觉感知信息的立体图像舒适度评价

3.4实验结果

3.5本章小结

第4章 立体图像非对称失真评价

4.1引言

4.2立体图像质量评价研究现状

4.3基于视觉信息的立体图像非对称质量评价

4.4实验结果

4.5本章小结

第5章 基于JND模型的立体视频质量评价

5.1引言

5.2立体视频质量评价研究现状

5.3恰可觉察差（JND）研究现状

5.4立体视频质量评价（SVQA）算法

5.5实验结果

5.6本章小结

第6章 立体图像视觉注意

6.1引言

6.2立体图像视觉注意研究现状

6.3 SVA算法

6.4实验结果

6.5本章小结

结论

参考文献

攻读博士学位期间发表的论文及其它成果

声明

致谢

个人简历