立体视频系统用户体验质量(QoE)评价研究

摘要

随着近些年立体/3D视频系统的快速发展，尤其是立体显示技术的突破性进展，立体视频系统已经在很多面向用户的应用系统中得到了广泛的应用。立体视频系统在获取、压缩、传输和存储立体视频时，每个阶段都需要最大化感知质量，而用户体验质量研究终端用户对立体视频的整体感知，因此，立体视频系统中用户体验质量的研究具有非常重要的实用价值。本文从立体视频系统中单通道图像、立体图像、单通道视频和立体视频四个方面研究用户体验质量评价问题。具体研究内容如下：
　　(1)单通道图像的用户体验质量评价研究。从改进特征挖掘和融合策略两个方面出发，提出了一种高效的无参考图像质量评价模型，提取经局部标准化的多尺度高斯差分响应的统计参数作为特征，构建基于深度神经网络的融合模型，该模型用于挖掘特征表达。本文模型在两个权威数据库上都取得了很好的表现，在交叉库实验中展现出了良好的泛化能力。
　　(2)立体图像的用户体验质量评价研究。本文提出的全参考立体图像质量评价模型，从立体图像感知特征图失真程度预测立体图像的质量，提取与立体图像视觉感知特性相关的特征图像，建立感知特征集，用随机森林机器学习方法进行特征融合。本文提出的无参考立体图像质量评价模型，通过双目自相似度和深度神经网络的预测立体图像的用户体验质量，首先采用基于深度图的虚拟视点绘制方法计算双目自相似度，用于衡量双目竞争和双目抑制情况，然后以无需主观分数的方法训练深度神经网络用于预测图像的局部质量，最后通过基于方差能量的增益控制模型模拟双目整合特性。在立体图像质量评价数据库上的实验结果都表明，本文提出的两个模型在对称失真和非对称失真时都有较高的评价性能。
　　(3)单通道视频的用户体验质量评价研究。研究发现时空域梯度对空域失真和时域局部失真同样敏感，提出了一种高效的全参考视频质量评价算法，将时空域梯度特征和颜色特征结合计算时空域结构相似度，然后模拟三个重要的全局时域效应(平滑效应，不对称追踪效应和时近效应)进行帧级质量融合。在两个公开的视频质量评价数据库上的实验都表明该算法可以准确预测视频质量，且时间复杂度非常低。
　　(4)立体视频的用户体验质量评价研究。研究立体视频的用户体验质量，除了要考虑与单通道失真类型，还要考虑立体视频特有的深度感知问题和算法复杂度。本文提出了一种简单高效的全参考立体视频用户体验质量评价方法，将基于视差域梯度的视差结构相似度和基于时空域梯度的时空域结构相似度结合，通过这两个低层特征得到立体视频序列的局部相似度，再通过时空域局部质量融合模型进行局部质量融合。实验表明，该模型的评价准确性很高，且复杂度很低。

目录

声明

引言

1 绪论

1.1 论文背景及研究意义

1.2 国内外研究现状分析

1.3 客观模型性能评价指标

1.4 本文的研究内容及创新之处

1.5 本文的结构安排

2.1 机器学习与深度学习

2.2 多尺度高斯差分分解

2.3 局部标准化

2.4 L-矩分布估计

2.5 深度学习模型

2.6 实验结果

2.7 结论

3 立体视频系统中立体图像的用户体验质量评价研究

3.1 基于感知特征集和随机森林的立体图像质量评价

3.2 基于双目自相似性和深度学习的无参考立体图像质量评价

4 立体视频系统中单通道视频的用户体验质量评价研究

4.1 时空域结构相似度

4.2 空域融合

4.3 时域融合

4.4 实验结果

4.3 结论

5 立体视频系统中立体视频的全参考用户体验质量评价研究

5.1 视差结构相似度

5.2 时空域结构相似度

5.3 时空域局部质量融合

5.4 实验结果

5.5 总结

6 总结和展望

6.1 本文工作总结

6.2 未来研究展望

参考文献

在学研究成果

致谢