一种面向压缩失真的立体视频质量客观评价方法

摘要

本发明公开了一种面向压缩失真的立体视频质量客观评价方法，其将立体视频质量分为左右视点质量和深度感知质量两部分，在左右视点质量评价部分，考虑到视频图像受到压缩失真会产生块效应和模糊的特点，提取梯度信息作为图像特征，同时考虑到人眼的时空域视觉特性，从而得到左视点质量和右视点质量；在深度感知质量评价部分，通过三维小波变换提取三维视差空间图中的低频成分，并将其质量作为立体视频的深度感知质量；最后，将左视点质量、右视点质量和深度感知质量相结合，得到最终的失真立体视频质量；优点是从左右视点平面视频质量的角度和立体视频深度感的角度完成对立体视频的客观质量评价，有效地提高了客观评价结果与主观感知之间的相关性。

说明书

技术领域

本发明涉及一种视频质量评价方法，尤其是涉及一种面向压缩失真的立体视频质量客观评价方法。 

背景技术

随着视频编码技术和显示技术的迅速发展，各类视频系统得到了越来越广泛的应用和关注，并逐渐成为了信息处理领域的研究重点。而立体视频由于其突出的观看感受，更是越来越多的得到了人们的青睐，其相关技术的应用已经大量的融入到了当前的社会生活中，例如立体电视、立体电影、裸眼3D等。然而，在立体视频的采集、压缩、编码、传输、显示等过程中会因为一系列不可控制的因素而不可避免地引入不同程度和类型的失真。因此，如何准确有效地度量视频质量对于各类视频系统的发展起到了重要的推动作用。 

立体视频质量评价可分为主观评价和客观评价两大类，而当前立体视频质量评价领域的关键在于如何建立一种准确有效的客观评价模型来评价立体视频客观质量。目前，大多数立体视频质量客观评价方法只是简单的将平面视频的质量评价方法分别用于左视点视频和右视点视频质量的评价，这类方法没有很好地处理视点间的关系，也没有考虑到立体视频中深度感知对于立体视频质量的影响，因此客观评价结果准确性较差。也有部分方法虽然考虑到了双目之间的关系，但左视点与右视点之间的加权处理不合理，难以准确地描述人眼对于立体视频的感知特性，且目前大部分对立体视频质量评价的时域加权处理只是简单的平均加权，而事实上，人眼对立体视频的时域感知并非只是简单的平均加权。综上，现有的立体视频质量客观评价方法并不能准确地反映人眼感知特性，客观评价结果不够准确。 

发明内容

本发明所要解决的技术问题是提供一种面向压缩失真的立体视频质量客观评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。 

本发明解决上述技术问题所采用的技术方案为：一种面向压缩失真的立体视频质量客观评价方法，其特征在于包括以下步骤： 

①令V_org表示原始的无失真的立体视频，令V_dis表示待评价的失真的立体视频，将V_org中的第f帧立体图像记为将的左视点图像和右视点图像对应记为和将V_dis中的第f帧立体图像记为将的左视点图像和右视点图像对应记为和 其中，1≤f≤N_f，N_f表示V_org和V_dis各自所包含的立体图像的数量； 

②利用水平Sobel算子，计算V_org中的每帧立体图像的左视点图像的水平梯度图，将 的水平梯度图记为同样，利用水平Sobel算子，计算V_dis中的每帧立体图像的左视点图像的水平梯度图，将的水平梯度图记为

并，利用垂直Sobel算子，计算V_org中的每帧立体图像的左视点图像的垂直梯度图，将的垂直梯度图记为同样，利用垂直Sobel算子，计算V_dis中的每帧立体图像的左视点图像的垂直梯度图，将的垂直梯度图记为

③计算V_org中的每帧立体图像的左视点图像中的每个像素点的梯度场，将中坐标位置为(u,v)的像素点的梯度场记为$>G_{L,\mathrm{org}}^f(u,v)=\sqrt{{\left({\mathrm{Gh}}_{L,\mathrm{org}}^f(u,v)\right)}^2+{\left({\mathrm{Gv}}_{L,\mathrm{org}}^f(u,v)\right)}^2};$>

同样，计算V_dis中的每帧立体图像的左视点图像中的每个像素点的梯度场，将中坐标位置为(u,v)的像素点的梯度场记为$>G_{L,\mathrm{dis}}^f(u,v)=\sqrt{{\left({\mathrm{Gh}}_{L,\mathrm{dis}}^f(u,v)\right)}^2+{\left({\mathrm{Gv}}_{L,\mathrm{dis}}^f(u,v)\right)}^2};$>

其中，u表示像素点的水平坐标位置，v表示像素点的垂直坐标位置，1≤u≤U，1≤v≤V，U表示V_org和V_dis中的立体图像水平方向上的像素点的数量，V表示V_org和V_dis中的立体图像垂直方向上的像素点的数量，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u,v)的像素点的像素值， 表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u,v)的像素点的像素值； 

④根据V_org中的每帧立体图像的左视点图像中的每个像素点的梯度场和V_dis中对应的一帧立体图像的左视点图像中对应坐标位置的像素点的梯度场，确定V_org中的每帧立体图像的左视点图像中的每个像素点为显著点还是为非显著点，同时确定V_dis中的每帧立体图像的左视点图像中的每个像素点为显著点还是为非显著点，然后获取V_org中的每帧立体图像的左视点图像的显著点图和V_dis中的每帧立体图像的左视点图像的显著点图，将的显著点图记为将的显著点图记为

⑤计算V_org中的每帧立体图像的左视点图像的显著点图与V_dis中对应的一帧立体图像的左视点图像的显著点图之间的差值图，将与之间的差值图记为然后利用恰可觉察失真模型，根据V_org中的每帧立体图像的左视点图像的显著点图与V_dis中对应的一帧立体图像的左视点图像的显著点图之间的差值图，确定V_org中的每帧立体图像的左视点图像中的每个像素点为可见失真点还是为不可见失真点，同时确定V_dis中的每帧立体图像的左视点图像中的每个像素点为可见失真点还是为不可见失真点；其中，符号“||”为取绝对值符号； 

⑥将V_org中的每帧立体图像的左视点图像中的所有可见失真点构成该帧立体图像的左视点图像的感兴趣区域，将V_org中的每帧立体图像的左视点图像中的所有不可见失真点构成该帧立体图像的左视点图像的不感兴趣区域，将的感兴趣区域记为由中的所有可见失真点构成，将的不感兴趣区域记为由中的所有不可见失真点构成； 

同样，将V_dis中的每帧立体图像的左视点图像中的所有可见失真点构成该帧立体图像的左视点图像的感兴趣区域，将V_dis中的每帧立体图像的左视点图像中的所有不可见 失真点构成该帧立体图像的左视点图像的不感兴趣区域，将的感兴趣区域记为由中的所有可见失真点构成，将的不感兴趣区域记为由中的所有不可见失真点构成； 

⑦根据V_org中的每帧立体图像的左视点图像的感兴趣区域与V_dis中对应的一帧立体图像的左视点图像的感兴趣区域，计算V_dis中的每帧立体图像的左视点图像的感兴趣区域质量，将的感兴趣区域质量记为其中，SSIM()为结构相似度计算函数； 

同样，根据V_org中的每帧立体图像的左视点图像的不感兴趣区域与V_dis中对应的一帧立体图像的左视点图像的不感兴趣区域，计算V_dis中的每帧立体图像的左视点图像的不感兴趣区域质量，将的不感兴趣区域质量记为

⑧计算V_dis中的每帧立体图像的左视点图像相对于V_org中对应的一帧立体图像的左视点图像的初级质量，将相对于的初级质量记为然后计算V_dis中的每帧立体图像的左视点图像相对于V_org中对应的一帧立体图像的左视点图像的最终质量，将相对于的最终质量记为再计算V_dis的左视点质量，记为Q_L， 其中，λ为感知加权因子，表示V_dis中的第f-1帧立体图像的左视点图像相对于V_org中的第f-1帧立体图像的左视点图像的初级质量，a_-表示相对于 下降时的下降质量调节因子，a₊表示相对于上升时的上升质量调节因子， 表示与之间的差异，$>d_q^f=q_L^{\prime f}-q_L^{\prime f-1},$>在$>d_q^f=q_L^{\prime f-1}-q_L^{\prime f-2}$>中2≤f≤N_f； 

⑨按照步骤②至步骤⑧的操作，以相同的操作方式对V_org中的每帧立体图像的右视 点图像和V_dis中的每帧立体图像的右视点图像进行处理，获取V_dis的右视点质量，记为Q_R； 

⑩根据Q_L和Q_R，计算V_dis相对于V_org的左右视点质量，记为Q_LR，Q_LR＝w_s×Q_L+(1-w_s)×Q_R，其中，w_s表示Q_L在Q_LR中所占的权重； 

获取V_org中的每帧立体图像的三维视差空间图，将的三维视差空间图记为 $>{\mathrm{DSI}}_{\mathrm{org}}^f(u,v,d)={\left|\right|L_{\mathrm{org}}^f(u,v)-R_{\mathrm{org}}^f(u-d,v)\left|\right|}^2,$>其中，表示中坐标位置为(u,v)的像素点在视差偏移量为d时的视差空间值，d取[1,d_max]中的所有整数，d_max为最大视差搜索范围，符号“|| ||”为欧氏距离计算符号，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u-d,v)的像素点的像素值，为U×V×d_max的三维矩阵； 

同样，获取V_dis中的每帧立体图像的三维视差空间图，将的三维视差空间图记为 $>{\mathrm{DSI}}_{\mathrm{dis}}^f(u,v,d)={\left|\right|L_{\mathrm{dis}}^f(u,v)-R_{\mathrm{dis}}^f(u-d,v)\left|\right|}^2,$>其中，表示中坐标位置为(u,v)的像素点在视差偏移量为d时的视差空间值，d取[1,d_max]中的所有整数，d_max为最大视差搜索范围，符号“|| ||”为欧氏距离计算符号，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u-d,v)的像素点的像素值，为U×V×d_max的三维矩阵； 

对V_org中的每帧立体图像的三维视差空间图进行一级三维小波变换，得到V_org中的每帧立体图像对应的八组子带矩阵，然后将V_org中的每帧立体图像对应的最低频的一组子带矩阵作为该帧立体图像的低频视差空间图，将的低频视差空间图记为 其中，为的三维矩阵； 

同样，对V_dis中的每帧立体图像的三维视差空间图进行一级三维小波变换，得到V_dis中的每帧立体图像对应的八组子带矩阵，然后将V_dis中的每帧立体图像对应的最低频的 一组子带矩阵作为该帧立体图像的低频视差空间图，将的低频视差空间图记为 其中，为的三维矩阵； 

根据V_org中的每帧立体图像的低频视差空间图和V_dis中对应的一帧立体图像的低频视差空间图，计算V_dis中的每帧立体图像相对于V_org中对应的一帧立体图像的深度感知质量，将相对于的深度感知质量记为$>Q_{\mathrm{depth}}^f=\mathrm{SSIM}({\mathrm{LLL}}_{\mathrm{org}}^{\mathrm{DSI},f},{\mathrm{LLL}}_{\mathrm{dis}}^{\mathrm{DSI},f}),$>其中，SSIM()为结构相似度计算函数； 

根据V_dis中的每帧立体图像相对于V_org中对应的一帧立体图像的深度感知质量，计算V_dis相对于V_org的深度感知质量，记为Q_d，

根据Q_LR和Q_d，计算V_dis相对于V_org的失真立体视频质量，记为Q，Q＝w_LR×Q_LR+(1-w_LR)×Q_d，其中，w_LR为Q_LR在Q中所占的权重。 

所述的步骤④中和的获取过程为： 

④-1、确定中的每个像素点和中的每个像素点为显著点还是为非显著点，对于中坐标位置为(u,v)的像素点和中坐标位置为(u,v)的像素点，比较及分别与显著性阈值T的大小，如果大于T且小于或等于T，或小于或等于T且大于T，或大于T且大于T，则判定中坐标位置为(u,v)的像素点和中坐标位置为(u,v)的像素点均为显著点；如果小于或等于T且小于或等于T，则判定中坐标位置为(u,v)的像素点和中坐标位置为(u,v)的像素点均为非显著点； 

④-2、获取的显著点图，记为将中坐标位置为(u,v)的像素点的像素值记为如果中坐标位置为(u,v)的像素点为显著点，则将中坐标位 置为(u,v)的像素点的像素值赋值给如果中坐标位置为(u,v)的像素点为非显著点，则将置为0； 

同样，获取的显著点图，记为将中坐标位置为(u,v)的像素点的像素值记为如果中坐标位置为(u,v)的像素点为显著点，则将中坐标位置为(u,v)的像素点的像素值赋值给如果中坐标位置为(u,v)的像素点为非显著点，则将置为0。 

所述的步骤④-1中显著性阈值T的取值为T＝0.12×max(P_o)，其中，max()为取最大值函数，P_o为中的所有像素点的梯度场构成的集合。 

所述的步骤⑤中对于和中的每个像素点为可见失真点还是为不可见失真点的判定过程为： 

⑤-1、计算和中坐标位置相同的像素点的恰可觉察失真模型，将和中坐标位置为(u,v)的像素点的恰可觉察失真模型记为JND_s(u,v)，JND_s(u,v)＝JND_l(u,v)+JND_t(u,v)-0.2×min(JND_l(u,v),JND_t(u,v))，其中，JND_l(u,v)表示和中坐标位置为(u,v)的像素点的亮度恰可觉察失真模型，JND_t(u,v)表示和中坐标位置为(u,v)的像素点的纹理恰可觉察失真模型，min()为取最小值函数； 

⑤-2、根据和中坐标位置相同的像素点的恰可觉察失真模型及中的每个像素点的像素值，确定和中的每个像素点为可见失真点还是为不可见失真点，对于中坐标位置为(u,v)的像素点和中坐标位置为(u,v)的像素点，如果中坐标位置为(u,v)的像素点的像素值大于JND_s(u,v)，则判定中坐标位置为(u,v)的像素点和中坐标位置为(u,v)的像素点均为可见失真点；如果中坐标位置为(u,v)的像素点的像素值小于或等于JND_s(u,v)，则判定中坐标位置为(u,v)的像素点和中坐标位置为(u,v)的像素点均为不可见失真点。 

所述的步骤⑧中感知加权因子λ的取值为其中，ω_I为感兴趣区域的加权系数，ω_NI为不感兴趣区域的加权系数， S_I为感兴趣区域的面积，其大小为可见失真点的个数，S_NI为不感兴趣区域的面积，其大小为不可见失真点的个数。 

所述的步骤⑧中取a_-＝0.04，a₊＝0.5。 

所述的步骤⑩中取w_s＝0.7。 

所述的步骤中取w_LR＝0.3。 

与现有技术相比，本发明的优点在于： 

1)本发明方法将立体视频质量分为左右视点质量和深度感知质量两部分，分别从左右视点平面视频质量的角度和立体视频深度感的角度完成对立体视频的客观质量评价，因此有效地提高了客观评价结果与主观感知之间的相关性。 

2)本发明方法根据视频压缩失真的特点，提取梯度信息作为图像特征，可以有效地度量视频图像在压缩时产生的块效应以及模糊等失真现象对于视频图像的改变程度，因而能够更准确评价视频图像质量。 

3)本发明方法通过构建立体图像的三维视差空间图来体现立体视频的深度感知，从而避免了视差求取不准确的问题，同时利用三维小波变换(3D-DWT)提取三维视差空间图的主要特征频率成分，因此可以更准确地评价立体视频的深度感知质量。 

4)本发明方法在评价立体视频质量的过程中，由于充分考虑到了人眼对立体视频的感知特性，分别通过显著点图的提取、时域不对称加权以及左右视点加权等方法模拟了视觉关注度、时域掩蔽效应、立体掩蔽效应等感知特性，因此使得该立体视频质量评价方法更加符合人眼的主观感知。 

附图说明

图1为本发明方法的总体实现框图。 

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。 

本发明提出的一种面向压缩失真的立体视频质量客观评价方法，其将立体视频质量评价分为左右视点质量评价和深度感知质量评价两部分；在左右视点质量评价部分，本发明方法考虑压缩失真的特点，利用梯度信息作为视频图像特征，同时考虑到视觉关注度、时域感知等视觉特征，从而完成对左右视点视频质量的评价；在深度感知质量评价部分，本发明方法通过构建立体图像的三维视差空间图，利用三维小波变换提取三维视差空间图中的低频成分，通过评价低频成分获得深度感知质量，最后将左右视点质量和深度感知质量线性组合得到最终的立体视频质量。本发明的面向压缩失真的立体视频质量客观评价方法的总体实现框图如图1所示，其包括以下步骤： 

①令V_org表示原始的无失真的立体视频，令V_dis表示待评价的失真的立体视频，将V_org中的第f帧立体图像记为将的左视点图像和右视点图像对应记为和将V_dis中的第f帧立体图像记为将的左视点图像和右视点图像对应记为和 其中，1≤f≤N_f，N_f表示V_org和V_dis各自所包含的立体图像的数量。 

②利用水平Sobel算子，计算V_org中的每帧立体图像的左视点图像的水平梯度图，将 的水平梯度图记为同样，利用水平Sobel算子，计算V_dis中的每帧立体图像的左视点图像的水平梯度图，将的水平梯度图记为

并，利用垂直Sobel算子，计算V_org中的每帧立体图像的左视点图像的垂直梯度图，将的垂直梯度图记为同样，利用垂直Sobel算子，计算V_dis中的每帧立体图像的左视点图像的垂直梯度图，将的垂直梯度图记为

③计算V_org中的每帧立体图像的左视点图像中的每个像素点的梯度场，将中坐标位置为(u,v)的像素点的梯度场记为$>G_{L,\mathrm{org}}^f(u,v)=\sqrt{{\left({\mathrm{Gh}}_{L,\mathrm{org}}^f(u,v)\right)}^2+{\left({\mathrm{Gv}}_{L,\mathrm{org}}^f(u,v)\right)}^2}.$>

同样，计算V_dis中的每帧立体图像的左视点图像中的每个像素点的梯度场，将中坐标位置为(u,v)的像素点的梯度场记为$>G_{L,\mathrm{dis}}^f(u,v)=\sqrt{{\left({\mathrm{Gh}}_{L,\mathrm{dis}}^f(u,v)\right)}^2+{\left({\mathrm{Gv}}_{L,\mathrm{dis}}^f(u,v)\right)}^2}.$>

其中，u表示像素点的水平坐标位置，v表示像素点的垂直坐标位置，1≤u≤U，1≤v≤V，U表示V_org和V_dis中的立体图像水平方向上的像素点的数量，V表示V_org和V_dis中的立体图像垂直方向上的像素点的数量，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u,v)的像素点的像素值， 表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u,v)的像素点的像素值。 

④根据V_org中的每帧立体图像的左视点图像中的每个像素点的梯度场和V_dis中对应的一帧立体图像的左视点图像中对应坐标位置的像素点的梯度场，确定V_org中的每帧立体图像的左视点图像中的每个像素点为显著点还是为非显著点，同时确定V_dis中的每帧立体图像的左视点图像中的每个像素点为显著点还是为非显著点，然后获取V_org中的每帧立体图像的左视点图像的显著点图和V_dis中的每帧立体图像的左视点图像的显著点图，将的显著点图记为将的显著点图记为

在此具体实施例中，步骤④中和的获取过程为： 

④-1、确定中的每个像素点和中的每个像素点为显著点还是为非显著点，对于中坐标位置为(u,v)的像素点和中坐标位置为(u,v)的像素点，比较及分别与显著性阈值T的大小，如果大于T且小于或等于T，或小于或等于T且大于T，或大于T且大于T，则判定中坐标位置为(u,v)的像素点和中坐标位置为(u,v)的像素点均为显著点；如果小于或等于T且小于或等于T，则判定中坐标位置为(u,v)的像素点和中坐标位置为(u,v)的像素点均为非显著点。 

在此，显著性阈值T的取值为T＝0.12×max(P_o)，其中，max()为取最大值函数， P_o为中的所有像素点的梯度场构成的集合。 

④-2、获取的显著点图，记为将中坐标位置为(u,v)的像素点的像素值记为如果中坐标位置为(u,v)的像素点为显著点，则将中坐标位置为(u,v)的像素点的像素值赋值给如果中坐标位置为(u,v)的像素点为非显著点，则将置为0。 

同样，获取的显著点图，记为将中坐标位置为(u,v)的像素点的像素值记为如果中坐标位置为(u,v)的像素点为显著点，则将中坐标位置为(u,v)的像素点的像素值赋值给如果中坐标位置为(u,v)的像素点为非显著点，则将置为0。 

⑤计算V_org中的每帧立体图像的左视点图像的显著点图与V_dis中对应的一帧立体图像的左视点图像的显著点图之间的差值图，将与之间的差值图记为然后利用恰可觉察失真模型，根据V_org中的每帧立体图像的左视点图像的显著点图与V_dis中对应的一帧立体图像的左视点图像的显著点图之间的差值图，确定V_org中的每帧立体图像的左视点图像中的每个像素点为可见失真点还是为不可见失真点，同时确定V_dis中的每帧立体图像的左视点图像中的每个像素点为可见失真点还是为不可见失真点；其中，符号“||”为取绝对值符号。 

在此具体实施例中，步骤⑤中对于和中的每个像素点为可见失真点还是为不可见失真点的判定过程为： 

⑤-1、计算和中坐标位置相同的像素点的恰可觉察失真模型，将和中坐标位置为(u,v)的像素点的恰可觉察失真模型记为JND_s(u,v)，JND_s(u,v)＝JND_l(u,v)+JND_t(u,v)-0.2×min(JND_l(u,v),JND_t(u,v))，其中，JND_l(u,v)表示和中坐标位置为(u,v)的像素点的亮度恰可觉察失真模型，JND_t(u,v)表示 和中坐标位置为(u,v)的像素点的纹理恰可觉察失真模型，min()为取最小值函数。 

⑤-2、根据和中坐标位置相同的像素点的恰可觉察失真模型及中的每个像素点的像素值，确定和中的每个像素点为可见失真点还是为不可见失真点，对于中坐标位置为(u,v)的像素点和中坐标位置为(u,v)的像素点，如果中坐标位置为(u,v)的像素点的像素值大于JND_s(u,v)，则判定中坐标位置为(u,v)的像素点和中坐标位置为(u,v)的像素点均为可见失真点；如果中坐标位置为(u,v)的像素点的像素值小于或等于JND_s(u,v)，则判定中坐标位置为(u,v)的像素点和中坐标位置为(u,v)的像素点均为不可见失真点。 

⑥将V_org中的每帧立体图像的左视点图像中的所有可见失真点构成该帧立体图像的左视点图像的感兴趣区域，将V_org中的每帧立体图像的左视点图像中的所有不可见失真点构成该帧立体图像的左视点图像的不感兴趣区域，将的感兴趣区域记为由中的所有可见失真点构成，将的不感兴趣区域记为由中的所有不可见失真点构成。 

同样，将V_dis中的每帧立体图像的左视点图像中的所有可见失真点构成该帧立体图像的左视点图像的感兴趣区域，将V_dis中的每帧立体图像的左视点图像中的所有不可见失真点构成该帧立体图像的左视点图像的不感兴趣区域，将的感兴趣区域记为由中的所有可见失真点构成，将的不感兴趣区域记为由中的所有不可见失真点构成。 

⑦根据V_org中的每帧立体图像的左视点图像的感兴趣区域与V_dis中对应的一帧立体图像的左视点图像的感兴趣区域，计算V_dis中的每帧立体图像的左视点图像的感兴趣区域质量，将的感兴趣区域质量记为其中，SSIM()为结构相似度(Structural SIMilarity,SSIM)计算函数。 

计算与之间的结构相似度 $>\mathrm{SSIM}(I_{L,\mathrm{org}}^f,I_{L,\mathrm{dis}}^f)=\frac{(2{\mu }_{L,\mathrm{org}}^f{\mu }_{L,\mathrm{dis}}^f+c_1)(2{\sigma }_{L,\mathrm{org},\mathrm{dis}}^f+c_2)}{[{\left({\mu }_{L,\mathrm{org}}^f\right)}^2+{\left({\mu }_{L,\mathrm{dis}}^f\right)}^2+c_1][{\left({\sigma }_{L,\mathrm{org}}^f\right)}^2+{\left({\sigma }_{L,\mathrm{dis}}^f\right)}^2+c_2]},$>其中，表示中的所有可见失真点的像素值的均值，表示中的所有可见失真点的像素值的均值，表示中的所有可见失真点的像素值的方差，表示中的所有可见失真点的像素值的方差，表示与之间的协方差，c₁,c₂为两个常数。 

同样，根据V_org中的每帧立体图像的左视点图像的不感兴趣区域与V_dis中对应的一帧立体图像的左视点图像的不感兴趣区域，计算V_dis中的每帧立体图像的左视点图像的不感兴趣区域质量，将的不感兴趣区域质量记为

⑧计算V_dis中的每帧立体图像的左视点图像相对于V_org中对应的一帧立体图像的左视点图像的初级质量，将相对于的初级质量记为然后计算V_dis中的每帧立体图像的左视点图像相对于V_org中对应的一帧立体图像的左视点图像的最终质量，将相对于的最终质量记为再计算V_dis的左视点质量，记为Q_L， 其中，λ为感知加权因子，表示V_dis中的第f-1帧立体图像的左视点图像相对于V_org中的第f-1帧立体图像的左视点图像的初级质量，a_-表示相对于 下降时的下降质量调节因子，a₊表示相对于上升时的上升质量调节因子， 表示与之间的差异，$>d_q^f={q^{\prime }}_L^f-{q^{\prime }}_L^{f-1},$>在$>d_q^f={q^{\prime }}_L^f-{q^{\prime }}_L^{f-1}$>中2≤f≤N_f。 

在本实施例中，取a_-＝0.04，a₊＝0.5，感知加权因子λ的取值为 其中，ω_I为感兴趣区域的加权系数，ω_NI为不感兴趣区域的加权系数，S_I为感兴趣区域的面积，其大小为可见失真点的个数，S_NI为不感兴趣区域的面积，其大小为不可见失真点的个数。 

⑨按照步骤②至步骤⑧的操作，以相同的操作方式对V_org中的每帧立体图像的右视点图像和V_dis中的每帧立体图像的右视点图像进行处理，获取V_dis的右视点质量，记为Q_R。即Q_R的获取过程为： 

⑨-1、利用水平Sobel算子，计算V_org中的每帧立体图像的右视点图像的水平梯度图，将的水平梯度图记为同样，利用水平Sobel算子，计算V_dis中的每帧立体图像的右视点图像的水平梯度图，将的水平梯度图记为

并，利用垂直Sobel算子，计算V_org中的每帧立体图像的右视点图像的垂直梯度图，将的垂直梯度图记为同样，利用垂直Sobel算子，计算V_dis中的每帧立体图像的右视点图像的垂直梯度图，将的垂直梯度图记为

⑨-2、计算V_org中的每帧立体图像的右视点图像中的每个像素点的梯度场，将中坐标位置为(u,v)的像素点的梯度场记为$>G_{R,\mathrm{org}}^f(u,v)=\sqrt{{\left({\mathrm{Gh}}_{R,\mathrm{org}}^f(u,v)\right)}^2+{\left({\mathrm{Gv}}_{R,\mathrm{org}}^f(u,v)\right)}^2}.$>

同样，计算V_dis中的每帧立体图像的右视点图像中的每个像素点的梯度场，将中坐标位置为(u,v)的像素点的梯度场记为$>G_{R,\mathrm{dis}}^f(u,v)=\sqrt{{\left({\mathrm{Gh}}_{R,\mathrm{dis}}^f(u,v)\right)}^2+{\left({\mathrm{Gv}}_{R,\mathrm{dis}}^f(u,v)\right)}^2}.$>

其中，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为 (u,v)的像素点的像素值，表示中坐标位置为(u,v)的像素点的像素值。 

⑨-3、根据V_org中的每帧立体图像的右视点图像中的每个像素点的梯度场和V_dis中对应的一帧立体图像的右视点图像中对应坐标位置的像素点的梯度场，确定V_org中的每帧立体图像的右视点图像中的每个像素点为显著点还是为非显著点，同时确定V_dis中的每帧立体图像的右视点图像中的每个像素点为显著点还是为非显著点，然后获取V_org中的每帧立体图像的右视点图像的显著点图和V_dis中的每帧立体图像的右视点图像的显著点图，将的显著点图记为将的显著点图记为

⑨-4、计算V_org中的每帧立体图像的右视点图像的显著点图与V_dis中对应的一帧立体图像的右视点图像的显著点图之间的差值图，将与之间的差值图记为然后利用恰可觉察失真模型，根据V_org中的每帧立体图像的右视点图像的显著点图与V_dis中对应的一帧立体图像的右视点图像的显著点图之间的差值图，确定V_org中的每帧立体图像的右视点图像中的每个像素点为可见失真点还是为不可见失真点，同时确定V_dis中的每帧立体图像的右视点图像中的每个像素点为可见失真点还是为不可见失真点。 

⑨-5、将V_org中的每帧立体图像的右视点图像中的所有可见失真点构成该帧立体图像的右视点图像的感兴趣区域，将V_org中的每帧立体图像的右视点图像中的所有不可见失真点构成该帧立体图像的右视点图像的不感兴趣区域，将的感兴趣区域记为 由中的所有可见失真点构成，将的不感兴趣区域记为由中的所有不可见失真点构成。 

同样，将V_dis中的每帧立体图像的右视点图像中的所有可见失真点构成该帧立体图像的右视点图像的感兴趣区域，将V_dis中的每帧立体图像的右视点图像中的所有不可见失真点构成该帧立体图像的右视点图像的不感兴趣区域，将的感兴趣区域记为由中的所有可见失真点构成，将的不感兴趣区域记为由中的所有不可见失真点构成。 

⑨-6、根据V_org中的每帧立体图像的右视点图像的感兴趣区域与V_dis中对应的一帧立体图像的右视点图像的感兴趣区域，计算V_dis中的每帧立体图像的右视点图像的感兴趣区域质量，将的感兴趣区域质量记为

同样，根据V_org中的每帧立体图像的右视点图像的不感兴趣区域与V_dis中对应的一帧立体图像的右视点图像的不感兴趣区域，计算V_dis中的每帧立体图像的右视点图像的不感兴趣区域质量，将的不感兴趣区域质量记为

⑨-7、计算V_dis中的每帧立体图像的右视点图像相对于V_org中对应的一帧立体图像的右视点图像的初级质量，将相对于的初级质量记为然后计算V_dis中的每帧立体图像的右视点图像相对于V_org中对应的一帧立体图像的右视点图像的最终质量，将相对于的最终质量记为再计算V_dis的右视点质量，记为Q_R， 其中，λ为感知加权因子，表示V_dis中的第f-1帧立体图像的右视点图像相对于V_org中的第f-1帧立体图像的右视点图像的初级质量，a_-表示相对于 下降时的下降质量调节因子，a₊表示相对于上升时的上升质量调节因子， 表示与之间的差异，$>d_q^f={q^{\prime }}_R^f-{q^{\prime }}_R^{f-1},$>在$>d_q^f={q^{\prime }}_R^f-{q^{\prime }}_R^{f-1}$>中2≤f≤N_f。 

⑩根据Q_L和Q_R，计算V_dis相对于V_org的左右视点质量，记为Q_LR，Q_LR＝w_s×Q_L+(1-w_s)×Q_R，其中，w_s表示Q_L在Q_LR中所占的权重，在本实施例中取 w_s＝0.7。 

获取V_org中的每帧立体图像的三维视差空间图，将的三维视差空间图记为 $>{\mathrm{DSI}}_{\mathrm{org}}^f(u,v,d)={\left|\right|L_{\mathrm{org}}^f(u,v)-R_{\mathrm{org}}^f(u-d,v)\left|\right|}^2,$>其中，表示中坐标位置为(u,v)的像素点在视差偏移量为d时的视差空间值，d取[1,d_max]中的所有整数，d_max为最大视差搜索范围，本实施例中d_max的值为32，符号“|| ||”为欧氏距离计算符号， 表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u-d,v)的像素点的像素值，为U×V×d_max的三维矩阵。 

同样，获取V_dis中的每帧立体图像的三维视差空间图，将的三维视差空间图记为 $>{\mathrm{DSI}}_{\mathrm{dis}}^f(u,v,d)={\left|\right|L_{\mathrm{dis}}^f(u,v)-R_{\mathrm{dis}}^f(u-d,v)\left|\right|}^2,$>其中，表示中坐标位置为(u,v)的像素点在视差偏移量为d时的视差空间值，d取[1,d_max]中的所有整数，d_max为最大视差搜索范围，本实施例中d_max的值为32，符号“|| ||”为欧氏距离计算符号，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u-d,v)的像素点的像素值，为U×V×d_max的三维矩阵。 

对V_org中的每帧立体图像的三维视差空间图进行一级三维小波变换，得到V_org中的每帧立体图像对应的八组子带矩阵，然后将V_org中的每帧立体图像对应的最低频的一组子带矩阵作为该帧立体图像的低频视差空间图，将V_org的低频视差空间图记为 其中，为的三维矩阵。 

同样，对V_dis中的每帧立体图像的三维视差空间图进行一级三维小波变换，得到V_dis中的每帧立体图像对应的八组子带矩阵，然后将V_dis中的每帧立体图像对应的最低频的一组子带矩阵作为该帧立体图像的低频视差空间图，将V_dis的低频视差空间图记为 其中，为的三维矩阵。 

根据V_org中的每帧立体图像的低频视差空间图和V_dis中对应的一帧立体图像的低频视差空间图，计算V_dis中的每帧立体图像相对于V_org中对应的一帧立体图像的深度感知质量，将相对于的深度感知质量记为$>Q_{\mathrm{depth}}^f=\mathrm{SSIM}({\mathrm{LLL}}_{\mathrm{org}}^{\mathrm{DSI},f},{\mathrm{LLL}}_{\mathrm{dis}}^{\mathrm{DSI},f}),$>其中，SSIM()为结构相似度(Structural SIMilarity,SSIM)计算函数。 

根据V_dis中的每帧立体图像相对于V_org中对应的一帧立体图像的深度感知质量，计算V_dis相对于V_org的深度感知质量，记为Q_d，

根据Q_LR和Q_d，计算V_dis相对于V_org的失真立体视频质量，记为Q，Q＝w_LR×Q_LR+(1-w_LR)×Q_d，其中，w_LR为Q_LR在Q中所占的权重，在本实施例中取w_LR＝0.3。 

在本实施例中，选取法国IRCCyN研究机构提供的NAMA3DS1-CoSpaD1立体视频库(简称“NAMA视频数据库”)中的H.264编码压缩失真和JPEG2000编码压缩失真进行测试。NAMA视频数据库包含10对不同场景的原始高清立体视频，其H.264编码压缩失真包含3种不同的失真程度，共30对失真立体视频；JPEG2000编码压缩失真包含4种不同的失真程度，共40对失真立体视频。对上述70对失真立体视频按本发明方法的步骤①至步骤的过程，采用相同的方式计算得到每对失真立体视频相对于对应的无失真立体视频的失真立体视频质量Q，然后获取每对失真立体视频的平均主观评分差值DMOS，再将Q与平均主观评分差值DMOS进行四参数Logistic函数非线性拟合，最后得到客观评价结果与主观感知之间的性能指标值。这里，利用评估视频质量评价方法的3个常用客观参量作为评价指标，即线性相关系数(Correlation coefficient，CC)、Spearman等级相关系数(Spearman Rank Order Correlation coefficient，SROCC)和均方根误差(Rooted Mean Squared Error，RMSE)。CC和SROCC的取值范围是[0,1]，其值越接近1，表明客观评价方法准确性越高；反之，则越差。RMSE值越小，表示客观评价方法的预测越准确，性能越好；反之，则越差。表示本发明方法的评价性能的CC、SROCC和RMSE指标如表1所列。由表1中所列的数据可见，按本发明方法计算得到的失真的立体视频相对于对应的无失真的立体视频的失真立体视频质量Q与平均主观评分差值DMOS之间有很好的相关性。对于H.264编码压缩失真立体视频，CC值达到了0.8539， SROCC值达到了0.8229，而RMSE值低至0.6023；对于JPEG2000编码压缩失真立体视频，CC值达到了0.9084，SROCC值达到了0.8809，而RMSE值低至0.5209；对于包含以上两种失真立体视频的总体失真立体视频，CC值达到了0.8812，SROCC值达到了0.8439，而RMSE值低至0.5723，这表明了本发明方法的客观评价结果与人眼主观感知的结果较为一致，充分说明了本发明方法的有效性。 

表1 按本发明方法计算得到的失真的立体视频相对于对应的无失真的立体视频的失真立体视频质量与平均主观评分差值之间的相关性 

  CC SROCC RMSE 30对H.264编码压缩失真立体视频 0.8539 0.8229 0.6023 40对JPEG2000编码压缩失真立体视频 0.9084 0.8809 0.5209 共计70对失真立体视频 0.8812 0.8439 0.5723