一种基于小波变换的立体视频质量客观评价方法

摘要

本发明公开了一种基于小波变换的立体视频质量客观评价方法，其利用双目亮度信息融合的方式将立体图像中的左视点图像中的像素点的亮度值和右视点图像中的像素点的亮度值进行融合，得到立体图像的双目融合亮度图，通过这种亮度融合方式，在一定程度上解决了立体视频质量评价中立体感知质量评价困难的问题，有效地提高了立体视频客观质量评价的准确性；其在对失真立体视频对应的双目融合亮度图视频中的各帧组的质量进行加权时，充分考虑到人眼视觉特性对于视频中各类信息的敏感程度，利用运动剧烈程度和亮度差异来确定各帧组的权重，因此使得该立体视频质量评价方法更加符合人眼主观感知特点。

说明书

技术领域

本发明涉及一种立体视频质量评价方法，尤其是涉及一种基于小波变换的立体视频质量客观评价方法。

背景技术

随着视频编码技术和显示技术的迅速发展，各类视频系统得到了越来越广泛的应用和关注，并逐渐成为了信息处理领域的研究重点。而立体视频由于其突出的观看感受，更是越来越多的得到了人们的青睐，其相关技术的应用已经大量的融入到当前的社会生活中，例如立体电视、立体电影、裸眼3D等。然而，在立体视频的采集、压缩、编码、传输、显示等过程中会因为一系列不可控制的因素而不可避免地引入不同程度和类型的失真。因此，如何准确有效地度量视频质量对于各类视频系统的发展起到了重要的推动作用。立体视频质量评价可分为主观评价和客观评价两大类，而当前立体视频质量评价领域的关键在于如何建立一种准确有效的客观评价模型来评价立体视频客观质量。目前，大多数立体视频质量客观评价方法只是简单的将平面视频质量评价方法分别用于左视点质量和右视点质量的评价，这类方法没有很好地处理视点间的关系，也并没有考虑到立体视频中深度感知对于立体视频质量的影响，因此准确性较差。有部分方法虽然考虑到了双目之间的关系，但左视点与右视点之间的加权处理不合理，难以准确地描述人眼对于立体视频的感知特性，且目前大部分对立体视频质量评价的时域加权处理只是简单的平均加权，而事实上，人眼对立体视频的时域感知并非只是简单的平均加权。因此，现有的立体视频质量客观评价方法并不能准确地反映人眼感知特性，客观评价结果不够准确。

发明内容

本发明所要解决的技术问题是提供一种基于小波变换的立体视频质量客观评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于小波变换的立体视频质量客观评价方法，其特征在于包括以下步骤：

①令V_org表示原始的无失真的立体视频，令V_dis表示待评价的失真的立体视频；

②计算V_org中的每帧立体图像中的每个像素点的双目融合亮度，将V_org中的第f帧立体图像中坐标位置为(u,v)的像素点的双目融合亮度记为$>B_{\mathrm{org}}^f(u,v)=\sqrt{{\left(I_{\mathrm{org}}^{R,f}(u,v)\right)}^2+{\left(I_{\mathrm{org}}^{L,f}(u,v)\right)}^2+2(I_{\mathrm{org}}^{R,f}(u,v)\times I_{\mathrm{org}}^{L,f}(u,v)\times \cos \partial )\times \lambda };$>然后根据V_org中的每帧立体图像中的所有像素点各自的双目融合亮度，得到V_org中的每帧立体图像的双目融合亮度图，将V_org中的第f帧立体图像的双目融合亮度图记为中坐标位置为(u,v)的像素点的像素值为再根据V_org中的所有立体图像各自的双目融合亮度图，得到V_org对应的双目融合亮度图视频，记为B_org，B_org中的第f帧双目融合亮度图为

并，计算V_dis中的每帧立体图像中的每个像素点的双目融合亮度，将V_dis中的第f帧立体图像中坐标位置为(u,v)的像素点的双目融合亮度记为$>B_{\mathrm{dis}}^f(u,v)=\sqrt{{\left(I_{\mathrm{dis}}^{R,f}(u,v)\right)}^2+{\left(I_{\mathrm{dis}}^{L,f}(u,v)\right)}^2+2(I_{\mathrm{dis}}^{R,f}(u,v)\times I_{\mathrm{dis}}^{L,f}(u,v)\times \cos \partial )\times \lambda };$>然后根据V_dis中的每帧立体图像中的所有像素点各自的双目融合亮度，得到V_dis中的每帧立体图像的双目融合亮度图，将V_dis中的第f帧立体图像的双目融合亮度图记为中坐标位置为(u，v)的像素点的像素值为再根据V_dis中的所有立体图像各自的双目融合亮度图，得到V_dis对应的双目融合亮度图视频，记为B_dis，B_dis中的第f帧双目融合亮度图为

其中，1≤f≤N_f，f的初始值为1，N_f表示V_org和V_dis中各自包含的立体图像的总帧数，1≤u≤U,1≤v≤V，U表示V_org和V_dis中各自包含的立体图像的宽度，V表示V_org和V_dis中各自包含的立体图像的高度，表示V_org中的第f帧立体图像的右视点图像中坐标位置为(u,v)的像素点的亮度值，表示V_org中的第f帧立体图像的左视点图像中坐标位置为(u,v)的像素点的亮度值，表示V_dis中的第f帧立体图像的右视点图像中坐标位置为(u,v)的像素点的亮度值，表示V_dis中的第f帧立体图像的左视点图像中坐标位置为(u,v)的像素点的亮度值，表示融合角度，λ表示显示器的亮度参数；

③以2ⁿ帧双目融合亮度图为一个帧组，将B_org和B_dis分别分为n_GoF个帧组，将B_org中的第i个帧组记为将B_dis中的第i个帧组记为其中，n取区间[3,5]内的整数，符号“”为向下取整符号，1≤i≤n_GoF；

④对B_org中的每个帧组进行一级三维小波变换，得到B_org中的每个帧组对应的8组子带序列，其中，8组子带序列包括4组时域高频子带序列和4组时域低频子带序列，每组子带序列包含个小波系数矩阵；

同样，对B_dis中的每个帧组进行一级三维小波变换，得到B_dis中的每个帧组对应的8组子带序列，其中，8组子带序列包括4组时域高频子带序列和4组时域低频子带序列，每组子带序列包含个小波系数矩阵；

⑤计算B_dis中的每个帧组对应的其中2组子带序列各自的质量，将对应的第j组子带序列的质量记为Q^i,j，其中，j＝1,5，1≤k≤K，K表示B_org中的每个帧组对应的每组子带序列和B_dis中的每个帧组对应的每组子带序列中各自包含的小波系数矩阵的总个数，表示对应的第j组子带序列中的第k个小波系数矩阵，表示对应的第j组子带序列中的第k个小波系数矩阵，SSIM()为结构相似度计算函数；

⑥根据B_dis中的每个帧组对应的其中2组子带序列各自的质量，计算B_dis中的每个帧组的质量，将的质量记为$>Q_{\mathrm{GoF}}^i=w_G\times Q^{i,1}+(1-w_G)\times Q^{i,5},$>其中，w_G为Q^i,1的权值，Q^i,1表示对应的第1组子带序列的质量，Q^i,5表示对应的第5组子带序列的质量；

⑦根据B_dis中的每个帧组的质量，计算V_dis的客观评价质量，记为Q_v，$>Q_v=\frac{\underset{i=1}{\overset{n_{\mathrm{GoF}}}{\Sigma }}{w}^i\times Q_{\mathrm{GoF}}^i}{\underset{i=1}{\overset{n_{\mathrm{GoF}}}{\Sigma }}{w}^i},$>其中，wⁱ为的权值。

所述的步骤⑦中的wⁱ的获取过程为：

⑦-1、以中除第1帧双目融合亮度图外的每帧双目融合亮度图的前一帧双目融合亮度图为参考，计算中除第1帧双目融合亮度图外的每帧双目融合亮度图中的每个像素点的运动矢量；

⑦-2、根据中除第1帧双目融合亮度图外的每帧双目融合亮度图中的每个像素点的运动矢量，计算中除第1帧双目融合亮度图外的每帧双目融合亮度图的运动剧烈程度，将中的第f'帧双目融合亮度图的运动剧烈程度记为MA^f'，$>{\mathrm{MA}}^{f^{\prime }}=\frac{1}{U\times V}\underset{s=1}{\overset{U}{\Sigma }}\underset{t=1}{\overset{V}{\Sigma }}{\left(({\mathrm{mv}}_x(s,t)\right)}^2+\left({\mathrm{mv}}_y{\left(s,t)\right)}^2\right),$>其中，2≤f'≤2ⁿ，f'的初始值为2，1≤s≤U,1≤t≤V，mv_x(s,t)表示中的第f'帧双目融合亮度图中坐标位置为(s,t)的像素点的运动矢量在水平方向上的值，mv_y(s,t)表示中的第f'帧双目融合亮度图中坐标位置为(s,t)的像素点的运动矢量在垂直方向上的值；

⑦-3、计算的运动剧烈程度，记为MAavgⁱ，

⑦-4、计算中的每帧双目融合亮度图的背景亮度图，将中的第f”帧双目融合亮度图的背景亮度图记为将中坐标位置为(p,q)的像素点的像素值记为$>{\mathrm{BL}}_{\mathrm{dis}}^{i,f^{\prime \prime }}(p,q)=\frac{1}{32}\underset{\mathrm{bi}=-2}{\overset{2}{\Sigma }}\underset{\mathrm{bj}=-2}{\overset{2}{\Sigma }}{I}_{\mathrm{dis}}^{i,f^{\prime \prime }}(p+\mathrm{bi},q+\mathrm{bi})\times \mathrm{BO}(\mathrm{bi}+3,\mathrm{bj}+3),$>其中，1≤f”≤2ⁿ，3≤p≤U-2,3≤q≤V-2，-2≤bi≤2,-2≤bj≤2，表示中的第f”帧双目融合亮度图中坐标位置为(p+bi,q+bi)的像素点的像素值，BO(bi+3,bj+3)表示5×5的背景亮度算子中下标为(bi+3,bj+3)处的元素；

⑦-5、计算中除第1帧双目融合亮度图外的每帧双目融合亮度图与前一帧双目融合亮度图的亮度差异图，将中的第f'帧双目融合亮度图与中的第f'-1帧双目融合亮度图的亮度差异图记为将中坐标位置为(p,q)的像素点的像素值记为$>{\mathrm{LD}}_{\mathrm{dis}}^{i,f^{\prime }}(p,q),{\mathrm{LD}}_{\mathrm{dis}}^{{i,f}^{\prime }}(p,q)=(I_{\mathrm{dis}}^{i{,f}^{\prime }}(p,q)-I_{\mathrm{dis}}^{i,f^{\prime }-1}(p,q)+{\mathrm{BL}}_{\mathrm{dis}}^{i,f^{\prime }}(p,q)-{\mathrm{BL}}_{\mathrm{dis}}^{i,f^{\prime }-1}(p,q))/2,$>其中，2≤f'≤2ⁿ，3≤p≤U-2,3≤q≤V-2，表示中的第f'帧双目融合亮度图中坐标位置为(p,q)的像素点的像素值，表示中的第f'-1帧双目融合亮度图中坐标位置为(p,q)的像素点的像素值，表示中的第f'帧双目融合亮度图的背景亮度图中坐标位置为(p,q)的像素点的像素值，表示中的第f'-1帧双目融合亮度图的背景亮度图中坐标位置为(p,q)的像素点的像素值；

⑦-6、计算中除第1帧双目融合亮度图外的每帧双目融合亮度图与前一帧双目融合亮度图的亮度差异图中的所有像素点的像素值的均值，将中的所有像素点的像素值的均值记为LD^i,f'；然后计算的亮度差异值，记为LDavgⁱ，$>{\mathrm{LDavg}}^i=\frac{\underset{f\prime =2}{\overset{2^n}{\Sigma }}{\mathrm{LD}}^{i,f^{\prime }}}{2^{n-1}};$>

⑦-7、将B_dis中所有帧组各自的运动剧烈程度按序组成B_dis的运动剧烈程度向量，记为V_MAavg，$>V_{\mathrm{MAavg}}=[{\mathrm{MAavg}}^1,{\mathrm{MAavg}}^2,...,{\mathrm{MAavg}}^i,...,{\mathrm{MAavg}}^{n_{\mathrm{GoF}}}],$>并将B_dis中所有帧组各自的亮度差异值按序组成B_dis的亮度差异向量，记为V_LDavg，$>V_{\mathrm{LDavg}}=[{\mathrm{LDavg}}^1,{\mathrm{LDavg}}^2,...,{\mathrm{LDavg}}^i,...,{\mathrm{LDavg}}^{n_{\mathrm{GoF}}}],$>其中，MAavg¹、MAavg²和对应表示B_dis中的第1个帧组、第2个帧组和第n_GoF个帧组的运动剧烈程度，LDavg¹、LDavg²和对应表示B_dis中的第1个帧组、第2个帧组和第n_GoF个帧组的亮度差异值；

⑦-8、对MAavgⁱ进行归一化计算，得到的归一化后的运动剧烈程度，记为并对LDavgⁱ进行归一化计算，得到的归一化后的亮度差异值，记为其中，max()为取最大值函数，min()为取最小值函数；

⑦-9、根据和计算的权值wⁱ，$>w^i=(1-v_{\mathrm{MAavg}}^{\mathrm{norm},i})\times v_{\mathrm{LDavg}}^{\mathrm{norm},i}.$>

所述的步骤⑥中取w_G＝0.8。

与现有技术相比，本发明的优点在于：

1)本发明方法利用双目亮度信息融合的方式将立体图像中的左视点图像中的像素点的亮度值和右视点图像中的像素点的亮度值进行融合，得到立体图像的双目融合亮度图，通过这种亮度融合方式，在一定程度上解决了立体视频质量评价中立体感知质量评价困难的问题，有效地提高了立体视频客观质量评价的准确性。

2)本发明方法将三维小波变换应用于立体视频质量评价之中，对双目融合亮度图视频中的各帧组进行一级三维小波变换，利用小波域的分解完成对于视频时域信息的描述，在一定程度上解决了视频时域信息描述困难的问题，有效地提高了立体视频客观质量评价的准确性。

3)本发明方法在对失真立体视频对应的双目融合亮度图视频中的各帧组的质量进行加权时，充分考虑到人眼视觉特性对于视频中各类信息的敏感程度，利用运动剧烈程度和亮度差异来确定各帧组的权重，因此使得该立体视频质量评价方法更加符合人眼主观感知特点。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于小波变换的立体视频质量客观评价方法，其总体实现框图如图1所示，其包括以下步骤：

①令V_org表示原始的无失真的立体视频，令V_dis表示待评价的失真的立体视频。

②计算V_org中的每帧立体图像中的每个像素点的双目融合亮度，将V_org中的第f帧立体图像中坐标位置为(u,v)的像素点的双目融合亮度记为$>B_{\mathrm{org}}^f(u,v)=\sqrt{{\left(I_{\mathrm{org}}^{R,f}(u,v)\right)}^2+{\left(I_{\mathrm{org}}^{L,f}(u,v)\right)}^2+2(I_{\mathrm{org}}^{R,f}(u,v)\times I_{\mathrm{org}}^{L,f}(u,v)\times \cos \partial )\times \lambda };$>然后根据V_org中的每帧立体图像中的所有像素点各自的双目融合亮度，得到V_org中的每帧立体图像的双目融合亮度图，将V_org中的第f帧立体图像的双目融合亮度图记为中坐标位置为(u,v)的像素点的像素值为再根据V_org中的所有立体图像各自的双目融合亮度图，得到V_org对应的双目融合亮度图视频，记为B_org，B_org中的第f帧双目融合亮度图为

并，计算V_dis中的每帧立体图像中的每个像素点的双目融合亮度，将V_dis中的第f帧立体图像中坐标位置为(u,v)的像素点的双目融合亮度记为$>B_{\mathrm{dis}}^f(u,v)=\sqrt{{\left(I_{\mathrm{dis}}^{R,f}(u,v)\right)}^2+{\left(I_{\mathrm{dis}}^{L,f}(u,v)\right)}^2+2(I_{\mathrm{dis}}^{R,f}(u,v)\times I_{\mathrm{dis}}^{L,f}(u,v)\times \cos \partial )\times \lambda };$>然后根据V_dis中的每帧立体图像中的所有像素点各自的双目融合亮度，得到V_dis中的每帧立体图像的双目融合亮度图，将V_dis中的第f帧立体图像的双目融合亮度图记为中坐标位置为(u,v)的像素点的像素值为再根据V_dis中的所有立体图像各自的双目融合亮度图，得到V_dis对应的双目融合亮度图视频，记为B_dis，B_dis中的第f帧双目融合亮度图为

其中，1≤f≤N_f，f的初始值为1，N_f表示V_org和V_dis中各自包含的立体图像的总帧数，1≤u≤U,1≤v≤V，U表示V_org和V_dis中各自包含的立体图像的宽度，V表示V_org和V_dis中各自包含的立体图像的高度，表示V_org中的第f帧立体图像的右视点图像中坐标位置为(u,v)的像素点的亮度值，表示V_org中的第f帧立体图像的左视点图像中坐标位置为(u,v)的像素点的亮度值，表示V_dis中的第f帧立体图像的右视点图像中坐标位置为(u,v)的像素点的亮度值，表示V_dis中的第f帧立体图像的左视点图像中坐标位置为(u,v)的像素点的亮度值，表示融合角度，在本实施例中取λ表示显示器的亮度参数，在本实施例中取λ＝1。

③以2ⁿ帧双目融合亮度图为一个帧组，将B_org和B_dis分别分为n_GoF个帧组，将B_org中的第i个帧组记为将B_dis中的第i个帧组记为其中，n取区间[3,5]内的整数，在本实施例中取n＝4，即本实施例以16帧双目融合亮度图为一个帧组，在实际实施时，如果B_org和B_dis中各自包含的双目融合亮度图的帧数不是2ⁿ的正整数倍时，则按序分得若干个帧组后，对多余的图像不作处理，符号“”为向下取整符号，1≤i≤n_GoF。

④对B_org中的每个帧组进行一级三维小波变换，得到B_org中的每个帧组对应的8组子带序列，其中，8组子带序列包括4组时域高频子带序列和4组时域低频子带序列，每组子带序列包含个小波系数矩阵。在此，B_org中的每个帧组对应的4组时域高频子带序列分别为原始时域高频近似序列HLL_org、原始时域高频水平方向细节序列HLH_org、原始时域高频垂直方向细节序列HHL_org、原始时域高频对角线方向细节序列HHH_org；B_org中的每个帧组对应的4组时域低频子带序列分别为原始时域低频近似序列LLL_org、原始时域低频水平方向细节序列LLH_org、原始时域低频垂直方向细节序列LHL_org、原始时域低频对角线方向细节序列LHH_org。

同样，对B_dis中的每个帧组进行一级三维小波变换，得到B_dis中的每个帧组对应的8组子带序列，其中，8组子带序列包括4组时域高频子带序列和4组时域低频子带序列，每组子带序列包含个小波系数矩阵。在此，B_dis中的每个帧组对应的4组时域高频子带序列分别为失真时域高频近似序列HLL_dis、失真时域高频水平方向细节序列HLH_dis、失真时域高频垂直方向细节序列HHL_dis、失真时域高频对角线方向细节序列HHH_dis；B_org中的每个帧组对应的4组时域低频子带序列分别为失真时域低频近似序列LLL_dis、失真时域低频水平方向细节序列LLH_dis、失真时域低频垂直方向细节序列LHL_dis、失真时域低频对角线方向细节序列LHH_dis。

本发明方法利用三维小波变换对双目融合亮度图视频进行时域分解，从频率成分的角度描述视频时域信息，在小波域中完成对时域信息的处理，从而在一定程度上解决了视频质量评价中时域质量评价困难的问题，提高了评价方法的准确性。

⑤计算B_dis中的每个帧组对应的其中2组子带序列各自的质量，将对应的第j组子带序列的质量记为Q^i,j，其中，j＝1,5，j＝1时对应的第1组子带序列为对应的第1组时域高频子带序列，j＝5时对应的第5组子带序列为对应的第1组时域低频子带序列，1≤k≤K，K表示B_org中的每个帧组对应的每组子带序列和B_dis中的每个帧组对应的每组子带序列中各自包含的小波系数矩阵的总个数，表示对应的第j组子带序列中的第k个小波系数矩阵，表示对应的第j组子带序列中的第k个小波系数矩阵，SSIM()为结构相似度计算函数，$>\mathrm{SSIM}({\mathrm{VI}}_{\mathrm{org}}^{i,j,k},{\mathrm{VI}}_{\mathrm{dis}}^{i,j,k})=\frac{({2\mu }_{\mathrm{org}}{\mu }_{\mathrm{dis}}+c_1)({2\sigma }_{\mathrm{org}-\mathrm{dis}}+c_2)}{({{\mu }_{\mathrm{org}}}^2+{{\mu }_{\mathrm{dis}}}^2+c_1)({{\sigma }_{\mathrm{org}}}^2+{{\sigma }_{\mathrm{dis}}}^2+c_2)},$>其中，μ_org表示中的所有元素的值的均值，μ_dis表示中的所有元素的值的均值，σ_org表示的方差，σ_dis表示的方差，σ_org-dis表示与之间的协方差，c₁和c₂均为常数，c₁和c₂的设置是为了避免分母取值为0，具体操作时可取c₁＝0.05，c₂＝0.05。

⑥根据B_dis中的每个帧组对应的其中2组子带序列各自的质量，计算B_dis中的每个帧组的质量，将的质量记为其中，w_G为Q^i,1的权值，在本实施例中取w_G＝0.8，Q^i,1表示对应的第1组子带序列的质量，亦表示对应的第1组时域高频子带序列的质量，Q^i,5表示对应的第5组子带序列的质量，亦表示对应的第1组时域低频子带序列的质量。

⑦根据B_dis中的每个帧组的质量，计算V_dis的客观评价质量，记为Q_v，其中，wⁱ为的权值，在此具体实施例中，wⁱ的获取过程为：

⑦-1、以中除第1帧双目融合亮度图外的每帧双目融合亮度图的前一帧双目融合亮度图为参考，计算中除第1帧双目融合亮度图外的每帧双目融合亮度图中的每个像素点的运动矢量。

⑦-2、根据中除第1帧双目融合亮度图外的每帧双目融合亮度图中的每个像素点的运动矢量，计算中除第1帧双目融合亮度图外的每帧双目融合亮度图的运动剧烈程度，将中的第f'帧双目融合亮度图的运动剧烈程度记为MA^f'，$>{\mathrm{MA}}^{f^{\prime }}=\frac{1}{U\times V}\underset{s=1}{\overset{U}{\Sigma }}\underset{t=1}{\overset{V}{\Sigma }}{\left(({\mathrm{mv}}_x(s,t)\right)}^2+\left({\mathrm{mv}}_y{\left(s,t)\right)}^2\right),$>其中，2≤f'≤2ⁿ，f'的初始值为2，1≤s≤U,1≤t≤V，mv_x(s,t)表示中的第f'帧双目融合亮度图中坐标位置为(s,t)的像素点的运动矢量在水平方向上的值，mv_y(s,t)表示中的第f'帧双目融合亮度图中坐标位置为(s,t)的像素点的运动矢量在垂直方向上的值。

⑦-3、计算的运动剧烈程度，记为MAavgⁱ，

⑦-4、计算中的每帧双目融合亮度图的背景亮度图，将中的第f”帧双目融合亮度图的背景亮度图记为将中坐标位置为(p,q)的像素点的像素值记为$>{\mathrm{BL}}_{\mathrm{dis}}^{i,f^{\prime \prime }}(p,q)=\frac{1}{32}\underset{\mathrm{bi}=-2}{\overset{2}{\Sigma }}\underset{\mathrm{bj}=-2}{\overset{2}{\Sigma }}{I}_{\mathrm{dis}}^{i,f^{\prime \prime }}(p+\mathrm{bi},q+\mathrm{bi})\times \mathrm{BO}(\mathrm{bi}+3,\mathrm{bj}+3),$>其中，1≤f”≤2ⁿ，3≤p≤U-2,3≤q≤V-2，-2≤bi≤2,-2≤bj≤2，表示中的第f”帧双目融合亮度图中坐标位置为(p+bi,q+bi)的像素点的像素值，BO(bi+3,bj+3)表示5×5的背景亮度算子中下标为(bi+3,bj+3)处的元素，在本实施例中5×5的背景亮度算子为$>\left(\begin{array}{ccccc}1& 1& 1& 1& 1\\ 1& 2& 2& 2& 1\\ 1& 2& 0& 2& 1\\ 1& 2& 2& 2& 1\\ 1& 1& 1& 1& 1\end{array}\right).$>

⑦-5、计算中除第1帧双目融合亮度图外的每帧双目融合亮度图与前一帧双目融合亮度图的亮度差异图，将中的第f'帧双目融合亮度图与中的第f'-1帧双目融合亮度图的亮度差异图记为将中坐标位置为(p,q)的像素点的像素值记为$>{\mathrm{LD}}_{\mathrm{dis}}^{i,f^{\prime }}(p,q),{\mathrm{LD}}_{\mathrm{dis}}^{{i,f}^{\prime }}(p,q)=(I_{\mathrm{dis}}^{i{,f}^{\prime }}(p,q)-I_{\mathrm{dis}}^{i,f^{\prime }-1}(p,q)+{\mathrm{BL}}_{\mathrm{dis}}^{i,f^{\prime }}(p,q)-{\mathrm{BL}}_{\mathrm{dis}}^{i,f^{\prime }-1}(p,q))/2,$>其中，2≤f'≤2ⁿ，3≤p≤U-2,3≤q≤V-2，表示中的第f'帧双目融合亮度图中坐标位置为(p,q)的像素点的像素值，表示中的第f'-1帧双目融合亮度图中坐标位置为(p,q)的像素点的像素值，表示中的第f'帧双目融合亮度图的背景亮度图中坐标位置为(p,q)的像素点的像素值，表示中的第f'-1帧双目融合亮度图的背景亮度图中坐标位置为(p,q)的像素点的像素值。

⑦-6、计算中除第1帧双目融合亮度图外的每帧双目融合亮度图与前一帧双目融合亮度图的亮度差异图中的所有像素点的像素值的均值，将中的所有像素点的像素值的均值记为LD^i,f'；然后计算的亮度差异值，记为LDavgⁱ，$>{\mathrm{LDavg}}^i=\frac{\underset{f\prime =2}{\overset{2^n}{\Sigma }}{\mathrm{LD}}^{i,f^{\prime }}}{2^{n-1}}.$>

⑦-7、将B_dis中所有帧组各自的运动剧烈程度按序组成B_dis的运动剧烈程度向量，记为V_MAavg，$>V_{\mathrm{MAavg}}=[{\mathrm{MAavg}}^1,{\mathrm{MAavg}}^2,...,{\mathrm{MAavg}}^i,...,{\mathrm{MAavg}}^{n_{\mathrm{GoF}}}],$>并将B_dis中所有帧组各自的亮度差异值按序组成B_dis的亮度差异向量，记为V_LDavg，$>V_{\mathrm{LDavg}}=[{\mathrm{LDavg}}^1,{\mathrm{LDavg}}^2,...,{\mathrm{LDavg}}^i,...,{\mathrm{LDavg}}^{n_{\mathrm{GoF}}}],$>其中，MAavg¹、MAavg²和对应表示B_dis中的第1个帧组、第2个帧组和第n_GoF个帧组的运动剧烈程度，LDavg¹、LDavg²和对应表示B_dis中的第1个帧组、第2个帧组和第n_GoF个帧组的亮度差异值。

⑦-8、对MAavgⁱ进行归一化计算，得到的归一化后的运动剧烈程度，记为并对LDavgⁱ进行归一化计算，得到的归一化后的亮度差异值，记为其中，max()为取最大值函数，min()为取最小值函数。

⑦-9、根据和计算的权值wⁱ，$>w^i=(1-v_{\mathrm{MAavg}}^{\mathrm{norm},i})\times v_{\mathrm{LDavg}}^{\mathrm{norm},i}.$>

为说明本发明方法的有效性和可行性，选取法国IRCCyN研究机构提供的NAMA3DS1-CoSpaD1立体视频库(简称“NAMA3D视频数据库”)进行验证试验，以分析本发明方法的客观评价结果与平均主观评分差值(Difference Mean Opinion Score，DMOS)之间的相关性。NAMA3D视频数据库包含10个不同场景的原始高清立体视频，其H.264编码压缩失真包含3种不同的失真程度，共30个失真立体视频；JPEG2000编码压缩失真包含4种不同的失真程度，共40个失真立体视频。对上述70个失真立体视频按本发明方法的步骤①至步骤⑦的过程，采用相同的方式计算得到每个失真立体视频相对于对应的无失真的立体视频的客观评价质量，然后将每个失真立体视频的客观评价质量与平均主观评分差值DMOS进行四参数Logistic函数非线性拟合，最后得到客观评价结果与主观感知之间的性能指标值。这里，利用评估视频质量评价方法的3个常用客观参量作为评价指标，即线性相关系数(Correlation coefficient，CC)、Spearman等级相关系数(Spearman Rank Order Correlation coefficient，SROCC)和均方根误差(RootedMean Squared Error，RMSE)。CC和SROCC的取值范围是[0,1]，其值越接近1，表明客观评价方法的准确性越高，反之，则越差。RMSE值越小，表示客观评价方法的预测越准确，性能越好；反之，则越差。表示本发明方法的评价性能的CC、SROCC和RMSE指标如表1所列。由表1中所列的数据可见，按本发明方法计算得到的失真立体视频的客观评价质量与平均主观评分差值DMOS之间有很好的相关性。对于H.264编码压缩失真视频，CC值达到了0.8712，SROCC值达到了0.8532，而RMSE值低至5.7212；对于JPEG2000编码压缩失真视频，CC值达到了0.9419，SROCC值达到了0.9196，而RMSE值低至4.1915；对于包含以上两种失真视频的总体失真视频，CC值达到了0.9201，SROCC值达到了0.8910，而RMSE值低至5.0523；表明了本发明方法的客观评价结果与人眼主观感知的结果较为一致，充分说明了本发明方法的有效性。

表1 按本发明方法计算得到的失真立体视频的客观评价质量与平均主观评分差值之间的相关性

      

CCSROCCRMSE30个H.264编码压缩立体视频0.87120.85325.721240个JPEG2000编码压缩立体视频0.94190.91964.1915共计70个失真立体视频0.92010.89105.0523