基于纹理复杂度的立体图像人眼恰可察觉失真分析方法

摘要

本发明公开了一种基于纹理复杂度的立体图像人眼恰可察觉失真分析方法，其从纹理复杂度角度出发，分析非对称立体图像编码时右视点图像的质量相对于左视点图像的质量可以下降的最大量化参数编码范围，通过大量主观实验，在以左视点图像质量固定不变的情况下，测定人眼可感知立体图像变化右视点图像质量的临界值，通过线性拟合得到右视点图像的最大可容忍量化参数阈值与纹理复杂度和编码量化参数之间的定量的数学模型关系，使得既能通过降低右视点图像质量来达到提高编码压缩效率的目的，同时又利用立体视觉掩蔽效应使观察者不能感知到右视点图像质量的下降，从而保证了立体图像的整体质量。

说明书

技术领域

本发明涉及一种立体图像视觉感知特性的测量与分析技术，尤其是涉及一种基于纹理复杂度的立体图像人眼恰可察觉失真分析方法，其特别适用于非对称立体图像及视频编码的人眼最小可察觉失真分析。

背景技术

早期心理学研究发现，在人眼立体视觉感知中存在掩蔽效应，即在构成立体图像的左视点图像和右视点图像中，质量好的视点图像对整体的立体图像感知质量贡献更大。基于该心理学基础，研究人员通过主观实验进一步研究发现，虽然人眼在观看由左视点图像和右视点图像构成的立体图像时存在这种立体掩蔽效应，但是这种立体掩蔽效应必须限定在一个阈值范围内。即对于一组立体图像，在保证其中一个视点的图像质量良好且维持不变，而另一个视点的图像质量逐渐下降的情况下，虽然整体的立体视觉质量刚开始并不会受到影响，但是当另一个视点的图像质量恶化到一定程度时，人眼已经能感知到这种立体质量的下降，即立体掩蔽效应的阈值点。目前的研究工作已经揭示了立体图像可允许失真的阈值。利用这一立体掩蔽效应，在不降低人眼视觉感知质量的前提下，可在阈值范围内降低其中一个视点的图像质量，而保证另一个视点的图像高质量，以充分去除立体图像中的感知冗余，提升总体编码效率。

有研究表明，人眼立体视觉掩蔽效应受到立体图像中纹理复杂度、亮度、颜色等因素的共同影响，且不同因素对人眼立体视觉掩蔽效应可容忍的失真不同。现有的立体图像人眼恰可察觉失真分析方法为立体主观感知实验，主要是从一个视点质量不变另一个视点质量整体下降的角度，来测定人眼可感知立体视觉变化，只得到了一个右视点图像相对于左视点图像的整体恰可感知失真阈值，而忽略了立体图像的不同局部区域纹理复杂度、亮度、颜色等因素的不同对立体视觉局部掩蔽阈值的影响。显然，对于具有不同纹理和亮度分布的自然立体图像，如果仅采用一个整体恰可感知失真阈值，并不能很好地反映立体图像局部的感知冗余，不能最大限度地压缩感知冗余提高编码压缩效率。由于纹理复杂度是影响立体掩蔽效应的重要因素，研究纹理复杂度对立体掩蔽效应的影响意义重大，而目前关于纹理复杂度对立体掩蔽效应影响的定量研究成果鲜见报道，因此，如何设计一个分析方法，以定量分析这个临界值是十分必要的。

发明内容

本发明所要解决的技术问题是提供一种基于纹理复杂度的立体图像人眼恰可察觉失真分析方法，其能够针对立体图像中不同局部纹理复杂度的差异调整感知冗余，能够最大程度地利用立体掩蔽效应以压缩感知冗余提高编码压缩效率，从而能够更好地满足非对称立体视频编码的需要。

本发明解决上述技术问题所采用的技术方案为：一种基于纹理复杂度的立体图像人眼恰可察觉失真分析方法，其特征在于包括以下步骤：

①利用三维建模与制作软件，获得N幅单一对象的纹理密度各不相同的立体图像，并假设N幅立体图像中的单一对象的纹理密度为从疏到密，其中，N>1；然后在三维建模与制作软件中，编辑每幅立体图像的左视点图像和右视点图像各自中的单一对象的alpha通道，将需要保留的单一对象设置为非透空区域并填充纯白，将其余部分设置为透空区域并填充纯黑，再渲染制作出每幅立体图像的左视点图像和右视点图像各自的掩膜二值图像；接着根据每幅立体图像的左视点图像和右视点图像各自的掩膜二值图像，通过计算平均局部方差的大小来重新评价每幅立体图像的平均纹理复杂度，将对第n幅立体图像采用平均局部方差计算求得的平均纹理复杂度记为ALV_n，其中，1≤n≤N；

②获取每幅立体图像对应的K个编码立体图像对比测试集，N幅立体图像共有N×K个编码立体图像对比测试集，其中，第n幅立体图像对应的K个编码立体图像对比测试集的获取过程为：

②_1、设定一个左视点编码量化参数取值区间为[QP_min,QP_max)；然后从[QP_min,QP_max)中等步长取K个不同的左视点编码量化参数，分别为QP_L,1,QP_L,2,…,QP_L,K，且QP_L,1＝QP_min；其中，QP_min表示设定的最小编码量化参数，QP_max表示设定的最大编码量化参数，K>1，QP_L,1,QP_L,2,…,QP_L,K表示所取的第1个、第2个、…、第K个左视点编码量化参数，QP_L,1<QP_L,2<…<QP_L,K；

②_2、将第k个左视点编码量化参数QP_L,k定义为当前左视点编码量化参数，其中，1≤k≤K，k的初始值为1；

②_3、利用视频编码软件，并采用当前左视点编码量化参数对第n幅立体图像的左视点图像以帧内编码方式进行编码，将得到的编码左图像记为L_n,k；

②_4、设定一个右视点编码量化参数取值区间为[QP_L,k,QP_max]；然后从[QP_L,k,QP_max]中等步长取M个右视点编码量化参数，分别为QP_R,1,QP_R,2,…,QP_R,M，且QP_R,1＝QP_L,k；其中，M>1，QP_R,1,QP_R,2,…,QP_R,M表示所取的第1个、第2个、…、第M个右视点编码量化参数，QP_R,1<QP_R,2<…<QP_R,M；

②_5、利用视频编码软件，并采用M个右视点编码量化参数分别对第n幅立体图像的右视点图像以帧内编码方式进行编码，共得到M幅不同质量的编码右图像，将采用第m个右视点编码量化参数QP_R,m对第n幅立体图像的右视点图像以帧内编码方式进行编码得到的第n幅编码右图像记为R_n,k,m，其中，1≤m≤M；

②_6、将L_n,k分别与M幅编码右图像构成M幅不同质量的编码立体图像，将L_n,k与R_n,k,m构成的编码立体图像记为S_n,k,m；然后将S_n,k,1作为参考编码立体图像，将S_n,k,2,S_n,k,3,…,S_n,k,M分别作为测试编码立体图像，其中，S_n,k,1表示L_n,k与第1幅编码右图像R_n,k,1构成的编码立体图像，S_n,k,2表示L_n,k与第2幅编码右图像R_n,k,2构成的编码立体图像，S_n,k,3表示L_n,k与第3幅编码右图像R_n,k,3构成的编码立体图像，S_n,k,M表示L_n,k与第M幅编码右图像R_n,k,M构成的编码立体图像；接着将S_n,k,1分别与S_n,k,2,S_n,k,3,…,S_n,k,M一一组合成编码立体图像对，将组合得到的M-1个编码立体图像对构成的集合定义为第k个编码立体图像对比测试集，记为{S_n,k,1S_n,k,2,S_n,k,1S_n,k,3,…,S_n,k,1S_n,k,M}，其中，S_n,k,1S_n,k,2表示S_n,k,1与S_n,k,2组合成的编码立体图像对，S_n,k,1S_n,k,3表示S_n,k,1与S_n,k,3组合成的编码立体图像对，S_n,k,1S_n,k,M表示S_n,k,1与S_n,k,M组合成的编码立体图像对；

②_7、令k＝k+1，然后将第k个左视点编码量化参数QP_L,k作为当前左视点编码量化参数，再返回步骤②_2继续执行，直至K个左视点编码量化参数选择完毕，共得到第n幅立体图像对应的K个编码立体图像对比测试集，其中，k＝k+1中的“＝”为赋值符号；

③组织立体图像主观质量评价的参与者多名；然后由每名参与者采用两两对比的方式，在立体显示器上主观观察并对比每幅立体图像对应的每个编码立体图像对比测试集中组合成每个编码立体图像对的两幅编码立体图像，再判断打分评判质量；接着统计所有参与者对每幅立体图像对应的每个编码立体图像对比测试集中组合成每个编码立体图像对的两幅编码立体图像的分数；

其中，在立体显示器上主观观察并对比第n幅立体图像对应的第k个编码立体图像对比测试集{S_n,k,1S_n,k,2,S_n,k,1S_n,k,3,…,S_n,k,1S_n,k,M}中组合成每个编码立体图像对的两幅编码立体图像之前，先确定播放顺序，具体过程为：将组合成每个编码立体图像对的两幅编码立体图像在立体显示器上显示的左右位置随机化，并令Flag表示参考编码立体图像S_n,k,1在立体显示器上显示的位置标记，若参考编码立体图像S_n,k,1在立体显示器上显示的位置为左边，则令Flag＝1；若参考编码立体图像S_n,k,1在立体显示器上显示的位置为右边，则令Flag＝0；同时，将M-1个编码立体图像对在立体显示器上显示的播放顺序随机化；

其中，每名参与者在对第n幅立体图像对应的第k个编码立体图像对比测试集{S_n,k,1S_n,k,2,S_n,k,1S_n,k,3,…,S_n,k,1S_n,k,M}中组合成每个编码立体图像对的两幅编码立体图像判断打分评判质量时，每个编码立体图像对的两幅编码立体图像在立体显示器上显示的时间为T1_k秒，前后播放的两个编码立体图像对的播放间隔时间为T2_k秒，1s<T2_k<T1_k，前后播放的两个编码立体图像对的播放间隔内显示灰度图供每名参与者休息，设置的评定选项为三项，分别为左边图像质量好、差不多、右边图像质量好，若在T1_k秒内每名参与者认为显示在立体显示器的左边的编码立体图像的质量好，则左边图像质量好的评定选项得1分，而差不多的评定选项和右边图像质量好的评定选项均得0分；若在T1_k秒内每名参与者认为显示在立体显示器的右边的编码立体图像的质量好，则右边图像质量好的评定选项得1分，而差不多的评定选项和左边图像质量好的评定选项均得0分；若在T1_k秒内每名参与者认为显示在立体显示器的左边的编码立体图像和显示在立体显示器的右边的编码立体图像的质量差不多，则差不多的评定选项得1分，而左边图像质量好的评定选项和右边图像质量好的评定选项均得0分；若在T1_k秒内每名参与者无法判断显示在立体显示器的左边的编码立体图像和显示在立体显示器的右边的编码立体图像的质量，则差不多的评定选项得1分，而左边图像质量好的评定选项和右边图像质量好的评定选项均得0分；

④计算针对每幅立体图像对应的每个编码立体图像对比测试集中的每个编码立体图像对的失真发现人数及失真发现概率，将针对第n幅立体图像对应的第k个编码立体图像对比测试集{S_n,k,1S_n,k,2,S_n,k,1S_n,k,3,…,S_n,k,1S_n,k,M}中的第g个编码立体图像对S_n,k,1S_n,k,g-1的失真发现人数及失真发现概率对应记为num_n,k,g和P_n,k,g，若Flag＝1，则num_n,k,g为评定选项中左边图像质量好的总分数；若Flag＝0，则num_n,k,g为评定选项中右边图像质量好的总分数；其中，1≤g≤M-1，NUM表示参与者的总人数；

然后计算每幅立体图像对应的每个编码立体图像对比测试集中的编码立体图像对中的测试编码立体图像的编码右图像采用的右视点编码量化参数相对于编码左图像采用的左视点编码量化参数的可容忍增加范围值，将第n幅立体图像对应的第k个编码立体图像对比测试集{S_n,k,1S_n,k,2,S_n,k,1S_n,k,3,…,S_n,k,1S_n,k,M}中的编码立体图像对中的测试编码立体图像的编码右图像采用的右视点编码量化参数相对于编码左图像采用的左视点编码量化参数的可容忍增加范围值记为ΔQP_n,k,th，ΔQP_n,k,th＝QP_n,k,th-QP_L,k，其中，$>{\mathrm{QP}}_{n,k,th}=\frac{{\mathrm{QP}}_{R,a}(P_{n,k,b}-0.5)+{\mathrm{QP}}_{R,b}(0.5-P_{n,k,a})}{P_{n,k,b}-P_{n,k,a}},$>P_n,k,a表示针对第n幅立体图像对应的第k个编码立体图像对比测试集{S_n,k,1S_n,k,2,S_n,k,1S_n,k,3,…,S_n,k,1S_n,k,M}中的所有编码立体图像对的失真发现概率中小于0.5且最接近0.5的失真发现概率，P_n,k,b表示针对第n幅立体图像对应的第k个编码立体图像对比测试集{S_n,k,1S_n,k,2,S_n,k,1S_n,k,3,…,S_n,k,1S_n,k,M}中的所有编码立体图像对的失真发现概率中大于0.5且最接近0.5的失真发现概率，QP_R,a表示P_n,k,a对应的编码立体图像对中的测试编码立体图像的编码右图像采用的右视点编码量化参数，QP_R,b表示P_n,k,b对应的编码立体图像对中的测试编码立体图像的编码右图像采用的右视点编码量化参数；

⑤对每个左视点编码量化参数对应的N个可容忍增加范围值进行线性拟合，得到每个左视点编码量化参数对应的线性拟合方程，将QP_L,k对应的线性拟合方程表示为：ΔQP_k,th＝A_k×ALV+B_k，其中，ΔQP_k,th表示QP_L,k对应的线性拟合方程的恰可察觉失真阈值，参数A_k表示QP_L,k对应的线性拟合方程的斜率，参数B_k表示QP_L,k对应的线性拟合方程的截距，参数A_k和参数B_k在线性拟合时直接获得，ALV表示对任意一幅待人眼恰可察觉失真分析的立体图像采用平均局部方差计算求得的平均纹理复杂度；

⑥将步骤⑤得到的共K个线性拟合方程统一表示为线性方程族公式，即为：ΔQP_th＝A(QP_L)×ALV+B(QP_L)，该公式即为基于纹理复杂度的立体图像人眼可感知立体视觉最小可察觉变化量化参数的定量关系，其中，ΔQP_th表示最小可察觉变化量化参数阈值，A(QP_L)表示线性方程族的斜率，B(QP_L)表示线性方程族的截距，QP_L表示左视点编码量化参数，A(QP_L)、B(QP_L)均为QP_L的函数，A(QP_L)的线性方程由K个左视点编码量化参数及K个左视点编码量化参数各自对应的线性拟合方程的斜率线性拟合得到，B(QP_L)的线性方程由K个左视点编码量化参数及K个左视点编码量化参数各自对应的线性拟合方程的截距线性拟合得到。

所述的步骤①中获得N幅单一对象的纹理密度各不相同的立体图像的过程为：

①_a1、利用三维建模与制作软件，以任意一个物件作为单一对象建立立体模型，该立体模型包括背景和单一对象模型；

①_a2、采用三维建模与制作软件中自带的均匀纹理图，对单一对象模型的表面进行表面贴图，通过调整三维建模与制作软件中的纹理编辑器中的N个贴图密度等级，渲染制作出N幅单一对象的纹理密度各不相同的立体图像，每幅立体图像中的单一对象上的纹理均匀一致。

所述的步骤①中ALV_n的获取过程为：

①_b1、利用第n幅立体图像的左视点图像的掩膜二值图像对第n幅立体图像的左视点图像进行掩膜处理，得到第n幅掩膜后左图像；并利用第n幅立体图像的右视点图像的掩膜二值图像对第n幅立体图像的右视点图像进行掩膜处理，得到第n幅掩膜后右图像；

①_b2、利用平均局部方差的计算公式，计算第n幅掩膜后左图像的平均局部方差值，记为ALV_n,L，并利用平均局部方差的计算公式，计算第n幅掩膜后右图像的平均局部方差值，记为ALV_n,R，其中，P_num表示第n幅掩膜后左图像中的像素点的总个数，也即是第n幅掩膜后右图像中的像素点的总个数，MB_num表示第n幅掩膜后左图像中的尺寸大小为8×8的互不重叠的图像块的总个数，也即是第n幅掩膜后右图像中的尺寸大小为8×8的互不重叠的图像块的总个数，1≤i≤MB_num，v_n,L,i,8×8表示第n幅掩膜后左图像中的第i个图像块的方差，v_n,R,i,8×8示第n幅掩膜后右图像中的第i个图像块的方差；

①_b3、计算第n幅立体图像的平均局部方差值，记为ALV'_n，然后令ALV_n＝ALV'_n，即用ALV'_n来代表第n幅立体图像的平均纹理复杂度，其中，ALV_n＝ALV'_n中的“＝”为赋值符号。

所述的步骤②_1中取QP_min＝20，取QP_max＝51。

所述的步骤②_4中QP_R,2＝QP_R,1+δ_k，QP_R,M＝QP_R,1+(M-1)δ_k，其中，δ_k表示在当前左视点编码量化参数下相邻两个右视点编码量化参数的差值的绝对值，当QP_max-QP_L,k＝M时，取δ_k＝1；当QP_max-QP_L,k>M时，取round()为四舍五入取整函数。

与现有技术相比，本发明的优点在于：

本发明方法从纹理复杂度角度出发，分析非对称立体图像编码时右视点图像的质量相对于左视点图像的质量可以下降的最大量化参数编码范围，通过大量主观实验，在以左视点图像质量固定不变的情况下，测定人眼可感知立体图像变化右视点图像质量的临界值，通过线性拟合得到右视点图像的最大可容忍量化参数阈值与纹理复杂度和编码量化参数之间的定量的数学模型关系，使得既能通过降低右视点图像质量来达到提高编码压缩效率的目的，同时又利用立体视觉掩蔽效应使观察者不能感知到右视点图像质量的下降，从而保证了立体图像的整体质量。

现有技术主要是从一个视点质量不变另一个视点质量整体下降的角度，来测定人眼可感知立体视觉变化，只得到了一个宏观感知失真的阈值，而本发明方法则可以针对图像内容中不同局部纹理复杂度的差异调整感知的冗余，并给出了定量的分析公式，最大程度地利用了立体掩蔽效应，从而可以更好地满足非对称立体视频编码的需要。

附图说明

图1为本发明方法的总体实现框图；

图2a为第1幅立体图像的左视点图像(分辨率为928×928)；

图2b为第1幅立体图像的右视点图像(分辨率为928×928)；

图3a为第2幅立体图像的左视点图像(分辨率为928×928)；

图3b为第2幅立体图像的右视点图像(分辨率为928×928)；

图4a为第3幅立体图像的左视点图像(分辨率为928×928)；

图4b为第3幅立体图像的右视点图像(分辨率为928×928)；

图5a为第4幅立体图像的左视点图像(分辨率为928×928)；

图5b为第4幅立体图像的右视点图像(分辨率为928×928)；

图6a为第5幅立体图像的左视点图像(分辨率为928×928)；

图6b为第5幅立体图像的右视点图像(分辨率为928×928)；

图7a为第6幅立体图像的左视点图像(分辨率为928×928)；

图7b为第6幅立体图像的右视点图像(分辨率为928×928)；

图8a为图2a的掩膜二值图像；

图8b为图2b的掩膜二值图像；

图9为QP_L,1＝20、QP_L,2＝26、QP_L,3＝32、QP_L,4＝38时4条关于纹理复杂度ALV和ΔQP_k,th的拟合曲线；

图10a为由四组数据(QP_L,k，A_k)线性拟合得到的A(QP_L)的拟合曲线；

图10b为由四组数据(QP_L,k，B_k)线性拟合得到的B(QP_L)的拟合曲线；

图11为线性方程族ΔQP_th＝A(QP_L)×ALV+B(QP_L)的曲面图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于纹理复杂度的立体图像人眼恰可察觉失真分析方法，其总体实现框图如图1所示，其包括以下步骤：

①考虑到自然场景的立体图像过于复杂，很难得到只有纹理变化而颜色、背景亮度、视差、对比度等因素保持不变的多幅立体图像，并不合适用来定量研究纹理信息对于立体视觉感知阈值的影响，因此利用现有的三维建模与制作软件，获得N幅单一对象的纹理密度各不相同的立体图像，并假设N幅立体图像中的单一对象的纹理密度为从疏到密，其中，N>1；然后在三维建模与制作软件中，编辑每幅立体图像的左视点图像和右视点图像各自中的单一对象的alpha通道，将需要保留的单一对象设置为非透空区域并填充纯白，将其余部分设置为透空区域并填充纯黑，再渲染制作出每幅立体图像的左视点图像和右视点图像各自的掩膜二值图像；由于三维建模与制作软件中设定的纹理百分比不具备通用性，因此本发明接着根据每幅立体图像的左视点图像和右视点图像各自的掩膜二值图像，通过计算平均局部方差的大小来重新评价每幅立体图像的平均纹理复杂度，在评价纹理复杂度时只考虑单一对象的纹理而不考虑背景纹理，将对第n幅立体图像采用平均局部方差计算求得的平均纹理复杂度记为ALV_n，其中，1≤n≤N。

在本实施例中，三维建模与制作软件采用Maya2015；综合考虑主观实验的全面性和工作量，可取N＝6。

在本实施例中，步骤①中获得N幅单一对象的纹理密度各不相同的立体图像的过程为：

①_a1、利用三维建模与制作软件，以任意一个物件如小球作为单一对象建立立体模型，该立体模型包括背景和单一对象模型。

①_a2、采用三维建模与制作软件中自带的均匀纹理图，对单一对象模型的表面进行表面贴图，在保证颜色、背景亮度、视差、对比度等因素保持不变的情况下仅改变纹理密度，即通过调整三维建模与制作软件中的纹理编辑器中的N个贴图密度等级(即为人眼感觉到的疏密等级)，渲染制作出N幅单一对象的纹理密度各不相同的立体图像，每幅立体图像中的单一对象上的纹理均匀一致。

图2a和图2b对应给出了第1幅立体图像的左视点图像和右视点图像，图3a和图3b对应给出了第2幅立体图像的左视点图像和右视点图像，图4a和图4b对应给出了第3幅立体图像的左视点图像和右视点图像，图5a和图5b对应给出了第4幅立体图像的左视点图像和右视点图像，图6a和图6b对应给出了第5幅立体图像的左视点图像和右视点图像，图7a和图7b对应给出了第6幅立体图像的左视点图像和右视点图像。从图2a至图7b中可以看出，第1幅至第6幅立体图像中的单一对象即小球的纹理密度依次从疏到密增大。

图8a给出了图2a的掩膜二值图像，图8b给出了图2b的掩膜二值图像。

在本实施例中，步骤①中ALV_n的获取过程为：

①_b1、利用第n幅立体图像的左视点图像的掩膜二值图像对第n幅立体图像的左视点图像进行掩膜处理，去掉背景，得到第n幅掩膜后左图像，如对于第1幅立体图像的左视点图像，利用图8a对图2a进行掩膜处理；并利用第n幅立体图像的右视点图像的掩膜二值图像对第n幅立体图像的右视点图像进行掩膜处理，去掉背景，得到第n幅掩膜后右图像，如对于第1幅立体图像的右视点图像，利用图8b对图2b进行掩膜处理。

①_b2、利用平均局部方差(AverageofLocalVariance，ALV)的计算公式，计算第n幅掩膜后左图像的平均局部方差值，记为ALV_n,L，并利用平均局部方差的计算公式，计算第n幅掩膜后右图像的平均局部方差值，记为ALV_n,R，其中，P_num表示第n幅掩膜后左图像中的像素点的总个数，也即是第n幅掩膜后右图像中的像素点的总个数，MB_num表示第n幅掩膜后左图像中的尺寸大小为8×8的互不重叠的图像块的总个数，也即是第n幅掩膜后右图像中的尺寸大小为8×8的互不重叠的图像块的总个数，即先将第n幅掩膜后左图像和第n幅掩膜后右图像分别划分为多个尺寸大小为8×8的互不重叠的图像块，1≤i≤MB_num，v_n,L,i,8×8表示第n幅掩膜后左图像中的第i个图像块的方差，v_n,R,i,8×8示第n幅掩膜后右图像中的第i个图像块的方差。

①_b3、计算第n幅立体图像的平均局部方差值，记为ALV'_n，然后令ALV_n＝ALV'_n，即用ALV'_n来代表第n幅立体图像的平均纹理复杂度，其中，ALV_n＝ALV'_n中的“＝”为赋值符号。

在本实施例中，表1给出了第1幅至第6幅立体图像各自的平均纹理复杂度。

表1第1幅至第6幅立体图像各自的平均纹理复杂度

立体图像平均纹理复杂度第1幅0.5503第2幅3.3571第3幅4.55387 -->第4幅6.2705第5幅8.1500第6幅8.2547

②获取每幅立体图像对应的K个编码立体图像对比测试集，N幅立体图像共有N×K个编码立体图像对比测试集，其中，第n幅立体图像对应的K个编码立体图像对比测试集的获取过程为：

②_1、设定一个左视点编码量化参数取值区间为[QP_min,QP_max)；然后从[QP_min,QP_max)中等步长取K个不同的左视点编码量化参数，分别为QP_L,1,QP_L,2,…,QP_L,K，且QP_L,1＝QP_min；其中，QP_min表示设定的最小编码量化参数，QP_max表示设定的最大编码量化参数，K>1，QP_L,1,QP_L,2,…,QP_L,K表示所取的第1个、第2个、…、第K个左视点编码量化参数，QP_L,1<QP_L,2<…<QP_L,K。

在本实施例中，取QP_min＝20，取QP_max＝51；综合考虑主观实验中左视点编码量化参数取值的全面性和工作量，取K＝4，这样QP_L,1,QP_L,2,QP_L,3,QP_L,4可对应取值为20、26、32、38，对于N幅立体图像的左视点图像，选取的K个不同的左视点编码量化参数都一样，即对于N幅立体图像的左视点图像，选取的第1个左视点编码量化参数相同，依次类推。

②_2、将第k个左视点编码量化参数QP_L,k定义为当前左视点编码量化参数，其中，1≤k≤K，k的初始值为1。

②_3、利用现有的视频编码软件，并采用当前左视点编码量化参数对第n幅立体图像的左视点图像以帧内编码方式进行编码，将得到的编码左图像记为L_n,k。

在本实施例中，视频编码软件可采用HEVC视频编码标准参考软件HM14.0。

②_4、设定一个右视点编码量化参数取值区间为[QP_L,k,QP_max]；然后从[QP_L,k,QP_max]中等步长取M个右视点编码量化参数，分别为QP_R,1,QP_R,2,…,QP_R,M，且QP_R,1＝QP_L,k；其中，M>1，QP_R,1,QP_R,2,…,QP_R,M表示所取的第1个、第2个、…、第M个右视点编码量化参数，QP_R,1<QP_R,2<…<QP_R,M。

在本实施例中，综合考虑主观实验中右视点编码量化参数取值的全面性和工作量，取M＝13。

在本实施例中，步骤②_4中QP_R,2＝QP_R,1+δ_k，QP_R,M＝QP_R,1+(M-1)δ_k，其中，δ_k表示在当前左视点编码量化参数下相邻两个右视点编码量化参数的差值的绝对值，当QP_max-QP_L,k＝M时，取δ_k＝1；当QP_max-QP_L,k>M时，取round()为四舍五入取整函数。

表2给出了QP_L,1,QP_L,2,QP_L,3,QP_L,4下各自对应的M个右视点编码量化参数。

表2QP_L,1,QP_L,2,QP_L,3,QP_L,4下各自对应的M个右视点编码量化参数

②_5、利用现有的视频编码软件，并采用M个右视点编码量化参数分别对第n幅立体图像的右视点图像以帧内编码方式进行编码，共得到M幅不同质量的编码右图像，将采用第m个右视点编码量化参数QP_R,m对第n幅立体图像的右视点图像以帧内编码方式进行编码得到的第n幅编码右图像记为R_n,k,m，其中，1≤m≤M。

②_6、将L_n,k分别与M幅编码右图像构成M幅不同质量的编码立体图像，将L_n,k与R_n,k,m构成的编码立体图像记为S_n,k,m；由于立体图像的左视点图像编码时采用的左视点编码量化参数和立体图像的右视点图像编码时采用的右视点编码量化参数相等时，得到的编码立体图像的质量最好，因此然后将S_n,k,1作为参考编码立体图像，将S_n,k,2,S_n,k,3,…,S_n,k,M分别作为测试编码立体图像，其中，S_n,k,1表示L_n,k与第1幅编码右图像R_n,k,1构成的编码立体图像，S_n,k,2表示L_n,k与第2幅编码右图像R_n,k,2构成的编码立体图像，S_n,k,3表示L_n,k与第3幅编码右图像R_n,k,3构成的编码立体图像，S_n,k,M表示L_n,k与第M幅编码右图像R_n,k,M构成的编码立体图像；接着将S_n,k,1分别与S_n,k,2,S_n,k,3,…,S_n,k,M一一组合成编码立体图像对，将组合得到的M-1个编码立体图像对构成的集合定义为第k个编码立体图像对比测试集，记为{S_n,k,1S_n,k,2,S_n,k,1S_n,k,3,…,S_n,k,1S_n,k,M}，其中，S_n,k,1S_n,k,2表示S_n,k,1与S_n,k,2组合成的编码立体图像对，S_n,k,1S_n,k,3表示S_n,k,1与S_n,k,3组合成的编码立体图像对，S_n,k,1S_n,k,M表示S_n,k,1与S_n,k,M组合成的编码立体图像对。

②_7、令k＝k+1，然后将第k个左视点编码量化参数QP_L,k作为当前左视点编码量化参数，再返回步骤②_2继续执行，直至K个左视点编码量化参数选择完毕，共得到第n幅立体图像对应的K个编码立体图像对比测试集，其中，k＝k+1中的“＝”为赋值符号。

③组织立体图像主观质量评价的参与者多名；然后由每名参与者采用两两对比的方式，在立体显示器上主观观察并对比每幅立体图像对应的每个编码立体图像对比测试集中组合成每个编码立体图像对的两幅编码立体图像，再判断打分评判质量；接着统计所有参与者对每幅立体图像对应的每个编码立体图像对比测试集中组合成每个编码立体图像对的两幅编码立体图像的分数。

在本实施例中，实验的参与者有20个，12男8女，平均年龄为25周岁，所有人视力正常或矫正视力正常。

在本实施例中，主观观察是在立体显示器上进行的，如使用的立体显示设备为三星UA65F9000AJ超高清UHD快门式立体电视(65英寸,16：9)，显示器的立体显示空间分辨率为1920x1080；观看时，参与者需要佩戴快门式立体眼镜，并且观看的距离大约是4倍的图像高度，约为2.8米。

在立体显示器上显示第n幅立体图像对应的第k个编码立体图像对比测试集{S_n,k,1S_n,k,2,S_n,k,1S_n,k,3,…,S_n,k,1S_n,k,M}中组合成每个编码立体图像对的两幅编码立体图像时，若S_n,k,1始终显示在立体显示器的左边，且S_n,k,2、S_n,k,3、…、S_n,k,M的质量由好到差依次变化，则难免会出现视觉惯性，以及一定程度的心理暗示。因此本发明为了避免主观观察对比实验中的视觉惯性，更客观地反映实验结果，需要在主观对比实验前先对{S_n,k,1S_n,k,2,S_n,k,1S_n,k,3,…,S_n,k,1S_n,k,M}中组合成每个编码立体图像对的两幅编码立体图像在立体显示器上的显示位置及{S_n,k,1S_n,k,2,S_n,k,1S_n,k,3,…,S_n,k,1S_n,k,M}中组合成每个编码立体图像对的显示顺序进行重新排列。即在立体显示器上主观观察并对比第n幅立体图像对应的第k个编码立体图像对比测试集{S_n,k,1S_n,k,2,S_n,k,1S_n,k,3,…,S_n,k,1S_n,k,M}中组合成每个编码立体图像对的两幅编码立体图像之前，先确定播放顺序，具体过程为：将组合成每个编码立体图像对的两幅编码立体图像在立体显示器上显示的左右位置随机化，即参考编码立体图像S_n,k,1随机出现在立体显示器的左边或右边，为了后期统计方便，并令Flag表示参考编码立体图像S_n,k,1在立体显示器上显示的位置标记，若参考编码立体图像S_n,k,1在立体显示器上显示的位置为左边，则令Flag＝1；若参考编码立体图像S_n,k,1在立体显示器上显示的位置为右边，则令Flag＝0；同时，将M-1个编码立体图像对在立体显示器上显示的播放顺序随机化。

表3给出了第1幅立体图像对应的第1个编码立体图像对比测试集(即QP_L,1＝20时)中的M-1个编码立体图像对在立体显示器上显示的播放顺序。

表3第1幅立体图像对应的第1个编码立体图像对比测试集中的M-1个编码立体图像对在立体显示器上显示的播放顺序

每名参与者在对第n幅立体图像对应的第k个编码立体图像对比测试集{S_n,k,1S_n,k,2,S_n,k,1S_n,k,3,…,S_n,k,1S_n,k,M}中组合成每个编码立体图像对的两幅编码立体图像判断打分评判质量时，每个编码立体图像对的两幅编码立体图像在立体显示器上显示的时间为T1_k秒，前后播放的两个编码立体图像对的播放间隔时间为T2_k秒，1s<T2_k<T1_k，在本实施例中取T1_k＝10s,T2_k＝3s，前后播放的两个编码立体图像对的播放间隔内显示灰度图供每名参与者休息，设置的评定选项为三项，分别为左边图像质量好、差不多、右边图像质量好，若在T1_k秒内每名参与者认为显示在立体显示器的左边的编码立体图像的质量好，则左边图像质量好的评定选项得1分，而差不多的评定选项和右边图像质量好的评定选项均得0分；若在T1_k秒内每名参与者认为显示在立体显示器的右边的编码立体图像的质量好，则右边图像质量好的评定选项得1分，而差不多的评定选项和左边图像质量好的评定选项均得0分；若在T1_k秒内每名参与者认为显示在立体显示器的左边的编码立体图像和显示在立体显示器的右边的编码立体图像的质量差不多，则差不多的评定选项得1分，而左边图像质量好的评定选项和右边图像质量好的评定选项均得0分；若在T1_k秒内每名参与者无法判断显示在立体显示器的左边的编码立体图像和显示在立体显示器的右边的编码立体图像的质量，则为保证准确性，使差不多的评定选项得1分，而左边图像质量好的评定选项和右边图像质量好的评定选项均得0分。

表4给出了第1幅立体图像对应的第1个编码立体图像对比测试集中组合成每个编码立体图像对的两幅编码立体图像的打分表。

表4第1幅立体图像对应的第1个编码立体图像对比测试集中组合成每个编码立体图像对的两幅编码立体图像的打分表

表5给出了20名参与者对第1幅立体图像对应的第1个编码立体图像对比测试集中组合成每个编码立体图像对的两幅编码立体图像打分的统计结果。

表520名参与者对第1幅立体图像对应的第1个编码立体图像对比测试集中组合成每个编码立体图像对的两幅编码立体图像打分的统计结果

④计算针对每幅立体图像对应的每个编码立体图像对比测试集中的每个编码立体图像对的失真发现人数及失真发现概率，将针对第n幅立体图像对应的第k个编码立体图像对比测试集{S_n,k,1S_n,k,2,S_n,k,1S_n,k,3,…,S_n,k,1S_n,k,M}中的第g个编码立体图像对S_n,k,1S_n,k,g-1的失真发现人数及失真发现概率对应记为num_n,k,g和P_n,k,g，若Flag＝1，则num_n,k,g为评定选项中左边图像质量好的总分数；若Flag＝0，则num_n,k,g为评定选项中右边图像质量好的总分数；由于“差不多”说明左边图像和右边图像看来无差别，并不能发现失真，因此不列入计算；其中，1≤g≤M-1，NUM表示参与者的总人数。

对表5按QP_R,m从小到大的顺序重新排列，然后计算失真发现人数及失真发现概率，结果如表6所列。

表6表5中的每个编码立体图像对的失真发现人数及失真发现概率

然后计算每幅立体图像对应的每个编码立体图像对比测试集中的编码立体图像对中的测试编码立体图像的编码右图像采用的右视点编码量化参数相对于编码左图像采用的左视点编码量化参数的可容忍增加范围值，将第n幅立体图像对应的第k个编码立体图像对比测试集{S_n,k,1S_n,k,2,S_n,k,1S_n,k,3,…,S_n,k,1S_n,k,M}中的编码立体图像对中的测试编码立体图像的编码右图像采用的右视点编码量化参数相对于编码左图像采用的左视点编码量化参数的可容忍增加范围值记为ΔQP_n,k,th，ΔQP_n,k,th＝QP_n,k,th-QP_L,k，其中，$>{\mathrm{QP}}_{n,k,th}=\frac{{\mathrm{QP}}_{R,a}(P_{n,k,b}-0.5)+{\mathrm{QP}}_{R,b}(0.5-P_{n,k,a})}{P_{n,k,b}-P_{n,k,a}},$>P_n,k,a表示针对第n幅立体图像对应的第k个编码立体图像对比测试集{S_n,k,1S_n,k,2,S_n,k,1S_n,k,3,…,S_n,k,1S_n,k,M}中的所有编码立体图像对的失真发现概率中小于0.5且最接近0.5的失真发现概率，P_n,k,b表示针对第n幅立体图像对应的第k个编码立体图像对比测试集{S_n,k,1S_n,k,2,S_n,k,1S_n,k,3,…,S_n,k,1S_n,k,M}中的所有编码立体图像对的失真发现概率中大于0.5且最接近0.5的失真发现概率，QP_R,a表示P_n,k,a对应的编码立体图像对中的测试编码立体图像的编码右图像采用的右视点编码量化参数，QP_R,b表示P_n,k,b对应的编码立体图像对中的测试编码立体图像的编码右图像采用的右视点编码量化参数。

如表6中，P_n,k,a＝0.2，P_n,k,b＝0.65，QP_R,a＝30，QP_R,b＝32，QP_n,k,th＝31.3，ΔQP_n,k,th＝11.3。

本发明认为主观打分实验中有一半参与者认为发现了失真，而另一半参与者认为没有发现失真的情况为临界观察点，则达到临界观察点时失真发现概率为50％，由于50％的失真发现概率对应的右视点编码量化参数未必是实验中使用的编码量化参数，因此本发明利用线性插值计算ΔQP_n,k,th。

表7给出了表1所列的6幅立体图像各自对应的4个编码立体图像对比测试集中的编码立体图像对中的测试编码立体图像的编码右图像采用的右视点编码量化参数相对于编码左图像采用的左视点编码量化参数的可容忍增加范围值。

表7测试编码立体图像的编码右图像采用的右视点编码量化参数相对于编码左图像采用的左视点编码量化参数的可容忍增加范围值

⑤对每个左视点编码量化参数对应的N个可容忍增加范围值进行线性拟合，得到每个左视点编码量化参数对应的线性拟合方程，将QP_L,k对应的线性拟合方程表示为：ΔQP_k,th＝A_k×ALV+B_k，其中，ΔQP_k,th表示QP_L,k对应的线性拟合方程的恰可察觉失真阈值，参数A_k表示QP_L,k对应的线性拟合方程的斜率，参数B_k表示QP_L,k对应的线性拟合方程的截距，参数A_k和参数B_k在线性拟合时直接获得，ALV表示对任意一幅待人眼恰可察觉失真分析的立体图像采用平均局部方差计算求得的平均纹理复杂度。

在本实施例中，A_k、B_k参数的获得方法为：对于表7，当QP_L,1＝20时，N幅立体图像的纹理复杂度与对QP_L,1＝20对应列中的N个可容忍增加范围值构成N组数据：(0.5503，11.3)、(3.3571，14.8)、(4.5538,16.7)、(6.2705,18.6)、(8.1500,20.1)、(8.2547,20.1)，对该N组数据采用经典的线性拟合数学方法进行线性拟合，即可得到QP_L,1＝20时的线性拟合方程和参数A₁、B₁的值；当QP_L,2＝26时，N幅立体图像的纹理复杂度与对QP_L,2＝26对应列中的N个可容忍增加范围值构成N组数据：(0.5503，7.6)、(3.3571，10.4)、(4.5538,11.2)、(6.2705,12.8)、(8.1500,14.1)、(8.2547,14.3)，对该N组数据采用经典的线性拟合数学方法进行线性拟合，即可得到QP_L,2＝26时的线性方程和参数A₂、B₂的值；依次类推，共得到4个线性拟合方程，各个线性拟合方程的斜率A_k和截距B_k如表8所列，4个线性拟合方程对应的4条拟合曲线如图9所示。

表8各个线性拟合方程的斜率和截距

⑥将步骤⑤得到的共K个线性拟合方程统一表示为线性方程族公式，即为：ΔQP_th＝A(QP_L)×ALV+B(QP_L)，该公式即为基于纹理复杂度的立体图像人眼可感知立体视觉最小可察觉变化量化参数的定量关系，其中，ΔQP_th表示最小可察觉变化量化参数阈值，A(QP_L)表示线性方程族的斜率，B(QP_L)表示线性方程族的截距，QP_L表示左视点编码量化参数，A(QP_L)、B(QP_L)均为QP_L的函数，A(QP_L)的线性方程由K个左视点编码量化参数及K个左视点编码量化参数各自对应的线性拟合方程的斜率线性拟合得到，B(QP_L)的线性方程由K个左视点编码量化参数及K个左视点编码量化参数各自对应的线性拟合方程的截距线性拟合得到。

利用表8中的4个左视点编码量化参数及对应的4个斜率构成4组数据：(20，1.1495)(26，0.8441)(32，0.5905)(38，0.0614)，对该4组数据采用经典的线性拟合数学方法进行线性拟合，得到线性方程A(QP_L)＝p₁QP_L+q₁，其中，参数p₁表示方程的斜率，参数q₁表示方程的截距，通过线性拟合可以得到参数p₁、q₁分别为-0.0586、2.3601。

利用表8中的4个左视点编码量化参数及对应的4个截距构成4组数据：(20，10.9790)(26，7.3383)(32，3.3962)(38，2.7381)，对该4组数据采用经典的线性拟合数学方法进行线性拟合，得到线性方程B(QP_L)＝p₂QP_L+q₂，其中，参数p₂表示方程的斜率，参数q₂表示方程的截距，通过线性拟合可以得到参数p₂、q₂分别为-0.4782、19.9808。

对于任意一幅待人眼恰可察觉失真分析的立体图像，其左视点采用的左视点编码量化参数已知，A(QP_L)和B(QP_L)已知，且其平均纹理复杂度已知，因此可计算得到任意一幅待人眼恰可察觉失真分析的立体图像的最小可察觉变化量化参数阈值。

图10a给出了A(QP_L)的拟合线性关系，图10b给出了B(QP_L)的拟合线性关系，图11给出了线性方程族ΔQP_th＝A(QP_L)×ALV+B(QP_L)的曲面图。