一种自由视点视频质量评估方法

摘要

本发明公开了一种自由视点视频质量评估方法，其先将每帧转换到LAB颜色空间；然后获取每帧的每个通道对应的时空域差值图；接着提取每帧的各个通道中的失真关键区域；再根据第1个通道中的失真关键区域并利用结构相似度算法获取质量分数；根据第2个通道和第3个通道各自中的失真关键区域并利用对比度计算相应的质量分数；之后对每帧的3个通道的质量分数进行融合，得到每帧的质量分数；最后根据所有帧的质量分数得到失真自由视点视频的质量分数；优点是其能够有效地提高客观评价结果与人眼主观感知的一致性。

说明书

技术领域

本发明涉及一种视频质量评估技术，尤其是涉及一种自由视点视频质量评估方法。

背景技术

自由视点视频(FVV，Free ViewpointVideo)系统在医疗、教育、影视等行业应用前景广泛，自由视点视频系统包括采集、预处理、编码、传输、解码、虚拟视点图像绘制和显示等环节。自由视点视频系统中的虚拟视点图像绘制作为其中必不可少的环节，其绘制质量决定了最终呈现的视觉效果。最经典的虚拟视点绘制技术是基于深度的绘制技术(DIBR，Depth Image BasedRendering)，其根据参考视点的彩色数据和深度数据，得到周围任意视点的数据，突破了传统的相机拍摄对目标视点图像获取的有限性，其最核心的部分就是3D-Warping，利用深度数据将参考视点图像投影到三维欧式空间，再将三维空间点投影到虚拟摄像机的成像平面，但是通过基于深度的绘制技术得到的虚拟视点图像存在绘制失真，相比于普通的压缩失真，绘制失真分布在图像的特定区域。

虚拟视点图像的绘制失真的来源主要有以下两点：1)深度数据的不准确：在绘制过程中，利用深度数据得到相应的视差信息，再利用视差信息对已知像素点进行映射，由于深度图像获取以及量化的过程中都会引入失真导致像素点的错误映射，且深度值变化越剧烈的地方越容易发生失真，因此绘制得到的虚拟视点图像中前景与背景交界处变化剧烈，易产生失真；2)空洞填补过程：在参考视点中被遮挡的区域在目标虚拟视点中变得可见，这部分区域在绘制过程中会因信息的缺失而产生空洞，各绘制算法为降低空洞的影响进行空洞填补过程，修复方法为利用周围像素点的信息进行外推或者内插，但是修复结果都会存在一定的失真，不同的绘制算法引入的失真类型也有所不同。虚拟视点图像的绘制失真主要为几何失真，其对虚拟视点图像的视觉效果的影响是可以察觉的，例如某些区域发生位移或者改变大小、物体的边缘产生模糊或拉伸效果、闪烁、块效应等等。

随着自由视点视频系统的广泛应用，如何准确地评价自由视点视频的质量变得至关重要。目前，大多数的图像/视频质量评价技术都是针对图像的亮度分量进行设计的，然而大量视频包括自由视点视频的最终用户是人类，人眼对于接收的彩色图像质量会做出最直观的判断，这种针对图像的亮度分量进行设计的图像/视频质量评价技术忽略了图像携带的彩色信息，这样会降低客观评价结果与人眼主观的拟合性，因此并不能准确地评估出自由视点视频的质量。也有一部分图像/视频质量评价技术是针对彩色图像进行设计的，但是这种质量评价技术并非是针对自由视点视频提出的，无法适用。目前，业内人员也提出了多种自由视点视频的质量评价算法，但现有的这些质量评价算法主要考虑的是绘制算法引入的失真或者传输压缩失真对人眼主观感受的影响，忽略了自由视点视频区别于普通立体视频的视点间存在不同组合方式的特殊性，得出的客观实验结果并不能真正反映进入人眼的自由视点视频的质量，因此有必要研究一种使得出的客观实验结果能够真正反映进入人眼的自由视点视频的质量的质量评估方法。

发明内容

本发明所要解决的技术问题是提供一种自由视点视频质量评估方法，其能够有效地提高客观评价结果与人眼主观感知的一致性。

本发明解决上述技术问题所采用的技术方案为：一种自由视点视频质量评估方法，其特征在于包括以下步骤：

步骤一：将待评价的失真自由视点视频记为SQ^dis，并将SQ^dis对应的原始的自由视点视频记为SQ^org；将SQ^dis的左视点视频和右视点视频对应记为SQ^dis,L和SQ^dis,R，将SQ^org的左视点视频和右视点视频对应记为SQ^org,L和SQ^org,R；

步骤二：将SQ^dis,L中的每帧和SQ^dis,R中的每帧从YUV颜色空间转换到LAB颜色空间，得到SQ^dis,L中的每帧和SQ^dis,R中的每帧的L通道、A通道和B通道；同样，将SQ^org,L中的每帧和SQ^org,R中的每帧从YUV颜色空间转换到LAB颜色空间，得到SQ^org,L中的每帧和SQ^org,R中的每帧的L通道、A通道和B通道；

步骤三：计算SQ^dis,L中除第1帧外的每帧的各个通道与SQ^org,L中的对应帧的对应通道的绝对差值图，将SQ^dis,L中的第i帧的第j个通道与SQ^org,L中的第i帧的第j个通道的绝对差值图记为然后对SQ^dis,L中除第1帧外的每帧的各个通道与SQ^org,L中的对应帧的对应通道的绝对差值图进行修正，得到SQ^dis,L中除第1帧外的每帧的各个通道与SQ^org,L中的对应帧的对应通道的修正绝对差值图，将SQ^dis,L中的第i帧的第j个通道与SQ^org,L中的第i帧的第j个通道的修正绝对差值图记为接着根据灰度共生矩阵及SQ^dis,L中除第1帧外的每帧的各个通道与SQ^org,L中的对应帧的对应通道的修正绝对差值图，计算SQ^dis,L中除第1帧外的每帧的各个通道与SQ^org,L中的对应帧的对应通道的空域差值图，将SQ^dis,L中的第i帧的第j个通道与SQ^org,L中的第i帧的第j个通道的空域差值图记为再对SQ^dis,L中除第1帧外的每帧的各个通道与SQ^org,L中的对应帧的对应通道的空域差值图进行修正，得到SQ^dis,L中除第1帧外的每帧的各个通道与SQ^org,L中的对应帧的对应通道的时空域差值图，将SQ^dis,L中的第i帧的第j个通道与SQ^org,L中的第i帧的第j个通道的时空域差值图记为其中，i为正整数，2≤i≤N_frame，N_frame表示SQ^dis,L和SQ^dis,R及SQ^org,L和SQ^org,R各自中包含的帧的总帧数，j＝1,2,3，j＝1时表示L通道，j＝2时表示A通道，j＝3时表示B通道；

按照获取SQ^dis,L中除第1帧外的每帧的各个通道与SQ^org,L中的对应帧的对应通道的时空域差值图的过程，以相同的操作方式获取SQ^dis,R中除第1帧外的每帧的各个通道与SQ^org,R中的对应帧的对应通道的时空域差值图，将SQ^dis,R中的第i帧的第j个通道与SQ^org,R中的第i帧的第j个通道的时空域差值图记为

步骤四：提取出SQ^dis,L中除第1帧外的每帧的各个通道中的失真关键区域，SQ^dis,L中的第i帧的第j个通道中的失真关键区域的提取过程为：对于SQ^dis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点，判断是否成立，如果成立，则确定SQ^dis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于失真关键区域；否则，确定SQ^dis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于非失真关键区域；其中，1≤x≤W,1≤y≤H，W表示SQ^dis,L和SQ^dis,R及SQ^org,L和SQ^org,R各自中的帧的宽度，H表示SQ^dis,L和SQ^dis,R及SQ^org,L和SQ^org,R各自中的帧的高度，表示中坐标位置为(x,y)的像素点的像素值，Th^L表示左失真关键区域判定阈值；

按照提取SQ^dis,L中除第1帧外的每帧的各个通道中的失真关键区域的过程，以相同的操作方式提取出SQ^dis,R中除第1帧外的每帧的各个通道中的失真关键区域；

步骤五：利用结构相似度算法，计算SQ^dis,L中除第1帧外的每帧的第1个通道中的失真关键区域中的每个像素点与SQ^org,L中的对应帧的第1个通道中的对应像素点之间的结构相似度；然后计算SQ^dis,L中除第1帧外的每帧的第1个通道的质量分数，将SQ^dis,L中的第i帧的第1个通道的质量分数记为的值等于SQ^dis,L中的第i帧的第1个通道中的失真关键区域中的所有像素点对应的结构相似度的平均值；并利用对比度计算SQ^dis,L中除第1帧外的每帧的第2个通道中的失真关键区域中的每个像素点与SQ^org,L中的对应帧的第2个通道中的对应像素点之间的对比度；然后计算SQ^dis,L中除第1帧外的每帧的第2个通道的质量分数，将SQ^dis,L中的第i帧的第2个通道的质量分数记为的值等于SQ^dis,L中的第i帧的第2个通道中的失真关键区域中的所有像素点对应的对比度的平均值；同样，利用对比度计算SQ^dis,L中除第1帧外的每帧的第3个通道中的失真关键区域中的每个像素点与SQ^org,L中的对应帧的第3个通道中的对应像素点之间的对比度；然后计算SQ^dis,L中除第1帧外的每帧的第3个通道的质量分数，将SQ^dis,L中的第i帧的第3个通道的质量分数记为的值等于SQ^dis,L中的第i帧的第3个通道中的失真关键区域中的所有像素点对应的对比度的平均值；

按照计算SQ^dis,L中除第1帧外的每帧的第1个通道的质量分数、SQ^dis,L中除第1帧外的每帧的第2个通道的质量分数、SQ^dis,L中除第1帧外的每帧的第3个通道的质量分数的过程，以相同的操作方式计算SQ^dis,R中除第1帧外的每帧的第1个通道的质量分数、SQ^dis,R中除第1帧外的每帧的第2个通道的质量分数、SQ^dis,R中除第1帧外的每帧的第3个通道的质量分数，将SQ^dis,R中的第i帧的第1个通道的质量分数记为将SQ^dis,R中的第i帧的第2个通道的质量分数记为将SQ^dis,R中的第i帧的第3个通道的质量分数记为

步骤六：对SQ^dis,L中除第1帧外的每帧的三个通道的质量分数进行融合，并设定第1个通道的融合参数为β、第2个通道的融合参数为γ、第3个通道的融合参数为η，融合得到SQ^dis,L中除第1帧外的每帧的质量分数，将SQ^dis,L中的第i帧的质量分数记为同样，对SQ^dis,R中除第1帧外的每帧的三个通道的质量分数进行融合，并设定第1个通道的融合参数为β、第2个通道的融合参数为γ、第3个通道的融合参数为η，融合得到SQ^dis,R中除第1帧外的每帧的质量分数，将SQ^dis,R中的第i帧的质量分数记为然后计算SQ^dis,L中除第1帧外的每帧的质量分数与SQ^dis,R中的对应帧的质量分数的平均质量分数，将与的平均质量分数记为再将计算得到的N_frame-1个平均质量分数按从小到大的顺序排列，取前35～55％的平均质量分数；最后将所取的平均质量分数的平均值作为SQ^dis的质量分数，记为q^dis；其中，β+γ+η＝1，β＞γ，γ＝η。

所述的步骤三中，的获取过程为：将中坐标位置为(x,y)的像素点的像素值记为其中，1≤x≤W,1≤y≤H，W表示SQ^dis,L和SQ^dis,R及SQ^org,L和SQ^org,R各自中的帧的宽度，H表示SQ^dis,L和SQ^dis,R及SQ^org,L和SQ^org,R各自中的帧的高度，符号“|>表示SQ^dis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点的像素值，表示SQ^org,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点的像素值。

所述的步骤三中，的获取过程为：将中坐标位置为(x,y)的像素点的像素值记为其中，表示中坐标位置为(x,y)的像素点的像素值，P_i^L(x,y)表示SQ^dis,L中的第i帧或SQ^org,L中的第i帧的深度图中坐标位置为(x,y)的像素点的像素值。

所述的步骤三中，的获取过程为：

A1)将SQ^org,L中的第i帧的第j个通道划分成N_block个互不重叠的尺寸大小为Block×Block的图像块，将SQ^org,L中的第i帧的第j个通道中的第k个图像块记为其中，Block＝4,8,16,32,64，符号为向下取整运算符号，W表示SQ^dis,L和SQ^dis,R及SQ^org,L和SQ^org,R各自中的帧的宽度，H表示SQ^dis,L和SQ^dis,R及SQ^org,L和SQ^org,R各自中的帧的高度，k为正整数，1≤k≤N_block；

A2)利用灰度共生矩阵计算SQ^org,L中的第i帧的第j个通道中的每个图像块的纹理复杂度，将的纹理复杂度记为

A3)计算SQ^org,L中的第i帧的第j个通道的纹理复杂图，记为将中坐标位置为(x,y)的像素点的像素值记为若中坐标位置为(x,y)的像素点所在的图像块为第k个图像块，则其中，1≤x≤W,1≤y≤H；

A4)计算将中坐标位置为(x,y)的像素点的像素值记为其中，表示中坐标位置为(x,y)的像素点的像素值。

所述的步骤三中，的获取过程为：将中坐标位置为(x,y)的像素点的像素值记为其中，1≤x≤W,1≤y≤H，W表示SQ^dis,L和SQ^dis,R及SQ^org,L和SQ^org,R各自中的帧的宽度，H表示SQ^dis,L和SQ^dis,R及SQ^org,L和SQ^org,R各自中的帧的高度，表示中坐标位置为(x,y)的像素点的像素值，符号“| |”为取绝对值符号，表示中坐标位置为(x,y)的像素点的像素值，表示SQ^dis,L中的第i-1帧的第j个通道与SQ^org,L中的第i-1帧的第j个通道的绝对差值图中坐标位置为(x,y)的像素点的像素值，表示SQ^org,L中的第i帧的第j个通道中的运动区域中的所有像素点的坐标位置的集合。

所述的SQ^org,L中的第i帧的第j个通道中的运动区域的确定过程为：对于SQ^org,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点，判断是否成立，如果成立，则确定SQ^org,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于运动区域；否则，确定SQ^org,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点静止区域；其中，th^L表示左运动区域判定阈值。

所述的左运动区域判定阈值th^L的获取过程为：计算SQ^org,L中的第i帧的第j个通道中的每个像素点的像素值与SQ^org,L中的第i-1帧的第j个通道中的对应像素点的像素值的差值的绝对值；然后将W×H个绝对值按从大到小的顺序排列后取第个绝对值作为th^L的值；其中，符号为向上取整运算符号。

所述的步骤四中，Th^L的值等于中的所有像素点的像素值按从大到小的顺序排列后的前α个像素值的平均值，其中，符号为向上取整运算符号。

在执行完步骤六后，继续执行以下步骤：

步骤七：构建一个自由视点视频库，自由视点视频库中包含有三种不同的自由视点视频，第一种自由视点视频的左视点视频由相机拍摄获得、右视点视频由虚拟视点绘制获得，第二种自由视点视频的左视点视频由虚拟视点绘制获得、右视点视频由相机拍摄获得，第三种自由视点视频的左视点视频由虚拟视点绘制获得、右视点视频由虚拟视点绘制获得，三种不同的自由视点视频均至少有2个自由视点视频；然后按照获取的过程，以相同的操作方式获取自由视点视频库中的每个自由视点视频的左视点视频中的第t帧的第1个通道与原始自由视点视频的左视点视频中的第t帧的第1个通道的绝对差值图、自由视点视频库中的每个自由视点视频的右视点视频中的第t帧的第1个通道与原始自由视点视频的右视点视频中的第t帧的第1个通道的绝对差值图；接着计算自由视点视频库中的每个自由视点视频对应的两幅绝对差值图中的所有像素点的像素值的和值；之后将计算得到的所有和值按从大到小的顺序排列，将前5％内的最大和值和最小和值对应记为H_max和H_min；再计算SQ^dis,L中的第t帧的第1个通道与SQ^org,L中的第t帧的第1个通道的绝对差值图和SQ^dis,R中的第t帧的第1个通道与SQ^org,R中的第t帧的第1个通道的绝对差值图中的所有像素点的像素值的和值，记为H_t,1；最后判断H_t,1∈[H_min,H_max]是否成立，如果成立，则将SQ^dis确定为第一种特殊自由视点视频；否则，执行步骤八；其中，第t帧为任意一帧，t∈[1,N_min]，N_min的值为N_frame、自由视点视频库中的每个自由视点视频中包含的帧的数目、原始自由视点视频中包含的帧的数目中的最小值，原始自由视点视频是在构建自由视点视频库时获得，原始自由视点视频的左视点视频由相机拍摄获得、右视点视频由相机拍摄获得；

步骤八：当SQ^dis,L中的任意一帧的第1个通道中存在空洞而SQ^dis,R中的对应帧的第1个通道中不存在空洞时，或当SQ^dis,L中的任意一帧的第1个通道中不存在空洞而SQ^dis,R中的对应帧的第1个通道中存在空洞时，将SQ^dis确定为第二种特殊自由视点视频；当SQ^dis,L中的任意一帧的第1个通道中存在空洞且SQ^dis,R中的对应帧的第1个通道中存在空洞时，或当SQ^dis,L中的任意一帧的第1个通道中不存在空洞而SQ^dis,R中的对应帧的第1个通道中不存在空洞时，将SQ^dis确定为非特殊自由视点视频；

步骤九：根据SQ^dis的类型计算SQ^dis的最终质量分数，记为若SQ^dis为非特殊自由视点视频，则令若SQ^dis为第一种特殊自由视点视频，则令若SQ^dis为第二种特殊自由视点视频，则令其中，Δb表示修正量，Δb∈(0,1]。

与现有技术相比，本发明的优点在于：

1)由于自由视点视频在传输压缩过程中也会造成色度分量发生失真，且人眼会对彩色图像做出最直观的评价，因此本发明方法先将待评价的失真自由视点视频转换到基于人眼感知的LAB颜色空间，同时考虑了亮度通道和色度通道的失真情况，使得获得的客观实验结果与人眼感知的拟合性更高。

2)由于自由视点视频相对于普通立体视频来说，其失真存在着特殊性，绘制失真主要分布在图像的遮挡暴露区域，因此本发明方法结合人眼视觉特性以及自由视点视频的时空域相关特性提取出帧的通道中的失真关键区域即人眼能够观测出失真的区域，只针对失真关键区域量化失真程度，增加了利用本发明方法得到的客观质量分数的准确性。

3)自由视点视频相对于普通双视点视频存在着视点间的多组合特性，不同的组合方式会对人眼主观感知产生不同的影响，存在一些相对特殊的自由视点视频，因此本发明方法对待评价的失真自由视点视频进行分类加以区分，根据类型对计算得到的质量分数进行不同的修正，使得修正后得到的最终质量分数更加符合人眼特性。

附图说明

图1为本发明方法的总体实现框图；

图2a为原始Book Arrival序列的左视点视频中的一帧；

图2b为失真Book Arrival序列的左视点视频中的对应帧；

图2c为图2b所示的帧的第1个通道与图2a所示的帧的第1个通道的绝对差值图；

图2d为图2b所示的帧的第1个通道中的失真关键区域；

图3a为Δb取值为0.1时SROCC指标输出的变化示意图；

图3b为Δb取值为0.3时SROCC指标输出的变化示意图；

图3c为Δb取值为0.5时SROCC指标输出的变化示意图；

图3d为Δb取值为0.7时SROCC指标输出的变化示意图；

图4a为Book Arrival序列的主观打分值DMOS与客观拟合后的最终质量分数的散点图；

图4b为Newspaper序列的主观打分值DMOS与客观拟合后的最终质量分数的散点图；

图4c为Lovebirds序列的主观打分值DMOS与客观拟合后的最终质量分数的散点图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种自由视点视频质量评估方法，其总体实现框图如图1所示，其包括以下步骤：

步骤一：将待评价的失真自由视点视频记为SQ^dis，并将SQ^dis对应的原始的自由视点视频记为SQ^org；将SQ^dis的左视点视频和右视点视频对应记为SQ^dis,L和SQ^dis,R，将SQ^org的左视点视频和右视点视频对应记为SQ^org,L和SQ^org,R。

步骤二：将SQ^dis,L中的每帧和SQ^dis,R中的每帧从YUV颜色空间转换到LAB颜色空间，得到SQ^dis,L中的每帧和SQ^dis,R中的每帧的L通道、A通道和B通道；同样，将SQ^org,L中的每帧和SQ^org,R中的每帧从YUV颜色空间转换到LAB颜色空间，得到SQ^org,L中的每帧和SQ^org,R中的每帧的L通道、A通道和B通道。

步骤三：计算SQ^dis,L中除第1帧外的每帧的各个通道与SQ^org,L中的对应帧的对应通道的绝对差值图，将SQ^dis,L中的第i帧的第j个通道与SQ^org,L中的第i帧的第j个通道的绝对差值图记为D_i^L_,j；然后对SQ^dis,L中除第1帧外的每帧的各个通道与SQ^org,L中的对应帧的对应通道的绝对差值图进行修正，得到SQ^dis,L中除第1帧外的每帧的各个通道与SQ^org,L中的对应帧的对应通道的修正绝对差值图，将SQ^dis,L中的第i帧的第j个通道与SQ^org,L中的第i帧的第j个通道的修正绝对差值图记为接着根据灰度共生矩阵及SQ^dis,L中除第1帧外的每帧的各个通道与SQ^org,L中的对应帧的对应通道的修正绝对差值图，计算SQ^dis,L中除第1帧外的每帧的各个通道与SQ^org,L中的对应帧的对应通道的空域差值图，将SQ^dis,L中的第i帧的第j个通道与SQ^org,L中的第i帧的第j个通道的空域差值图记为再对SQ^dis,L中除第1帧外的每帧的各个通道与SQ^org,L中的对应帧的对应通道的空域差值图进行修正，得到SQ^dis,L中除第1帧外的每帧的各个通道与SQ^org,L中的对应帧的对应通道的时空域差值图，将SQ^dis,L中的第i帧的第j个通道与SQ^org,L中的第i帧的第j个通道的时空域差值图记为其中，i为正整数，2≤i≤N_frame，N_frame表示SQ^dis,L和SQ^dis,R及SQ^org,L和SQ^org,R各自中包含的帧的总帧数，j＝1,2,3，j＝1时表示L通道，j＝2时表示A通道，j＝3时表示B通道；图2a给出了原始BookArrival序列的左视点视频中的一帧；图2b给出了失真Book>

按照获取SQ^dis,L中除第1帧外的每帧的各个通道与SQ^org,L中的对应帧的对应通道的时空域差值图的过程，以相同的操作方式获取SQ^dis,R中除第1帧外的每帧的各个通道与SQ^org,R中的对应帧的对应通道的时空域差值图，将SQ^dis,R中的第i帧的第j个通道与SQ^org,R中的第i帧的第j个通道的时空域差值图记为

在本实施例中，步骤三中，的获取过程为：将中坐标位置为(x,y)的像素点的像素值记为其中，1≤x≤W,1≤y≤H，W表示SQ^dis,L和SQ^dis,R及SQ^org,L和SQ^org,R各自中的帧的宽度，H表示SQ^dis,L和SQ^dis,R及SQ^org,L和SQ^org,R各自中的帧的高度，符号“|>表示SQ^dis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点的像素值，表示SQ^org,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点的像素值。

在本实施例中，步骤三中，的获取过程为：将中坐标位置为(x,y)的像素点的像素值记为其中，表示中坐标位置为(x,y)的像素点的像素值，P_i^L(x,y)表示SQ^dis,L中的第i帧或SQ^org,^L中的第i帧的深度图中坐标位置为(x,y)的像素点的像素值。

在本实施例中，步骤三中，的获取过程为：

A1)将SQ^org,L中的第i帧的第j个通道划分成N_block个互不重叠的尺寸大小为Block×Block的图像块，将SQ^org,L中的第i帧的第j个通道中的第k个图像块记为其中，Block＝4,8,16,32,64，在本实施例中取Block＝8，符号为向下取整运算符号，W表示SQ^dis,L和SQ^dis,R及SQ^org,L和SQ^org,R各自中的帧的宽度，H表示SQ^dis,L和SQ^dis,R及SQ^org,L和SQ^org,R各自中的帧的高度，k为正整数，1≤k≤N_block。

A2)利用灰度共生矩阵计算SQ^org,L中的第i帧的第j个通道中的每个图像块的纹理复杂度，将的纹理复杂度记为

A3)计算SQ^org,L中的第i帧的第j个通道的纹理复杂图，记为将中坐标位置为(x,y)的像素点的像素值记为若中坐标位置为(x,y)的像素点所在的图像块为第k个图像块，则其中，1≤x≤W,1≤y≤H。

A4)计算将中坐标位置为(x,y)的像素点的像素值记为其中，表示中坐标位置为(x,y)的像素点的像素值。

在本实施例中，步骤三中，的获取过程为：将中坐标位置为(x,y)的像素点的像素值记为其中，1≤x≤W,1≤y≤H，W表示SQ^dis,L和SQ^dis,R及SQ^org,L和SQ^org,R各自中的帧的宽度，H表示SQ^dis,L和SQ^dis,R及SQ^org,L和SQ^org,R各自中的帧的高度，表示中坐标位置为(x,y)的像素点的像素值，符号“| |”为取绝对值符号，表示中坐标位置为(x,y)的像素点的像素值，表示SQ^dis,L中的第i-1帧的第j个通道与SQ^org,L中的第i-1帧的第j个通道的绝对差值图中坐标位置为(x,y)的像素点的像素值，表示SQ^org,L中的第i帧的第j个通道中的运动区域中的所有像素点的坐标位置的集合，SQ^org,L中的第i帧的第j个通道中的运动区域的确定过程为：对于SQ^org,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点，判断是否成立，如果成立，则确定SQ^org,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于运动区域；否则，确定SQ^org,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点静止区域；其中，th^L表示左运动区域判定阈值，左运动区域判定阈值th^L的获取过程为：计算SQ^org,L中的第i帧的第j个通道中的每个像素点的像素值与SQ^org,L中的第i-1帧的第j个通道中的对应像素点的像素值的差值的绝对值；然后将W×H个绝对值按从大到小的顺序排列后取第个绝对值作为th^L的值；其中，符号为向上取整运算符号。

步骤四：提取出SQ^dis,L中除第1帧外的每帧的各个通道中的失真关键区域，SQ^dis,L中的第i帧的第j个通道中的失真关键区域的提取过程为：对于SQ^dis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点，判断是否成立，如果成立，则确定SQ^dis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于失真关键区域；否则，确定SQ^dis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于非失真关键区域；其中，1≤x≤W,1≤y≤H，W表示SQ^dis,L和SQ^dis,R及SQ^org,L和SQ^org,R各自中的帧的宽度，H表示SQ^dis,L和SQ^dis,R及SQ^org,L和SQ^org,R各自中的帧的高度，表示中坐标位置为(x,y)的像素点的像素值，Th^L表示左失真关键区域判定阈值，Th^L的值等于中的所有像素点的像素值按从大到小的顺序排列后的前α个像素值的平均值，符号为向上取整运算符号；图2d给出了图2b所示的帧的第1个通道中的失真关键区域。

按照提取SQ^dis,L中除第1帧外的每帧的各个通道中的失真关键区域的过程，以相同的操作方式提取出SQ^dis,R中除第1帧外的每帧的各个通道中的失真关键区域。

步骤五：利用结构相似度(SSIM，Structural Similarity Index)算法，计算SQ^dis,L中除第1帧外的每帧的第1个通道中的失真关键区域中的每个像素点与SQ^org,L中的对应帧的第1个通道中的对应像素点之间的结构相似度；然后计算SQ^dis,L中除第1帧外的每帧的第1个通道的质量分数，将SQ^dis,L中的第i帧的第1个通道的质量分数记为的值等于SQ^dis,L中的第i帧的第1个通道中的失真关键区域中的所有像素点对应的结构相似度的平均值；并利用对比度计算SQ^dis,L中除第1帧外的每帧的第2个通道中的失真关键区域中的每个像素点与SQ^org,L中的对应帧的第2个通道中的对应像素点之间的对比度；然后计算SQ^dis,L中除第1帧外的每帧的第2个通道的质量分数，将SQ^dis,L中的第i帧的第2个通道的质量分数记为的值等于SQ^dis,L中的第i帧的第2个通道中的失真关键区域中的所有像素点对应的对比度的平均值；同样，利用对比度计算SQ^dis,L中除第1帧外的每帧的第3个通道中的失真关键区域中的每个像素点与SQ^org,L中的对应帧的第3个通道中的对应像素点之间的对比度；然后计算SQ^dis,L中除第1帧外的每帧的第3个通道的质量分数，将SQ^dis,L中的第i帧的第3个通道的质量分数记为的值等于SQ^dis,L中的第i帧的第3个通道中的失真关键区域中的所有像素点对应的对比度的平均值。

按照计算SQ^dis,L中除第1帧外的每帧的第1个通道的质量分数、SQ^dis,L中除第1帧外的每帧的第2个通道的质量分数、SQ^dis,L中除第1帧外的每帧的第3个通道的质量分数的过程，以相同的操作方式计算SQ^dis,R中除第1帧外的每帧的第1个通道的质量分数、SQ^dis,R中除第1帧外的每帧的第2个通道的质量分数、SQ^dis,R中除第1帧外的每帧的第3个通道的质量分数，将SQ^dis,R中的第i帧的第1个通道的质量分数记为将SQ^dis,R中的第i帧的第2个通道的质量分数记为将SQ^dis,R中的第i帧的第3个通道的质量分数记为

步骤六：对SQ^dis,L中除第1帧外的每帧的三个通道的质量分数进行融合，并设定第1个通道的融合参数为β、第2个通道的融合参数为γ、第3个通道的融合参数为η，融合得到SQ^dis,L中除第1帧外的每帧的质量分数，将SQ^dis,L中的第i帧的质量分数记为同样，对SQ^dis,R中除第1帧外的每帧的三个通道的质量分数进行融合，并设定第1个通道的融合参数为β、第2个通道的融合参数为γ、第3个通道的融合参数为η，融合得到SQ^dis,R中除第1帧外的每帧的质量分数，将SQ^dis,R中的第i帧的质量分数记为然后计算SQ^dis,L中除第1帧外的每帧的质量分数与SQ^dis,R中的对应帧的质量分数的平均质量分数，将与的平均质量分数记为再将计算得到的N_frame-1个平均质量分数按从小到大的顺序排列，取前35～55％的平均质量分数；最后将所取的平均质量分数的平均值作为SQ^dis的质量分数，记为q^dis；其中，β+γ+η＝1，β＞γ，γ＝η，在本实施例中取β＝0.8、γ＝0.1、η＝0.1，在本实施例中取前40％的平均质量分数的平均值作为SQ^dis的质量分数。

步骤七：构建一个自由视点视频库，自由视点视频库中包含有三种不同的自由视点视频，第一种自由视点视频的左视点视频由相机拍摄获得、右视点视频由虚拟视点绘制获得，第二种自由视点视频的左视点视频由虚拟视点绘制获得、右视点视频由相机拍摄获得，第三种自由视点视频的左视点视频由虚拟视点绘制获得、右视点视频由虚拟视点绘制获得，三种不同的自由视点视频均至少有2个自由视点视频；然后按照获取的过程，以相同的操作方式获取自由视点视频库中的每个自由视点视频的左视点视频中的第t帧的第1个通道与原始自由视点视频的左视点视频中的第t帧的第1个通道的绝对差值图、自由视点视频库中的每个自由视点视频的右视点视频中的第t帧的第1个通道与原始自由视点视频的右视点视频中的第t帧的第1个通道的绝对差值图；接着计算自由视点视频库中的每个自由视点视频对应的两幅绝对差值图中的所有像素点的像素值的和值；之后将计算得到的所有和值按从大到小的顺序排列，将前5％内的最大和值和最小和值对应记为H_max和H_min；再计算SQ^dis,L中的第t帧的第1个通道与SQ^org,L中的第t帧的第1个通道的绝对差值图和SQ^dis,R中的第t帧的第1个通道与SQ^org,R中的第t帧的第1个通道的绝对差值图中的所有像素点的像素值的和值，记为H_t,1；最后判断H_t,1∈[H_min,H_max]是否成立，如果成立，则将SQ^dis确定为第一种特殊自由视点视频；否则，执行步骤八；其中，第t帧为任意一帧，t∈[1,N_min]，N_min的值为N_frame、自由视点视频库中的每个自由视点视频中包含的帧的数目、原始自由视点视频中包含的帧的数目中的最小值，原始自由视点视频是在构建自由视点视频库时获得，原始自由视点视频的左视点视频由相机拍摄获得、右视点视频由相机拍摄获得。

步骤八：由于人眼对图像中的空洞十分敏感，根据主观打分值可以得知，只要存在空洞，就会造成差的主观感知，因此当SQ^dis,L中的任意一帧的第1个通道中存在空洞而SQ^dis,R中的对应帧的第1个通道中不存在空洞时，或当SQ^dis,L中的任意一帧的第1个通道中不存在空洞而SQ^dis,R中的对应帧的第1个通道中存在空洞时，将SQ^dis确定为第二种特殊自由视点视频；当SQ^dis,L中的任意一帧的第1个通道中存在空洞且SQ^dis,R中的对应帧的第1个通道中存在空洞时，或当SQ^dis,L中的任意一帧的第1个通道中不存在空洞而SQ^dis,R中的对应帧的第1个通道中不存在空洞时，将SQ^dis确定为非特殊自由视点视频。

步骤九：根据SQ^dis的类型计算SQ^dis的最终质量分数，记为若SQ^dis为非特殊自由视点视频，则令若SQ^dis为第一种特殊自由视点视频，则令若SQ^dis为第二种特殊自由视点视频，则令其中，Δb表示修正量，Δb∈(0,1]，在本实施例中取Δb＝0.3。

在此，Δb＝0.3是通过实验确定的，以按照步骤七的方式自行构建的自由视点视频库为实验对象，图3a给出了Δb取值为0.1时SROCC指标输出的变化示意图，X轴为利用本发明方法中的步骤六计算得到的所有平均质量分数按从小到大的顺序排列后取20％平均质量分数，Y轴为第1通道的融合参数0.6，Z轴为SROCC指标(最优为0.6358)；图3b给出了Δb取值为0.3时SROCC指标输出的变化示意图，X轴为利用本发明方法中的步骤六计算得到的所有平均质量分数按从小到大的顺序排列后取40％平均质量分数，Y轴为第1通道的融合参数0.8，Z轴为SROCC指标(最优为0.7014)；图3c给出了Δb取值为0.5时SROCC指标输出的变化示意图，X轴为利用本发明方法中的步骤六计算得到的所有平均质量分数按从小到大的顺序排列后取40％平均质量分数，Y轴为第1通道的融合参数0.8，Z轴为SROCC指标(最优为0.6761)；图3d给出了Δb取值为0.7时SROCC指标输出的变化示意图，X轴为利用本发明方法中的步骤六计算得到的所有平均质量分数按从小到大的顺序排列后取20％平均质量分数，Y轴为第1通道的融合参数0.6，Z轴为SROCC指标(最优为0.6660)。分析图3a至图3d可知，Δb取值为0.1和0.7、X轴为0.2、Y轴为0.6时Z轴的最优输出均低于0.67，Δb取值为0.3和0.5、X轴为0.4、Y轴为0.8时Z轴的最优输出均高于0.67，而X轴均为0.4且Y轴均为0.8时当Δb取值为0.3时Z轴的最优输出(0.7014)明显高于当Δb取值为0.5时Z轴的最优输出(0.6761)，可知Δb取值为0.3时能取得最佳的效果。

为了验证本发明方法的可行性和有效性，对本发明方法进行实验。

采用的测试序列为Book Arrival、Newspaper、Lovebirds序列，采用SROCC、Pearson相关系数(PLCC，Pearson Linear Correlation Coefficient)、均方根误差(RMSE，Root Mean Squared Error)以及Kendall秩相关系数(KROCC，Kendall rank-ordercorrelation coefficient)四种评价指标衡量本发明方法的性能。利用本发明方法计算每个测试序列的最终质量分数，再利用现有的Logistic 5参数拟合方法对每个测试序列的最终质量分数进行参数拟合得到拟合后的最终质量分数，将每个测试序列拟合后的最终质量分数与人眼主观实验得出的相对应的质量分数进行SROCC、PLCC、RMSE和KROCC指标的计算，得出相应的实验结果。表1给出了各个客观评价方法的评价指标，其中文献1为Mittal等人发表的“一个盲参考视频完整性评价策略”，文献2为Chen等人发表的“基于双目竞争的全参考立体图像质量评价”，方法(L)是指按本发明方法的过程单独在亮度通道下操作的方法，方法(RGB)是指按本发明方法的过程在RGB颜色空间中操作的方法。

从表1中可得出，本发明方法(LAB)的客观评价结果与人眼主观评价结果有较好的一致性，各个评价指标均优于所对比的相关图像/视频质量客观评价方法。PSNR、SSIM传统质量客观评价方法，未考虑自由视点视频的失真特点，故不能将其直接运用于自由视点视频的质量评价中。文献1提出的无参考视频质量评价方法，该方法认为失真视频会破坏某些时空域的自然统计特性，通过量化待测视频与原始视频的统计特性之间的差异得出待测视频的质量分数，从实验结果来看，该方法并不适合多组合方式下的自由视点视频的质量评估，因为该方法所选取的统计特性对传统压缩失真有效，但对自由视点视频失真无效，且该方法未考虑视频视点之间的多组合方式对人眼观看时的影响，故该方法不适用于自由视点视频的质量评价。文献2是在双目效应的基础上提出的一种立体图像质量评价的框架，该方法模拟人眼观看立体图像的情景，将左视点图像和右视点图像合成一张图像，称为“独眼图”，通过衡量参考立体图像的“独眼图”和失真立体图像的“独眼图”的差异程度，得出待测立体图像的质量分数，但在独眼图的获取时未考虑自由视点视频的失真特殊性，因此该方法不适用于自由视点视频的质量评价。

为探索色度通道的有效性，观察方法(L)的各个评价指标，各个评价指标都低于将色度失真考虑在内的情况(本发明方法)，故加入色度失真可提高客观评价方法的准确性；为了验证LAB颜色空间的优越性，观察方法(RGB)和本发明方法的各个评价指标，LAB颜色空间下的KROCC、SROCC和RMSE三个指标在均优于RGB颜色空间，只有PLCC指标略低于RGB颜色空间，因此，将自由视点视频序列进行LAB颜色空间转换会提高客观评价方法的准确性。

为进一步探究本发明方法的有效性，图4a给出了Book Arrival序列的主观打分值(DMOS)与客观拟合后的最终质量分数的散点图，图4b给出了Newspaper序列的主观打分值(DMOS)与客观拟合后的最终质量分数的散点图，图4c给出了Lovebirds序列的主观打分值(DMOS)与客观拟合后的最终质量分数的散点图。从图4a至图4c中可以看出，相对于BookArrival和Newspaper两个序列，Lovebirds序列的拟合性差了些，究其原因，本发明方法旨在通过视差纹理等特征提取到人眼能够感知的失真关键区域，在此基础上量化差异值，得出客观质量评价结果，但对于Lovebirds序列，其背景与前景的各项特征之间的差异都很小，未找到一个特征将背景与前景完全区分开，所以在所提取的失真关键区域中也包含了部分背景区域，但这部分人眼在进行主观打分时几乎观察不到失真，故造成了Lovebirds序列的客观拟合后的最终质量分数与主观打分值的拟合性较差。

表1各个客观评价方法的评价指标