首页> 中国专利> 基于视觉感知特性的超高清视频图像质量客观评价方法

基于视觉感知特性的超高清视频图像质量客观评价方法

摘要

本发明涉及基于视觉感知特性的超高清视频图像质量客观评价方法。所述方法包括:对输入的原始超高清视频序列和受损超高清视频序列的每一帧进行16×16的分块(即宏块),分别求得每个块的结构相似值SSIMij;计算超高清视频图像中每一宏块的权重wij;对当前帧每一宏块的SSIMij值用wij进行加权,得到单帧的超高清图像质量;对整个视频序列的每一帧图像质量值进行加权,得到整个视频序列的图像质量客观评价结果。本发明在现有SSIM算法的基础上,不但考虑亮度掩盖因子、纹理复杂度、运动信息,而且考虑超高清视频高分辨率及人眼视觉特性,对空间位置信息进行加权。实验表明,本发明所述方法相比传统的SSIM算法,在与主观评价结果的一致性方面有很大提高。

著录项

  • 公开/公告号CN104079925A

    专利类型发明专利

  • 公开/公告日2014-10-01

    原文格式PDF

  • 申请/专利权人 中国传媒大学;

    申请/专利号CN201410315850.0

  • 发明设计人 许江波;姜秀华;

    申请日2014-07-03

  • 分类号H04N17/00(20060101);

  • 代理机构11203 北京思海天达知识产权代理有限公司;

  • 代理人沈波

  • 地址 100024 北京市朝阳区定福庄南里7号

  • 入库时间 2023-12-17 02:14:13

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2018-07-20

    未缴年费专利权终止 IPC(主分类):H04N17/00 授权公告日:20160518 终止日期:20170703 申请日:20140703

    专利权的终止

  • 2016-05-18

    授权

    授权

  • 2014-11-26

    实质审查的生效 IPC(主分类):H04N17/00 申请日:20140703

    实质审查的生效

  • 2014-10-01

    公开

    公开

说明书

技术领域

本发明属于计算机数字视频图像处理领域,涉及一种基于视觉感知特性的超高清视频图 像质量客观评价方法。

背景技术

人们对高质量图像和声音的追求是永无止境的。近年来,随着视频编码和网络技术的快 速发展,人们已不满足于HDTV的图像质量,转而追求更具临场感及更高清晰度的下一代电 视格式。因而产生了比HDTV具有更大视角更高分辨率的电视标准——超高清晰度电视 (UHDTV)。超高清晰度电视即为具有极高的图像清晰度和极强的环绕立体声效果的系统。 其目标是为观众提供较高的真实感和临场感。ITU-R BT.2020建议书《Parameter values for  UHDTV systems for production and international programme exchange(适用于节目制作和国际 节目交换的、超高清电视系统的一些参数值)》,规定了两个层级的超高清电视UHDTV1 (3840×2160)与UHDTV2(7680×4320)。如此高的分辨率能够给观众呈现出令人难以置信 的细腻显示效果,让观众全面体验超高清画质的震撼魅力。

超高清图像技术的发展必定伴随着图像的获取、处理、编码、存储、传输、显示等过程。 因此超高清图像技术与图像处理、视频编解码、信息传输显示等技术是相辅相成、相互制约、 相互发展的。而一项成熟发展的科学技术,必定伴随着科学的测量方法以鉴定其优劣。通过 视频图像的质量评价,能对不同的视频技术进行性能比较。只有好的质量评价方法才能提供 准确的指导方向,使视频技术得以快速发展。因而图像质量评价方法的好坏显得尤为重要。 值得一提的是,超高清图像其惊人的清晰度是以其巨大的码率为代价的,这意味着为了存储 和传输的方便与有效性,就必须得通过压缩编码尽可能降低码率,而为了达到所要求的比特 率,就不得不舍弃一些图像信息,从而产生了图像失真,对图像的质量产生影响。因此,如 何评定压缩后的超高清图像质量是超高清关键技术发展过程中人们所密切关心的一大问题。

综上所述,如何评价超高清视频质量,从而能通过其质量来重新对视频图像编解码、视 频图像传输、视频图像处理、视频图像显示等技术进行设计、选择、优化、性能评价等具有 重大意义。

视频质量评价方法分为主观评价和客观评价。主观评价根据观测人员对被测数据的主观 感觉进行质量评价,是基于人眼的直接观察来评价图像质量,因此是国际上公认最可靠的视 频和图像质量评价方法。主观评价的优点是质量等级标准建立容易、实施方便,且符合人眼 视觉特性。不足之处在于受环境条件限制大,稳定性差,复杂度高,因此结果稳定性和可移 植性也较差。此外,在实际应用中,受外在因素的影响,主观质量评价也不适合某些应用场 合,如实时视频传输等领域。

针对主观评价应用的局限性,视频图像质量客观评价方法逐渐成为研究热点。客观评价 是指对图像和视频数据建立数学模型,经过一系列计算,得到一个反映其视频质量损伤程度 的参数,作为评价结果。

全参考视频质量客观评价方法就是在全部原始视频和失真视频信息已知的条件下,通过 计算二者之间的差异以获得相对评估的指标值,并根据这些指标值评估图像质量,准确性高。 该方法通常分为两步,首先计算原始与失真图像之间的误差,然后综合这些失真得到全图的 质量分数。

目前视频质量的客观评价方法已有很多种,最常用的是峰值信噪比(PSNR)和均方误差 (MSE),这种方法原理简单,易于实现,但这两种方法没有考虑人眼的视觉特性而将每个像 素同等对待,致使主客观质量评价结果不一致。Zhou Wang等人在“Image Quality Assessment: from Error Visibility to Structural Similarity”一文中从图像的结构信息入手,提出了一种基于 结构相似度(SSIM,Structural SIMilarity)的图像质量测度。这种方法基于“人类视觉系统主要 用于且非常适用于从视场中提取结构信息”的理念,从而把图像质量评价的标准从对误差的 度量变成了对于结构失真的度量,并将图像的退化看作图像结构信息的丢失。这种方法没有 考虑图像的边缘信息,对高度模糊的图像评价效果很差。基于SSIM方法,Chen Guanhao等 人在“Gradient-based Structural Similarity for Image Quality Assessment”一文中提出了基于结 构边缘信息(ESSIM)的图像质量评价方法,对模糊失真的图像有一定的改善。但是上述几 种方法没有考虑到视频中帧与帧之间的时间相关性,只能用于图像的质量评价。视频质量的 评价必须同时考虑到视频的时间信息或者运动信息。卢国庆等人在“基于运动信息和结构信 息的视频质量评价方法”一文中提出了基于运动信息和结构信息(MESSIM)的视频质量评 价方法,但是该方法在单帧图像质量评价时没有考虑到局部失真时的边缘结构信息。

发明内容

针对目前的图像质量客观评价方法并不完全适用于超高清视频的问题,本发明在SSIM 模型基础上,提出了一种基于视觉感知特性的超高清视频图像质量客观评价方法。该方法不 仅考虑了视频图像的结构信息和运动信息等因素对人眼视觉的影响,还考虑了人眼对超高清 视频的注意区域以及亮度的影响,能够较好地模拟人眼的视觉机制。

为实现上述目的,本发明采用以下技术方案:

步骤1,对输入的原始超高清视频序列和受损超高清视频序列的每一帧进行16×16的分 块(即宏块),分别提取每一宏块原始图像和失真图像的亮度变化信息,然后提取图像的对比 度变化信息,在此基础上再提取图像的结构变化信息,并对以上提取的三种变化进行相似性 比较,最后对其比较结果进行综合,从而得到一种相似性度量指标,并以此指标作为该宏块 图像质量好坏的评价尺度,即SSIMij值。

步骤2,计算超高清视频图像中每一宏块的权重wij

(1)根据原始超高清图像中当前宏块所处空间位置,得到其空间位置权重pij

(2)根据原始超高清图像中当前宏块的亮度均值,得到其亮度掩盖因子lij

(3)计算原始超高清图像中当前宏块的纹理复杂度,得到其纹理复杂度权重sij

(4)计算原始超高清图像当前宏块相对于前一帧的运动矢量,得到其运动信息权重vij

(5)综合以上四种权重得到每个宏块最终的加权系数:wij=pij×lij×sij×vij

步骤3,对当前帧每一宏块的SSIMij值用wij进行加权,得到单帧的超高清图像质量。

步骤4,对整个视频序列的每一帧图像质量值进行加权,得到整个视频序列的图像质量 客观评价结果。

本发明的有益效果是:对比现有文献和专利提出的方法,本发明所述的视频质量客观评 价方法在现有SSIM算法的基础上,不但考虑了亮度掩盖因子、纹理复杂度、运动信息,而 且考虑了超高清视频高分辨率及人眼视觉特性,对空间位置信息进行了加权。对DucksTakeOff 和ParkJoy两个序列各8个码率的视频序列,采用本发明所述方法和SSIM算法分别计算图像 的客观评价质量,采用本发明所述方法得到的客观评价结果与主观评价结果的皮尔森相关系 数为93.03%,而采用SSIM算法得到的皮尔森相关系数仅为16.15%。实验表明,对于超高清 视频序列,本发明所述方法相比传统的SSIM算法,在与主观评价结果的一致性方面有很大 提高。

附图说明

图1为结构相似度SSIM计算方法示意图;

图2为空间位置区域划分示意图;

图3为亮度归一化敏感曲线;

图4为本发明所述方法的结构框图;

图5为应用本发明所述方法得到的客观评价结果与主观评价结果拟合图;

图6为应用SSIM方法得到的客观评价结果与主观评价结果拟合图。

具体实施方式

一种基于视觉感知特性的超高清视频图像质量客观评价方法,考虑了超高清视频的空域 及时域特性,其特征在于包括以下步骤:

步骤1,对超高清视频中每一帧图像进行16×16的分块,分别求得每个块的结构相似值, 即SSIM。

求SSIM的方法如图1所示。首先对超高清视频序列中每一帧图像进行16×16的分块(即 宏块),分别提取每一宏块原始图像和失真图像的亮度变化信息,然后提取图像的对比度变化 信息,在此基础上再提取图像的结构变化信息,并对以上提取的三种变化进行相似性比较, 最后对其比较结果进行综合,从而得到一种相似性度量指标,并以此指标作为该宏块图像质 量好坏的评价尺度。

每个宏块的结构相似值为:

SSIMij(X,Y)=[lij(X,Y)]α[cij(X,Y)]β[sij(X,Y)]γ

其中,X为原始超高清视频序列,Y为受损超高清视频序列。α>0、β>0和γ>0是用 于调整式中三个分量的相对重要性。lij(X,Y)、cij(X,Y)和sij(X,Y)分别为亮度比较函数、对 比度比较函数和结构比较函数。

亮度比较函数为:

lij(X,Y)=2μijxμijx+C1μijx2+μijy2+C1

其中,

μijx=1NΣn=1Nxn

μijy=1NΣn=1Nyn

式中,xn为原始超高清视频序列第i帧第j个宏块内各像素点亮度值;yn为受损超高清 视频序列第i帧第j个宏块内各像素点亮度值;N为宏块亮度像素点总数,取值为256;C1是 为避免当十分接近零(两幅图像对应宏块中,各像素点的亮度值基本一样)时,lij(X,Y) 产生奇异性和不稳定性而引入的常数。

对比度比较函数为:

cij(X,Y)=2σijxσijy+C2σijx2+σijy2+C2

其中,

σijx=1N-1Σn=1N(xn-μijx)2

σijy=1N-1Σn=1N(yn-μijy)2

式中,C2为作用与C1相同的常数。

结构比较函数为:

sij(X,Y)=σijxy+C3σijxσijy+C3

其中,

σijxy=1N-1Σn=1N(xn-μijx)(yn-μijy)

式中,C3为作用与C1、C2相同的常数。

步骤2,计算原始超高清视频序列中第i帧第j个宏块的权重wij

wij的取值由四部分组成:空间位置信息权重,亮度掩盖因子,纹理复杂度权重和运动信 息权重,分别用pij,lij,sij,vij表示。

(1)计算空间位置信息权重pij

空间位置信息权重的获得依据人眼视觉特性,将超高清图像按空间位置分区。通常眼珠 不转动,凝视物体时,能清晰地看出物体内容的视场区域对应的双眼视角大约是35°×20°, 故将此区域换算为像素点为1920×1080(取16×16的整数倍)。依此将整幅图像划分为9个 不同的区域,共取三个不同的权重,如图2所示。

①区为中心区域,即对应画面中心的1920×1080个像素点,②区为中心四周区域,③区为 边缘区域。由于人眼对图像中心区域的关注程度往往要比中心四周及边缘要高,所以对三个 区域按信息重要性进行排列:①区>②区>③区,依此给三个区域图像按其重要程度分配权重 值ρ1,ρ2,ρ3,ρi∈{ρ|0≤ρ≤1},且满足根据人眼视觉特性,在这里取ρ1=0.6, ρ2=0.3,ρ3=0.1。

本发明中,根据第i帧第j个宏块在整帧图像中所处位置分别赋予相应的权重,即如果该 宏块在①区,则其空间位置信息权重取ρ1,即pij=0.6;如果该宏块在②区,则其空间位置 信息权重取ρ2,即pij=0.3;如果该宏块在③区,则其空间位置信息权重取ρ3,即pij=0.1。

(2)计算亮度掩盖因子lij

根据人眼视觉特性,人眼对于发生在不同亮度区域噪声的敏感特性是不同的,中等灰度 在人眼中表现为最敏感,而高灰度与低灰度两个方向的敏感度都呈现出非线性下降趋势。如 果亮度掩盖因子为lij,图像宏块亮度均值为m,对应关系如图3所示,lij的数学表达式为:

lij=(0.2-1)(m-T1)2T12+1,mT11,T1<m<T2(0.2-1)(m-T2)2T22+1,mT2---(1)

式中,T1、T2为亮度均值阈值。超高清视频采用10bit量化,其亮度的取值范围为0~1023, 依此对T1、T2设定不同的值,在这里T1取340,T2取680。

本发明中,对原始超高清视频序列中第i帧第j个宏块计算其亮度均值,从而根据式(1) 确定该宏块的亮度掩盖因子lij

(3)计算纹理复杂度sij

按照纹理的不同特性,可以将视频分为结构纹理区域和随机纹理区域。结构纹理区域的 纹理较为简单,与周围图像关联性较低;随机纹理区域的纹理较为丰富,空间对比度低,与 周围图像关联性较髙。HVS(Human Visual System,人眼视觉系统)特性研究表明,结构纹 理区域内的失真效应更加容易吸引人类的注意。一般来说,结构纹理区域的边界具有较长连 续性,转折和断点较少,与之相对,随机纹理区域的边界较短,方向和长度的差异较大。因 此,根据每个区域内的边缘点数和边缘方向来区分结构纹理区域和随机纹理区域,继而得到 该区域的纹理复杂度。统计原始超高清视频序列中第i帧第j个宏块内梯度方向种类和边缘像 素数,以此来估计该宏块的纹理复杂度。

首先用Prewitt算子对整帧图像进行卷积,提取边缘像素点,分别计算每个像素点的水平 和垂直梯度(Ghor,Gver),以及每个像素点的梯度方向θ(m,n):

θ(m,n)=arctanGver(m,n)Ghor(m,n)

其中,

Ghor(m,n)=I(m,n)*Shor

Gver(m,n)=I(m,n)*Sver

式中,I(m,n)为原始超高清图像,Shor、Sver为Prewitt方向模板。

Shor=-101-101-101,Sver=111000-1-1-1

将[0,360°)划分为4个不同的方向,据此将梯度方向θ(m,n)分为以下4类:

θ(m,n){-π8~π8or7π8~9π8,π8~3π8or9π8~11π8,3π8~5π8or11π8~13π8,5π8~7π8or13π8~15π8}

然后,统计原始超高清视频序列中第i帧第j个宏块内边缘像素总数nedge和梯度方向的种 类kθ。则该宏块的纹理复杂度sij计算公式如下:

sij=0.5,if(kθ=0)1,if(kθ=1)(2-ce)/2,if(kθ=2)(1.6-ce)/2,if(kθ=3)0.2,else

其中,

ce=1-f(nedge>Tedge)0else

式中,Tedge为宏块内边缘像素点个数阈值,sij的取值范围为(0,1),当sij趋向0时,代 表该区域纹理丰富,属于随机纹理区域,其失真效应不容易被人眼察觉;当sij趋向1时,代 表该区域纹理简单,属于结构纹理区域,人眼对其失真效应比较敏感。

(4)计算运动信息权重vij

根据人眼视觉特性,运动速率不同时,人眼会对视频失真产生不同程度的掩盖效应。同 等失真情况下,人眼感知到的失真随运动速率的不同而不同。所以需要对不同的运动信息加 以不同的权值。在实际场景中,出现运动场面主要有以下两种情况:

1)整个场景变化不大,只有部分对象在运动或变化。根据人眼视觉特性,当观看这样的 场景时,人眼关注的是场景运动和变化的对象,此部分信息就是人眼比较敏感的信息,应给 这部分信息一个比较大的权重。

2)整个场景运动剧烈,人眼很难分辨出视频中内容的细节部分。按照运动剧烈宏块所占 比例分为两种情况:

①运动剧烈宏块比重超过80%,说明该帧运动矢量均较大,根据人眼视觉特性,人眼更 关注相对变化较小的对象,故此部分信息应赋予比较大的权重;

②如果运动剧烈宏块比重小于80%,则说明该帧大部分物体变化不是非常剧烈,人眼会 对高速运动的部分比较敏感,故对此部分赋予较高的权值。

在本发明中,采用基于宏块的运动估计算法依据前一帧对当前宏块进行运动估计,得到 每个宏块的运动矢量,并采用运动矢量平均值作为评价整个场景运动情况的标准,如果帧平 均运动矢量值Mi小于16判断为第一种情况,否则判断为第二种情况。

针对两种情况分别采用以下加权公式:

对于第一种情况:

vij=1,mij122-(20-mij)/8,12<mij202,mij>20

对于第二种情况又分为两种情况:

vij=2,mij451+(55-mij)/8,45<mij551,mij>55

vij=1,mij452-(55-mij)/8,45<mij552,mij>55

其中,mij表示原始超高清视频序列中第i帧图像的第j个宏块的运动 矢量值,Rs表示一帧中宏块的个数。

(5)计算每个宏块最终权重

综合以上四种考虑得到每个宏块最终的加权系数:

wij=pij×lij×sij×vij

步骤3,计算视频序列中单帧图像质量。

对于视频中每一帧图像质量进行加权处理,得到整个视频序列的客观评价结果,加权公 式如下:

Qi=Σj=1RswijSSIMijΣj=1Rswij

式中,Qi表示视频序列中第i帧图像的质量,wij表示第i帧第j块的加权系数,Rs表示一 帧中宏块的个数。

步骤4,计算整个视频序列的客观评价质量。

对于视频中每一帧图像失真和整个视频段失真采取如下公式进行加权处理,公式如下:

WeightSSIM=Σi=1FWiQiΣi=1FWi

式中,F表示序列中帧的数量,Wi表示第i帧的权重值,Qi为步骤3计算得到的第i帧图 像的质量,WeightSSIM为最终的视频序列客观评价结果。

由于人在观看视频时很容易注意到受损图像,且其对整个视频的图像质量会造成比较大 的影响,所以对图像质量较差的帧赋予较高的权值,对图像质量好的帧赋予较小的权值。Wi的选取采用以下原则:

Wi=1,0.8<Qi12,0.6<Qi0.83,0.4<Qi0.64,0.2<Qi0.45,0<Qi0.2.

下面通过实验数据对本发明所述方法与SSIM算法进行比较。

采用ParkJoy和DucksTakeOff两个超高清视频信号源,其分辨率为3840×2160,量化 比特数为10,每个序列10秒长,帧率为50fps,共500帧,色度取样格式为4:2:0。每 个序列被压缩成8个码率,分别为12Mbps,15Mbps,18Mbps,23Mbps,28Mbps,32Mbps, 36Mbps和40Mbps。表1给出了采用本发明所述方法与SSIM算法对2个序列各8个码率 的视频序列的主观评价结果、客观评价结果,表中的WeightSSIM和SSIM分别表示采用本 发明所述方法与SSIM算法得到的客观评价结果。根据表1中的数据计算客观评价结果与主 观评价结果的皮尔森相关系数,计算结果表明:采用本发明所述方法得到的客观评价结果 与主观评价结果的皮尔森相关系数为93.03%,而采用SSIM算法的皮尔森相关系数仅为 16.15%。因此,对于超高清视频序列,本发明所述方法相比传统的SSIM算法有很大提高。

图5和图6分别为采用本发明所述方法与SSIM算法得到的与主观评价结果的拟合曲线 图。其中,横坐标表示主观评价结果,即通过主观评价由观察员对各序列进行打分得到的 平均值,纵坐标表示采用客观评价算法得到的评价结果。“◇”表示ParkJoy序列各码率主、 客观评价结果,“×”表示DucksTakeOff序列各码率主、客观评价结果。由图6可以看出, 两个不同的视频序列各码率客观评价结果与主观评价结果的关系曲线不一致,说明SSIM算 法对于不同的视频序列的普适性不够好;而从图5可以看出,对两个不同视频序列各码率 的客观评价结果与主观评价结果的关系曲线基本一致,说明本发明所述方法相较于传统的 SSIM算法更加符合人眼视觉特性,更适用于超高清视频序列的客观质量评价。由于本算法 中充分考虑了人眼视觉特性,包括空间位置信息、亮度掩盖、纹理复杂度及运动对人眼的 影响,使得客观评价结果与主观评价结果的一致性更好,验证了本文模型及评价方法的优 良性。但是,目前人类对自身的认识还有待加深,基于人眼视觉系统的视频质量评价仍然 存在许多技术难点有待突破。

表1主客观评价结果对照表

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号