基于小波变换多分辨率预测的无参考图像质量评价方法

摘要

本发明公开一种基于小波变换多分辨率预测的无参考图像质量评价方法。其步骤包括：(1)选取理想图像，计算小波变换后各尺度各方向的平均能量；(2)利用各尺度能量特征之间的近似线性关系，建立预测模型；(3)根据预测模型，利用失真图像的高尺度子带平均能量去预测理想图像低尺度的子带平均能量；(4)适当调整失真很严重图像所预测的平均能量；(5)补偿噪声失真图像的能量；(6)补偿JPEG失真类型图像的能量；(7)结合人类视觉系统特性，构建无参考图像质量评价尺度。本发明无需主观得分训练，与主观评价高度一致，能够适用于多种失真类型，可用于对图像视频处理方法有效性进行检测。

说明书

技术领域

本发明涉及一种基于小波变换多分辨率预测的无参考图像质量评价方法，属于图像处理技术领域。

背景技术

图像处理技术许多方面，例如压缩、传输、增强、存储、水印等等，都需要图像质量评价，因此对图像质量评价方法的研究非常有价值。评价图像质量的方法有主观方法和客观方法两大类，在大多数情况下，人是图像视觉信息的最终接受者，故利用主观实验来评价图像质量是最准确和最有效的方法。然而在实际中，主观方法需要实验的数据量非常大，且不易于嵌入到自动化系统中，目前研究的重点是客观图像质量评价方法。该方法力求与主观实验方法的结果取得一致，从而能够利用计算机自动地评价图像质量。

客观评价方法根据对原始图像的参考程度分为3类：全参考型、部分参考型和无参考型。全参考和部分参考型需要参考图像或者参考图像的部分特征，而在许多实际应用中，参考图像或其部分特征是很难或无法得到的，这时就必须要真正的无参考图像质量评价方法。

目前在文献报道中，大多无参考图像质量评价方法都是假设知道某种失真类型，然后根据失真的效果，求出失真强度。例如，左博新等针对模糊失真，提出了一种基于边缘检测的无参考模糊图像评价模型“左博新，明德烈，敖争光，郑文娟，基于图像结构的无参考模糊图像及其复原图像质量评价方法，地理信息世界，2008，vol.2，No.1，pp.13-20”。该方法通过测量梯度图像的梯度边缘信息，来评价模糊退化图像和带有模糊效应的复原图像。王正友等针对噪声失真，提出了一种基于掩盖效应的无参考图像质量评估方法“王正友，肖文，基于掩盖效应的无参考数字图像质量评价，计算机应用，2006，vol.26，No.12，pp.2838-2840”。该方法首先对Hosaka分块进行了改进，取消了该方法对图像尺寸的限制；通过分块，将图像以不同的频率成分区分开来，然后计算各个子块的噪声；根据图像的污染程度，提出了基于掩盖效应的无参考图像峰值信噪比NPSNR。殷晓丽等针对JPEG压缩失真，提出了一种基于半脆弱性数字水印算法的无参考图像质量评价方法“殷晓丽，方向忠，翟广涛，一种JPEG图片的无参考图像质量评价方法，计算机工程与应用，2006，18，pp.79-81”。Rania Hassen等提出一种基于局部相位一致测量的无参考图像锐化测度(LPCM)“R.Hassen，Z.Wang and M.Salama，No-reference image sharpness assessment based on local phase coherence measurement，in Proc.IEEE Int.Conf.Acoustics，Speech & Signal Processing，Mar.2010.”该方法利用可操控的金字塔小波分解图像，得到局部相位一致图像，最后通过加权平均局部相位一致图作为最终的图像锐化测度。上述方法都是已知失真类型，且只针对一种失真类型。

另一种目前文献报道较好的方法是基于Contourlet域统计模型的无参考型质量评价方法“曾凯，无参考型自然图像质量评价算法研究，西安电子科技大学硕士学位论文，2009，pp.21-32”。该方法利用Contourlet变换系数间非线性依赖性的变化来度量图像质量。论文作者给出了该方法用于JPEG2000压缩、JPEG压缩、白噪声、高斯模糊和Fastfading五种失真类型的实验结果，相对其它只能应用于一种或两种失真类型的评价方法已有较大提高，但该方法在JPEG和白噪声失真上效果非常差，实际上只能算是可应用于三种失真类型(JPEG2000压缩、高斯模糊和Fastfading)，为此发展更好更可靠的无参考图像质量评价方法就显得更有价值。

发明内容

现有无参考图像质量评价方法要么已知失真类型，要么仅适用于有限的失真类型，且与主观评价方法一致性有限，本发明的目的是为了克服这一局限，提出一种针对多种失真类型有效的基于小波变换多分辨率预测的无参考图像质量测度，实现可靠的无参考图像质量评价。

按照本发明提供的技术方案，所述基于小波变换多分辨率预测的无参考图像质量评价方法，根据失真在不同分辨率下引起视觉敏感系数的不同，同时结合自然场景统计(NSS)模型和小波多尺度变换子带能量在对数域的线性分布规律，利用失真条件下变化缓慢的高尺度子带能量预测理想图像的低尺度子带能量，然后通过预测值和实际值之间的差异来评价失真图像质量，同时对一些不适用失真类型进行能量补偿。具体过程如下：

(1)选取N(N≥5)幅高质量的理想图像，对这些理想图像进行小波变换，然后分别计算小波变换各尺度各方向的平均能量ME_s，o：

${\mathrm{ME}}_{s,o}=\frac{1}{N}\Sigma {\log }_2|C_{s,o}+\phi |$

式中ME_s，o为子带平均能量；s为尺度个数；o为方向个数；N为纹理区域(对于第四尺度的每一个方向子带，选取其中绝对值大于子带绝对值均值的系数作为纹理区域；然后依次根据不同尺度同方向逐级进行升采样插值，分别得到第三、第二、第一尺度的纹理区域)像素个数；C为纹理区域子带系数；参数Φ为调控因子，优选0＜Φ＜1。

(2)通过最小二乘法非线性拟合得到预测系数矩阵PC_s：

$\left(\begin{array}{cc}{\mathrm{PC}}_{s\left(11\right)}& {\mathrm{PC}}_{s\left(12\right)}\\ {\mathrm{PC}}_{s\left(21\right)}& {\mathrm{PC}}_{s\left(22\right)}\\ {\mathrm{PC}}_{s\left(31\right)}& {\mathrm{PC}}_{s\left(32\right)}\end{array}\right)=\left(\begin{array}{ccc}{\mathrm{ME}}_{4\left(11\right)}& {\mathrm{ME}}_{4\left(12\right)}& 1\\ ·& ·& ·\\ ·& ·& ·\\ ·& ·& ·\\ {\mathrm{ME}}_{4\left(N1\right)}& {\mathrm{ME}}_{4\left(N2\right)}& 1\end{array}\right)\backslash \left(\begin{array}{cc}{\mathrm{ME}}_{s\left(11\right)}& {\mathrm{ME}}_{s\left(12\right)}\\ ·& ·\\ ·& ·\\ ·& ·\\ {\mathrm{ME}}_{s\left(N1\right)}& {\mathrm{ME}}_{s\left(N2\right)}\end{array}\right)$

式中s取值3、2、1，分别表示第三、二、一尺度；PC_s表示第s尺度的预测系数矩阵；N为理想图像的个数；ME_s表示第s尺度的子带能量；ME₄表示第四尺度的子带能量；符号\表示矩阵左除。

(3)对失真图像进行小波分解，用失真图像第四尺度的平均能量ME₄和预测系数矩阵PC_s预测理想图像的平均能量PME_s：

PME_s＝ME₄×PC_s

(4)当图像失真很严重的时候，在高尺度(第四尺度)上得到的平均能量ME也会发生较大的偏差，如若用这些偏差较大的值进行线性预测则会产生很大的误差，这时我们对由失真图像预测的理想图像的平均能量PME进行调整：

$\left(\begin{array}{c}\mathrm{PME}=\mathrm{IME},M_4\le \mathrm{Thr}-1\\ \mathrm{PME}=\mathrm{IME}\times (\mathrm{Thr}-M_4)+\mathrm{PME}\times (M_4-\mathrm{Thr}-1),(\mathrm{Thr}-1)<M_4<\mathrm{Thr}\end{array}\right)$

式中M₄为失真图像第四尺度子带平均能量；Thr为步骤(1)计算的N幅理想图像第四尺度子带平均能量的最小值；IME为步骤(1)计算的N幅理想图像第四尺度子带平均能量。

(5)噪声失真情况下的能量补偿

由于白噪声增加了图像的高频信息，所以失真图像的子带平均能量ME在低尺度会大于理想图像的子带平均能量ME，而其它类型的失真都是由于高频信息的丢失，它的子带平均能量ME在低尺度都小于理想图像的子带平均能量ME。于是我们根据低尺度实际能量ME是否大于预测能量PME来检测噪声类型，当失真图像的第一二尺度四个子带能量至少有两个大于其相应的预测理想图像的子带能量的时候，我们调整其子带能量：

ME_s＝ME_s+δ×M₄

式中δ为补偿因子，优选0≤δ＜1，当其为0.1时达到最好的效果。

(6)构造图像质量初步度量SQ_s：

SQ_s＝log(1+|PME_s-ME_s|×w_o

式中w_o为权重，水平竖直方向w_o取为1.2，对角方向的权重设为0.8。

(7)JPEG失真情况下的能量补偿

块效应是由于图像进行分块压缩而产生的相邻块边界不连续的现象。经实验发现由步骤(6)建立的质量指标SQ对JPEG失真效果有限，为此我们考虑对JPEG失真进行能量补偿。由于JPEG分块大小一般为8*8结构，当经过wavelet变换降采样分解后，块的大小会变为4*4结构。对于水平方向，块边界能量取第1和第4列，图像能量取第2和第3列；对于竖直方向，块边界能量取第1和第4行，图像能量取第2和第3行。最后根据块边界能量和图像能量求出JPEG失真能量补偿。

式中BOE_h、BIE_h分别为水平方向块边界能量和水平方向图像能量；C(i，j)为子带系数；M为行数；N为列数；BOE_v和BIE_v分别为竖直方向块边界能量和竖直方向图像能量。

最后根据块边界能量和图像能量得到JPEG失真类型的能量补偿JEC：

$\mathrm{JEC}=|\frac{{\mathrm{BIE}}_h+{\mathrm{BIE}}_v}{{\mathrm{BOE}}_h+{\mathrm{BOE}}_v}-1|$

(8)构造图像质量评价尺度

最后我们定义无参考的图像质量评价尺度NRIQ：

NRQI＝H_s×SQ_s+JEC

式中H_s是人类视觉系统的对比度敏感函数(CSF)，计算公式为：

H(f)＝2.6×(0.192+0.114f)×exp[-(0.114f)^1.1]

式中f为归一化的空间频率，它的计算公式为：

f＝f_n×f_s

式中f_x、f_y分别为水平和垂直方向的空间频率，f_s为采样频率。

f_s＝2×v×tan(0.5°)×r/0.0254

式中v为观看距离，优选0＜v≤20，r为显示器标准分辨率，本实验中取为2.4。

本发明的优点是：本发明能够适用于多种失真类型(已证实了了五种)，且与人类主观视觉感知一致性较好；方法简单，无须训练样本学习，推广性强。

附图说明

图1是本发明流程图。

图2是小波变换子带分解示意图。

图3是本发明方法与主观感知得分的散点示意图。

具体实施方式

下面结合附图和实例对本发明作进一步说明。涉及到无参考图像质量的评价方法，可用于图像视频相关应用中对图像失真程度的评价处理。本发明所述基于小波变换多分辨率预测的无参考图像质量评价方法，根据失真在不同分辨率下引起视觉敏感系数的不同，同时结合自然场景统计(NSS)模型和小波多尺度变换子带能量在对数域的线性分布规律，利用失真条件下变化缓慢的高尺度子带能量预测理想图像的低尺度子带能量，然后通过预测值和实际值之间的差异来评价失真图像质量，同时对一些不适用失真类型进行能量补偿。具体过程如图1所示。

(1)选取N(N≥5)幅高质量的理想图像(本发明采用美国德州大学Austin分校LIVE实验室图像质量评价数据库中的29幅高质量的理想图像，参见http://live.ece.utexas.edu/research/quality/)，对这些理想图像进行小波变换(如图2所示)，然后根据下式(1)分别计算小波变换各尺度各方向的平均能量ME_s，o。

${\mathrm{ME}}_{s,o}=\frac{1}{N}\Sigma {\log }_2|C_{s,o}+\phi |---\left(1\right)$

式中ME_s，o为子带平均能量；s为尺度个数，本发明设置为4；o为方向个数，本发明设置为2；N为纹理区域(对于第四尺度的每一个方向子带，选取其中绝对值大于子带绝对值均值的系数作为纹理区域；然后依次根据不同尺度同方向逐级进行升采样插值，分别得到第三、第二、第一尺度的纹理区域)像素个数；C为纹理区域子带系数；参数Φ为调控因子，优选0＜Φ＜1。

(2)通过最小二乘法非线性拟合得到预测系数矩阵PC_s，如下式(2)所示：

$\left(\begin{array}{cc}{\mathrm{PC}}_{s\left(11\right)}& {\mathrm{PC}}_{s\left(12\right)}\\ {\mathrm{PC}}_{s\left(21\right)}& {\mathrm{PC}}_{s\left(22\right)}\\ {\mathrm{PC}}_{s\left(31\right)}& {\mathrm{PC}}_{s\left(32\right)}\end{array}\right)=\left(\begin{array}{ccc}{\mathrm{ME}}_{4\left(11\right)}& {\mathrm{ME}}_{4\left(12\right)}& 1\\ ·& ·& ·\\ ·& ·& ·\\ ·& ·& ·\\ {\mathrm{ME}}_{4\left(N1\right)}& {\mathrm{ME}}_{4\left(N2\right)}& 1\end{array}\right)\backslash \left(\begin{array}{cc}{\mathrm{ME}}_{s\left(11\right)}& {\mathrm{ME}}_{s\left(12\right)}\\ ·& ·\\ ·& ·\\ ·& ·\\ {\mathrm{ME}}_{s\left(N1\right)}& {\mathrm{ME}}_{s\left(N2\right)}\end{array}\right)---\left(2\right)$式中s取值3、2、1，分别表示第三、二、一尺度；PC_s表示第s尺度的预测系数矩阵；N为理想图像的个数；ME_s表示第s尺度的子带能量；ME₄表示第四尺度的子带能量；符号\表示矩阵左除。

(3)对失真图像进行小波分解，用失真图像第四尺度的平均能量ME₄和步骤(2)求得的预测系数矩阵PC_s可以预测理想图像的平均能量PME_s。

PME_s＝ME₄×PC_s                    (3)

(4)当图像失真很严重的时候，在高尺度(第四尺度)上得到的平均能量ME也会发生较大的偏差，如若用这些偏差较大的值进行线性预测则会产生很大的误差，我们对这种情况进行适当调整。当失真图像第四尺度子带平均能量满足式(4)中两个条件时，对由失真图像预测的理想图像的平均能量PME按下式进行调整：

$\left(\begin{array}{c}\mathrm{PME}=\mathrm{IME},M_4\le \mathrm{Thr}-1\\ \mathrm{PME}=\mathrm{IME}\times (\mathrm{Thr}-M_4)+\mathrm{PME}\times (M_4-\mathrm{Thr}-1),(\mathrm{Thr}-1)<M_4<\mathrm{Thr}\end{array}\right)---\left(4\right)$

式中M₄为失真图像第四尺度子带平均能量；Thr为步骤(1)计算的N幅理想图像第四尺度子带平均能量的最小值；IME为步骤(1)计算的N幅理想图像第四尺度子带平均能量。

(5)噪声失真情况下的能量补偿

由于白噪声增加了图像的高频信息，所以失真图像的子带平均能量ME在低尺度会大于理想图像的子带平均能量ME，而其它类型的失真都是由于高频信息的丢失，它的子带平均能量ME在低尺度都小于理想图像的子带平均能量ME。于是我们根据低尺度实际能量ME是否大于预测能量PME来检测噪声类型，当失真图像的第一二尺度四个子带能量至少有两个大于其相应的预测理想图像的子带能量的时候，我们采用式(5)调整其子带能量：

ME_s＝ME_s+δ×M₄                    (5)

式中δ为补偿因子，优选0≤δ＜1，当其为0.1时达到最好的效果。

(6)构造图像质量初步度量SQ_s：

SQ_s＝log(1+|PME_s-ME_s|×w_o)             (6)

式中w_o为权重，水平竖直方向w_o取为1.2，对角方向的权重设为0.8。

(7)JPEG失真情况下的能量补偿

块效应是由于图像进行分块压缩而产生的相邻块边界不连续的现象。经实验发现由步骤(6)建立的质量指标SQ对JPEG失真效果有限，为此我们考虑对JPEG失真进行能量补偿。由于JPEG分块大小一般为8*8结构，当经过wavelet变换降采样分解后，块的大小会变为4*4结构。对于水平方向，块边界能量取第1和第4列，图像能量取第2和第3列；对于竖直方向，块边界能量取第1和第4行，图像能量取第2和第3行。最后根据块边界能量和图像能量求出JPEG失真能量补偿。

式中BOE_h、BIE_h分别为水平方向块边界能量和水平方向图像能量；C(i，j)为子带系数；M为行数；N为列数；BOE_v和BIE_v分别为竖直方向块边界能量和竖直方向图像能量。

最后根据块边界能量和图像能量得到JPEG失真类型的能量补偿JEC：

$\mathrm{JEC}=|\frac{{\mathrm{BIE}}_h+{\mathrm{BIE}}_v}{{\mathrm{BOE}}_h+{\mathrm{BOE}}_v}-1|---\left(9\right)$

(8)构造图像质量评价尺度

加上JPEG失真补偿，最后我们定义无参考的图像质量评价尺度NRIQ：

NRQI＝H_s×SQ_s+JEC                    (10)

式中H_s是人类视觉系统的对比度敏感函数(CSF)，采用下式(11)计算：

H(f)＝2.6×(0.192+0.114f)×exp[-(0.114f)¹¹]               (11)

式中f为归一化的空间频率，它的计算公式为：

f＝f_n×f_s                            (12)

式中f_x、f_y分别为水平和垂直方向的空间频率，f_s为采样频率。

f_s＝2×v×tan(0.5°)×r/0.0254       (13)

式中v为观看距离，优选0＜v≤20；r为显示器标准分辨率，本实验中取为2.4。

相比现有技术，本发明具有以下优点：

(1)能够无参考评价多种失真类型，通过美国德州大学AUSTIN分校LIVE 实验室图像质量评价数据库实验，本发明方法同时适用于该数据库中的五种失真类型(JPEG2000压缩、JPEG压缩、白噪声、高斯模糊和Fastfading失真)，而当前相关文献报道中较好的方法，即基于Contourlet域统计模型的无参考型质量评价方法(“曾凯，无参考型自然图像质量评价算法研究，西安电子科技大学硕士学位论文，2009，pp.21-32”)，实际上仅适用于该数据库中的三种失真类型(JPEG2000压缩、高斯模糊和Fastfading失真)，该方法对JPEG和噪声失真效果非常差。

(2)与人类主观视觉感知一致性较好。美国德州大学AUSTIN分校LIVE实验室图像质量评价数据库实验，本发明方法与主观评价得分的斯皮尔曼关系系数和非线性回归系数分别为0.8496和0.8536，超过了全参考的图像质量评价方法PSNR(分别为0.8197和0.8256)，分别提高了约0.03和0.028。

(3)方法简单，无须训练样本进行训练，推广性好。本发明方法无须训练样本训练学习，因此适用性广，而当前相关文献报道中较好的方法，即基于Contourlet域统计模型的无参考型质量评价方法(“曾凯，无参考型自然图像质量评价算法研究，西安电子科技大学硕士学位论文，2009，pp.21-32”)需要训练图像集训练学习，这限制了它的推广应用。

本发明的优点可通过以下实验进一步证明：

本实验是在美国德州大学Austin分校LIVE实验室图像质量评价数据库(http://live.ece.utexas.edu/research/quality/)上进行的，该数据库中共有779幅失真图像，同时给出了该779幅失真图像的主观得分值(MOS)。为了测试本发明与主观感知的一致性，我们选择了两种度量准则：(1)斯皮尔曼等级次序关系系数(SROCC)，反映客观评价预测成绩的单调性；(2)相关系数(CC)，反映客观评价的精确性。表1和表2给出了本发明方法与相关文献方法的对比情况(一种基于Contourlet域统计模型的无参考型质量评价方法)，“曾凯，无参考型自然图像质量评价算法研究，西安电子科技大学硕士学位论文，2009，pp.21-32”。

表1本发明方法与相关文献方法的丰客观评价的SROCC比转

表2本发明方法与相关文献方法的主客观评价的CC比较

从表1和表2可以看出，本发明方法相对文献方法有较好的优越性，能够适用LIVE数据库中的五种失真类型，而文献方法NSS仅适用于三种失真类型(对JPEG和噪声失真效果非常差)。即使与全参考的信噪比方法PSNR相比，本发明方法也在数据库所有图像、单个的JPEG失真和GBLUR失真图像上表现出优势。

图2显示了本发明方法对LIVE数据库所有失真图像的客观评分与其主观评分的散点图，横坐标是本发明方法客观评价图像质量得分，纵坐标是主观评价图像质量得分。该图也说明了本发明方法与主观感知的高度一致性。