基于相位选择性机制的通用无参考图像质量评价方法

摘要

本发明公开了一种基于相位选择性机制的通用无参考图像质量评价方法，其首先对待评价的失真图像实施Log-Gabor滤波，得到多尺度多方向的相位图像；接着对上述相位图像中的每个像素点的像素值与周边像素点的像素值进行比较得到局部特征图；然后采用旋转不变性方法求取局部特征图的局部特征模式图，并用直方图统计方法对局部特征模式图进行统计，得到待评价的失真图像的直方图统计特征向量；最后根据待评价的失真图像的直方图统计特征向量与训练集中的每幅失真图像的直方图统计特征向量之间的距离，得到待评价的失真图像的客观质量评价预测值；优点是其能够充分考虑到相位信息改变对视觉质量的影响，能够有效地提高客观评价结果与主观感知之间的相关性。

说明书

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于相位选择性机制的通用 无参考图像质量评价方法。

背景技术

图像是人类获取信息的重要途径，图像质量表示图像向人或设备提供信息的能 力，直接关系着所获取信息的充分性与准确性。然而，图像在获取、处理、传输和存储的过程 中，由于各种因素影响将不可避免的产生降质问题，这给信息的获取或图像的后期处理带 来了极大困难。因此，建立有效的图像质量评价机制非常重要。如在图像去噪、图像融合等 处理过程中可用于各种算法的性能比较、参数选择；在图像编码与通信领域可用于指导整 个图像的传输过程并评估系统性能。

图像质量评价方法可以分为两类：主观评价方法和客观评价方法。前者是由观察 者对图像质量进行评分，得到平均评价分用以衡量图像质量；后者利用数学模型计算图像 质量。主观评价方法的实验结果比较可靠，但费时费力。客观评价方法又可分为三类：全参 考图像质量评价方法、半参考图像质量评价方法和无参考图像质量评价方法，当前研究最 多的是全参考图像质量评价方法，但是多数应用中无法获得相应的原始图像，因此，无参考 图像质量评价方法的研究更具实用价值。

无参考图像质量评价方法可分为特定失真评价方法和通用评价方法两种，特定失 真评价方法只能对某种特定失真类型的图像进行评价，例如JPEG、JPEG2K及Gblur失真等， 无法对其它类型的失真图像及多种处理技术处理后的图像进行质量评价；通用评价方法可 以同时对多种失真进行评价。

现有的通用无参考图像质量评价方法并没有充分考虑人眼视觉特性，因此，如何 在评价过程中有效地提取人眼视觉特征信息，在评价过程中进行人眼视觉特性结合，使得 客观评价结果更加符合人类视觉感知系统，是图像进行客观质量评价过程中需要研究解决 的问题。

发明内容

本发明所要解决的技术问题是提供一种基于相位选择性机制的通用无参考图像 质量评价方法，其能够充分考虑到相位信息改变对视觉质量的影响，能够有效地提高客观 评价结果与主观感知之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于相位选择性机制的通用 无参考图像质量评价方法，其特征在于包括以下步骤：

①令{I_d(i,j)}表示待评价的失真图像，其中，1≤i≤W,1≤j≤H，W表示{I_d(i,j)} 的宽度，H表示{I_d(i,j)}的高度，I_d(i,j)表示{I_d(i,j)}中坐标位置为(i,j)的像素点的像 素值；

②对{I_d(i,j)}实施Log-Gabor滤波，得到{I_d(i,j)}的多尺度多方向的相位图像， 记为其中，表示中坐标位置为(i,j)的像素点的像素值；

③获取的局部特征图，记为将中坐标位置为(i,j)的 像素点的像素值，即中坐标位置为(i,j)的像素点的局部特征值记为，其 中，fun()为将二进制数转换成十进制数的函数，符号“||”表示二进制比特位续联符号， 符号“| |”为取绝对值符号，当1≤i-1≤W且1≤j-1≤H时表示中坐标位置为 (i-1,j-1)的像素点的像素值，当1≤i-1≤W且j-1<1时令当i-1<1 且1≤j-1≤H时令当i-1<1且j-1<1时令当 1≤i-1≤W时表示中坐标位置为(i-1,j)的像素点的像素值，当i-1<1时 令当1≤i-1≤W且1≤j+1≤H时表示中坐标位置 为(i-1,j+1)的像素点的像素值，当1≤i-1≤W且j+1>H时令当i- 1<1且1≤j+1≤H时令当i-1<1且j+1>H时令 当1≤j-1≤H时表示中坐标位置为(i,j-1)的 像素点的像素值，当j-1<1时令当1≤j+1≤H时表示中坐标位置为(i,j+1)的像素点的像素值，当j+1>H时令当1≤i+1≤W 且1≤j-1≤H时表示中坐标位置为(i+1,j-1)的像素点的像素值，当1 ≤i+1≤W且j-1<1时令当i+1>W且1≤j-1≤H时令 当i+1>W且j-1<1时令当1≤i+1≤W时 表示中坐标位置为(i+1,j)的像素点的像素值，当i+1>W时令 当1≤i+1≤W且1≤j+1≤H时表示中坐标位置为 (i+1,j+1)的像素点的像素值，当1≤i+1≤W且j+1>H时令当i+1> W且1≤j+1≤H时令当i+1>W且j+1>H时令上述 对应表示中坐标位置 为(i-1,1)、(1,j-1)、(1,1)、(1,j)、(i-1,H)、(1,j+1)、(1,H)、(i,1)、(i,H)、(i+1,1)、(W,j- 1)、(W,1)、(W,j)、(i+1,H)、(W,j+1)、(W,H)的像素点的像素值，T为设定的阈值；

④采用旋转不变性操作对进行处理，得到的局部特征模式图，记 为其中，表示中坐标位置为(i,j)的像素点的像素值，也即是 中坐标位置为(i,j)的像素点的局部特征模式值；

⑤采用直方图统计方法对进行统计操作，得到{I_d(i,j)}的直方图统计特 征向量，记为h_d，其中，h_d的维数为1×m'维，h_d中的第m个元素为h_d(m)，1≤m≤m'，m'>1；

⑥采用n”幅宽度为W且高度为H的原始的无失真图像，建立其在不同失真类型不同 失真程度下的失真图像集合，将该失真图像集合作为训练集，训练集包括多幅失真图像；然 后利用主观质量评价方法评价出训练集中的每幅失真图像的平均主观评分值，将训练集中 的第j幅失真图像的平均主观评分值记为DMOS_j；再按照步骤①至步骤⑤的操作，以相同的 方式获取训练集中的每幅失真图像的直方图统计特征向量，将训练集中的第j幅失真图像 的直方图统计特征向量记为h_d,j；其中，n”>1，1≤j≤N'，N'表示训练集中包含的失真图像的 总幅数，0≤DMOS_j≤100，h_d,j的维数为1×m'维，h_d,j中的第m个元素为h_d,j(m)；

⑦计算h_d与训练集中的每幅失真图像的直方图统计特征向量之间的距离，将h_d与 h_d,j之间的距离记为D_dis,j，D_dis,j＝|h_d-h_d,j|；然后将得到的N'个距离构成的集合记为{D_dis,j|1≤j≤N'}；接着对{D_dis,j|1≤j≤N'}中的所有距离按从小到大的顺序排列，将排列后的集 合记为{D'_dis,j|1≤j≤N'}；之后获取{D'_dis,j|1≤j≤N'}中的前K'个距离各自对应的训练 集中的失真图像的平均主观评分值，并将这K'个平均主观评分值构成的集合记为{DMOS'₁, DMOS'₂,…,DMOS'_K'}；其中，符号“||”为取绝对值符号，1≤K'≤N'，DMOS'₁,DMOS'₂,…, DMOS'_K'对应表示{D'_dis,j|1≤j≤N'}中的第1个距离对应的训练集中的失真图像的平均主 观评分值、第2个距离对应的训练集中的失真图像的平均主观评分值、…、第K'个距离对应 的训练集中的失真图像的平均主观评分值；

⑧计算{I_d(i,j)}的客观质量评价预测值，记为Q_dis，其中，D'_dis,k'表示{D'_dis,j|1≤j≤N'}中的第k'个距离，DMOS'_k'表示D'_dis,k'对应的训练集中 的失真图像的平均主观评分值。

所述的步骤③中取T＝45。

所述的步骤⑤中取m'＝10。

与现有技术相比，本发明的优点在于：

1)本发明方法通过深入挖掘人眼视觉特性中的相位选择机制，即通过相位模式模 拟人眼视觉兴奋和抑制性神经元感受，这能够很好地体现了人眼视觉感知特性。

2)本发明方法在充分利用了人眼视觉相位选择机制的基础上，采用局部特征提取 方法(即利用失真图像的多尺度多方向的相位图像中的每个像素点及其八邻域像素点各自 的像素值来获取失真图像的多尺度多方向的相位图像的局部特征图)和旋转不变性方法获 取视觉感知相位特征信息，因此能有效地提高客观评价结果与主观感知之间的相关性。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于相位选择性机制的通用无参考图像质量评价方法，其总体 实现框图如图1所示，其处理过程为：首先，对待评价的失真图像实施Log-Gabor滤波，得到 多尺度多方向的相位图像；接着对上述相位图像中的每个像素点的像素值与周边像素点的 像素值进行比较得到局部特征图；然后采用旋转不变性方法求取局部特征图的局部特征模 式图，并用直方图统计方法对局部特征模式图进行统计，得到待评价的失真图像的直方图 统计特征向量；最后根据待评价的失真图像的直方图统计特征向量与训练集中的每幅失真 图像的直方图统计特征向量之间的距离，得到待评价的失真图像的客观质量评价预测值。

本发明的基于相位选择性机制的通用无参考图像质量评价方法，其包括以下步 骤：

①令{I_d(i,j)}表示待评价的失真图像，其中，1≤i≤W,1≤j≤H，W表示{I_d(i,j)} 的宽度，H表示{I_d(i,j)}的高度，I_d(i,j)表示{I_d(i,j)}中坐标位置为(i,j)的像素点的像 素值。

②对{I_d(i,j)}实施Log-Gabor滤波，得到{I_d(i,j)}的多尺度多方向的相位图像， 记为其中，表示中坐标位置为(i,j)的像素点的像素值。

③获取的局部特征图，记为将中坐标位置为(i,j)的 像素点的像素值，即中坐标位置为(i,j)的像素点的局部特征值记为其 中，fun()为将二进制数转换成十进制数的函数，符号“||”表示二进制比特位续联符号， 符号“| |”为取绝对值符号，当1≤i-1≤W且1≤j-1≤H时表示中坐标位置为 (i-1,j-1)的像素点的像素值，当1≤i-1≤W且j-1<1时令当i-1<1 且1≤j-1≤H时令当i-1<1且j-1<1时令当 1≤i-1≤W时表示中坐标位置为(i-1,j)的像素点的像素值，当i-1<1时 令当1≤i-1≤W且1≤j+1≤H时表示中坐标位置 为(i-1,j+1)的像素点的像素值，当1≤i-1≤W且j+1>H时令当i- 1<1且1≤j+1≤H时令当i-1<1且j+1>H时令 当1≤j-1≤H时表示中坐标位置为(i,j-1)的 像素点的像素值，当j-1<1时令当1≤j+1≤H时表示中坐标位置为(i,j+1)的像素点的像素值，当j+1>H时令当1≤i+1≤W 且1≤j-1≤H时表示中坐标位置为(i+1,j-1)的像素点的像素值，当1 ≤i+1≤W且j-1<1时令当i+1>W且1≤j-1≤H时令 当i+1>W且j-1<1时令当1≤i+1≤W时 表示中坐标位置为(i+1,j)的像素点的像素值，当i+1>W时令 当1≤i+1≤W且1≤j+1≤H时表示中坐标位置为(i +1,j+1)的像素点的像素值，当1≤i+1≤W且j+1>H时令当i+1>W 且1≤j+1≤H时令当i+1>W且j+1>H时令上述 对应表示中坐标位置 为(i-1,1)、(1,j-1)、(1,1)、(1,j)、(i-1,H)、(1,j+1)、(1,H)、(i,1)、(i,H)、(i+1,1)、(W,j- 1)、(W,1)、(W,j)、(i+1,H)、(W,j+1)、(W,H)的像素点的像素值，T为设定的阈值，在本实施例 中取T＝45，如假设， 则在具体实施时，实际上也可以不用将二进制值转化成十进 制值，即局部特征值直接用二进制表示。

在此，利用中坐标位置为(i,j)的像素点的像素值与八邻域像素 点的像素值进行比较来获得中坐标位置为(i,j)的像素点的局部特征向量。

④采用现有的旋转不变性操作对进行处理，得到的局部特征模 式图，记为其中，表示中坐标位置为(i,j)的像素点的像素值，也 即是中坐标位置为(i,j)的像素点的局部特征模式值。

⑤采用现有的直方图统计方法对进行统计操作，得到{I_d(i,j)}的直方图 统计特征向量，记为h_d，其中，h_d的维数为1×m'维，h_d中的第m个元素为h_d(m)，1≤m≤m'，m'> 1，在本实施例中取m'＝10。

⑥采用n”幅宽度为W且高度为H的原始的无失真图像，建立其在不同失真类型不同 失真程度下的失真图像集合，将该失真图像集合作为训练集，训练集包括多幅失真图像；然 后利用现有的主观质量评价方法评价出训练集中的每幅失真图像的平均主观评分值，将训 练集中的第j幅失真图像的平均主观评分值记为DMOS_j；再按照步骤①至步骤⑤的操作，以 相同的方式获取训练集中的每幅失真图像的直方图统计特征向量，将训练集中的第j幅失 真图像的直方图统计特征向量记为h_d,j；其中，n”>1，在本实施例中取n”＝20，1≤j≤N'，N' 表示训练集中包含的失真图像的总幅数，0≤DMOS_j≤100，h_d,j的维数为1×m'维，h_d,j中的第 m个元素为h_d,j(m)。

⑦计算h_d与训练集中的每幅失真图像的直方图统计特征向量之间的距离，将h_d与 h_d,j之间的距离记为D_dis,j，D_dis,j＝|h_d-h_d,j|；然后将得到的N'个距离构成的集合记为{D_dis,j|1≤j≤N'}；接着对{D_dis,j|1≤j≤N'}中的所有距离按从小到大的顺序排列，将排列后的集 合记为{D'_dis,j|1≤j≤N'}；之后获取{D'_dis,j|1≤j≤N'}中的前K'个距离各自对应的训练 集中的失真图像的平均主观评分值，并将这K'个平均主观评分值构成的集合记为{DMOS'₁, DMOS'₂,…,DMOS'_K'}；其中，符号“||”为取绝对值符号，1≤K'≤N'，在本实施例中取K'＝10， DMOS'₁,DMOS'₂,…,DMOS'_K'对应表示{D'_dis,j|1≤j≤N'}中的第1个距离对应的训练集中的 失真图像的平均主观评分值、第2个距离对应的训练集中的失真图像的平均主观评分 值、…、第K'个距离对应的训练集中的失真图像的平均主观评分值。

⑧计算{I_d(i,j)}的客观质量评价预测值，记为Q_dis，其 中，D'_dis,k'表示{D'_dis,j|1≤j≤N'}中的第k'个距离，DMOS'_k'表示D'_dis,k'对应的训练集中的 失真图像的平均主观评分值。

为进一步验证本发明方法的可行性和有效性，进行实验。

在此，采用LIVE图像库来分析利用本发明方法得到的失真图像的客观质量评价预 测值与平均主观评分值之间的相关性。这里，利用评估图像质量评价方法的3个常用客观参 量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearsonlinearcorrelation coefficient，PLCC)、Spearman相关系数(Spearmanrankordercorrelation coefficient，SROCC)、均方误差(rootmeansquarederror，RMSE)，PLCC和RMSE反映失真 图像的客观评价结果的准确性，SROCC反映其单调性。

利用本发明方法计算LIVE图像库中的每幅失真图像的客观质量评价预测值，再利 用现有的主观质量评价方法获得LIVE图像库中的每幅失真图像的平均主观评分值。将按本 发明方法计算得到的失真图像的客观质量评价预测值做五参数Logistic函数非线性拟合， PLCC和SROCC值越高，RMSE值越低说明客观评价方法的客观评价结果与平均主观评分值之 间的相关性越好。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1所 列。从表1所列的数据可知，按本发明方法得到的失真图像的客观质量评价预测值与平均主 观评分值之间的相关性是很好的，表明客观评价结果与人眼主观感知的结果较为一致，足 以说明本发明方法的可行性和有效性。

表1利用本发明方法得到的失真图像的客观质量评价预测值与平均主观评分值之 间的相关性