一种基于流形特征相似度的图像质量客观评价方法

摘要

本发明公开了一种基于流形特征相似度的图像质量客观评价方法，其首先采用了视觉显著和视觉阈值两个策略来去除对于视觉感知不重要的图像块即图像块粗选和细选过程，在完成选块之后利用最佳映射矩阵提取从原始的无失真自然场景图像和待评价的失真图像中选取出的图像块的流形特征向量，然后通过流形特征相似度来衡量失真图像的结构失真；之后考虑了图像亮度变化对人眼的影响，基于图像块的均值求取失真图像的亮度失真；最后根据结构失真和亮度失真获得质量分数，这使得本方法具有更高的评价准确性，也扩大了其对各类失真的评价能力，并且评价性能不受图像内容和失真类型的影响，与人眼的主观感知质量具有较高的一致性。

说明书

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于流形特征相似度的图像 质量客观评价方法。

背景技术

图像质量的定量评价是图像处理领域中充满挑战性的问题。由于人是观看图像时 的最终接收者，因此图像质量评价方法应当和人一样可以有效地预测感知视觉质量。传统 的峰值信噪比(PeakSignal-to-NoiseRatio，PSNR)等基于保真度的图像质量评价方法虽 能较好地评价具有相同内容和失真的图像质量，但面对多幅图像和多种失真时，其评价结 果与主观感知却相差甚远。感知质量评价方法的目的是通过模拟人眼视觉系统的整体感知 机制来获取与视觉感知质量具有较高一致性的评价结果。通过对人眼视觉系统的生理响应 进行建模获取客观评价方法，可以得到与主观评价有较高一致性的评价结果。近年来，图像 质量评价的研究不断深入，人们提出了很多的评价方法。Wang等提出的结构相似度 (StructuralSimilarity，SSIM)算法与PSNR等方法相比不仅简单且性能改进明显，引起了 学者们的关注；在其后续工作中，Wang等又提出了多尺度的SSIM(Multi-ScaleStructural Similarity，MS-SSIM)，改进了SSIM的性能。也有学者认为人眼在对局部图像评分时相位一 致性和梯度幅值起着相辅相成的作用，提出特征结构相似度(FeatureSimilarity，FSIM)。 除了基于结构的图像质量评价方法外，另一些评价方法是从人眼视觉系统的其他特性出发 设计的。Chandler等提出视觉信噪比(VisualSignal-to-NoiseRatio，VSNR)，该准则先通 过视觉阈值确定失真是否可察觉，再对超过视觉阈值的区域进行失真度量。Larson等认为 人类视觉系统(HumanVisualSystem，HVS)在评测高质量图像和低质量图像时采用了不同 策略，提出最明显失真(MostApparentDistortion，MAD)的质量评价算法。Sheikh等将全 参考图像质量评价问题看作信息保真度问题，在信息保真度(InformationFidelity Criterion，IFC)的基础上进行拓展得到视觉信息保真度(VisualInformationFidelity， VIF)评价算法。Zhang等发现质量下降会造成图像显著图的变化且与感知质量失真程度密 切，从而提出基于视觉显著性的图像质量评价方法。

优异的图像质量评价方法应能很好地反映人眼视觉感知特性。上述基于结构的图 像质量评价方法都是从图像的边缘、对比度等结构信息出发获取图像质量的，而从人眼视 觉系统特性设计的图像质量评价方法主要是从人眼关注及察觉失真的能力角度出发进行 图像质量评价的，它们均为从图像的非线性几何结构以及人眼的感知角度进行质量评价 的；但有研究表明针对视觉感知现象，流形是感知的基础，大脑中以流形方式对事物进行感 知，而自然场景图像通常包含流形结构，有着流形非线性的本质。因此，传统的图像质量评 价方法无法得到与主观感知质量一致性较高的客观评价结果。

发明内容

本发明所要解决的技术问题是提供一种基于流形特征相似度的图像质量客观评 价方法，其能够获得与主观感知质量一致性较高的客观评价结果。

本发明解决上述技术问题所采用的技术方案为：一种基于流形特征相似度的图像 质量客观评价方法，其特征在于包括以下步骤：

①选取多幅无失真的自然场景图像；然后将每幅无失真的自然场景图像划分成互 不重叠的尺寸大小为8×8的图像块；接着从所有无失真的自然场景图像中的所有图像块中 随机选取N个图像块，将选取的每个图像块作为一个训练样本，将第i个训练样本记为x_i，其 中，5000≤N≤20000，1≤i≤N；再将每个训练样本中的所有像素点的R、G、B通道的颜色值排 列构成一个颜色向量，将x_i中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量记 为x_i^col，其中，x_i^col的维数为192×1，x_i^col中的第1个元素至第64个元素的值一一对应为以逐 行扫描方式扫描x_i、x_i中的每个像素点的R通道的颜色值，x_i^col中的第65个元素至第128个元 素的值一一对应为以逐行扫描方式扫描x_i、x_i中的每个像素点的G通道的颜色值，x_i^col中的 第129个元素至第192个元素的值一一对应为以逐行扫描方式扫描x_i、x_i中的每个像素点的B 通道的颜色值，之后将每个训练样本对应的颜色向量中的每个元素的值减去对应颜色向量 中的所有元素的值的平均值，实现对每个训练样本对应的颜色向量的中心化处理，将x_i^col经中心化处理后得到的颜色向量记为最后将所有中心化处理后得到的颜色向量组成 的矩阵记为X，其中，X的维数为192×N，对应表示 第1个训练样本中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理 后得到的颜色向量、第2个训练样本中的所有像素点的R、G、B通道的颜色值排列构成的颜色 向量经中心化处理后得到的颜色向量、…、第N个训练样本中的所有像素点的R、G、B通道的 颜色值排列构成的颜色向量经中心化处理后得到的颜色向量，符号“[]”为向量表示符号；

②利用主成分分析对X进行降维以及白化操作，将降维以及白化操作后得到的矩 阵记为X^W，其中，X^W的维数为M×N，M为设定的低维维数，1<M<192；

③利用正交局部保持投影算法对X^W中的N个列向量进行训练，获得X^W的8个正交基 的最佳映射矩阵J^W，其中，J^W的维数为8×M；然后根据J^W和白化矩阵计算原始样本空间的最 佳映射矩阵，记为J，J＝J^W×W，其中，J的维数为8×192，W表示白化矩阵，W的维数为M×192；

④令I_org表示原始的无失真自然场景图像，令I_dis表示I_org经失真后的失真图像，将 I_dis作为待评价的失真图像；然后将I_org和I_dis分别划分成互不重叠的尺寸大小为8×8的图 像块，将I_org中的第j个图像块记为将I_dis中的第j个图像块记为其中，1≤j≤N'，N' 表示I_org中的图像块的总个数，N'亦表示I_dis中的图像块的总个数；再将I_org中的每个图像块 中的所有像素点的R、G、B通道的颜色值排列构成一个颜色向量，将中的所有像素点的R、 G、B通道的颜色值排列构成的颜色向量记为并将I_dis中的每个图像块中的所有像素 点的R、G、B通道的颜色值排列构成一个颜色向量，将中的所有像素点的R、G、B通道的颜 色值排列构成的颜色向量记为其中，和的维数均为192×1，中的第 1个元素至第64个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的R 通道的颜色值，中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描 中的每个像素点的G通道的颜色值，中的第129个元素至第192个元素的值一 一对应为以逐行扫描方式扫描中的每个像素点的B通道的颜色值，中的第1个 元素至第64个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的R通道 的颜色值，中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的G通道的颜色值，中的第129个元素至第192个元素的值一一对 应为以逐行扫描方式扫描中的每个像素点的B通道的颜色值；之后将I_org中的每个 图像块对应的颜色向量中的每个元素的值减去对应颜色向量中的所有元素的值的平均值， 实现对I_org中的每个图像块对应的颜色向量的中心化处理，将经中心化处理后得到的 颜色向量记为并将I_dis中的每个图像块对应的颜色向量中的每个元素的值减去对应 颜色向量中的所有元素的值的平均值，实现对I_dis中的每个图像块对应的颜色向量的中心 化处理，将经中心化处理后得到的颜色向量记为最后将I_org对应的所有中心化 处理后得到的颜色向量组成的矩阵记为X^ref，将I_dis对应的 所有中心化处理后得到的颜色向量组成的矩阵记为X^dis，其 中，X^ref和X^dis的维数均为192×N'，对应表示I_org中的第1个图像块中 的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向 量、I_org中的第2个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中 心化处理后得到的颜色向量、…、I_org中的第N'个图像块中的所有像素点的R、G、B通道的颜 色值排列构成的颜色向量经中心化处理后得到的颜色向量，对应表示 I_dis中的第1个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化 处理后得到的颜色向量、I_dis中的第2个图像块中的所有像素点的R、G、B通道的颜色值排列 构成的颜色向量经中心化处理后得到的颜色向量、…、I_dis中的第N'个图像块中的所有像素 点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量，符号“[]” 为向量表示符号；

⑤计算X^ref中的每个列向量与X^dis中对应列向量之间的结构差异，将与之间的结构差异记为

然后将得到的N'个结构差异按序排列构成一个维数为1×N'维的向量，记为ν，其 中，ν中的第j个元素的值为ν_j，

接着获取粗选无失真图像块集合和粗选失真图像块集合，具体过程为：a1、设计一 个图像块粗选阈值TH₁；a2、从ν中提取出所有值大于或等于TH₁的元素；a3、将I_org中与提取出 的元素对应的图像块构成的集合作为粗选无失真图像块集合，记为Y^ref， $Y^{ref}=\left\{x_j^{ref}\right|AVE({\hat{x}}_j^{ref,col},{\hat{x}}_j^{dis,col})\ge {\mathrm{TH}}_1,1\le j\le N^{\prime }\};$并将I_dis中与提取出的元素对应的图像块构 成的集合作为粗选失真图像块集合，记为Y^dis，$Y^{dis}=\left\{x_j^{dis}\right|AVE({\hat{x}}_j^{ref,col},{\hat{x}}_j^{dis,col})\ge {\mathrm{TH}}_1,1\le j\le N^{\prime }\};$

再获取细选无失真图像块集合和细选失真图像块集合，具体过程为：b1、利用视觉 显著计算模型计算I_org和I_dis各自的显著图，对应记为f^ref和f^dis；b2、将f^ref和f^dis分别划分为 互不重叠的尺寸大小为8×8的图像块；b3、计算f^ref中的每个图像块中的所有像素点的像素 值的平均值，将f^ref中的第j个图像块中的所有像素点的像素值的平均值记为并计算 f^dis中的每个图像块中的所有像素点的像素值的平均值，将f^dis中的第j个图像块中的所有 像素点的像素值的平均值记为其中，1≤j≤N'；b4、获取f^ref中的每个图像块中的所有 像素点的像素值的平均值与f^dis中对应图像块中的所有像素点的像素值的平均值的最大 值，将与的最大值记为vs_j,max，其中，max()为取最大值函 数；b5、从粗选无失真图像块集合中细选出部分图像块作为细选无失真图像块，将细选出的 所有无失真图像块构成的集合作为细选无失真图像块集合，记为且vs_j,max≥TH₂,1≤j≤N'}；从粗选失真图像块集合中 细选出部分图像块作为细选失真图像块，将细选出的所有失真图像块构成的集合作为细选 失真图像块集合，记为且vs_j,max≥TH₂,1≤j≤ N'}，其中，TH₂为设计的一个图像块细选阈值；

⑥计算细选无失真图像块集合中的每个图像块的流形特征向量，将细选无失真图 像块集合中的第t个图像块的流形特征向量记为并计算细选失真图像块 集合中的每个图像块的流形特征向量，将细选失真图像块集合中的第t个图像块的流形特 征向量记为d_t，其中，1≤t≤K，K表示细选无失真图像块集合中包含的图像块 的总个数，K亦表示细选失真图像块集合中包含的图像块的总个数，r_t和d_t的维数均为8×1， 表示细选无失真图像块集合中的第t个图像块中的所有像素点的R、G、B通道的颜色值 排列构成的颜色向量经中心化处理后得到的颜色向量，表示细选失真图像块集合中 的第t个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理 后得到的颜色向量；

然后将细选无失真图像块集合中的所有图像块的流形特征向量组成一个矩阵，记 为R；将细选失真图像块集合中的所有图像块的流形特征向量组成一个矩阵，记为D；其中，R 和D的维数均为8×K，R中的第t个列向量为r_t，D中的第t个列向量为d_t；

再计算I_org与I_dis的流形特征相似度，记为MFS₁，其中，R_m,t表示R中第m行第t列的值，D_m,t表示D中第m行第t列的值，C₁为一个用于保证结果稳 定性的很小的常量；

⑦计算I_org与I_dis的亮度相似度，记为MFS₂，${\mathrm{MFS}}_2=\frac{\underset{t=1}{\overset{K}{\Sigma }}({\mu }_t^{ref}-{\bar{\mu }}^{ref})\times ({\mu }_t^{dis}-{\bar{\mu }}^{dis})+C_2}{\sqrt{\underset{t=1}{\overset{K}{\Sigma }}{({\mu }_t^{ref}-{\bar{\mu }}^{ref})}^2\times \underset{t=1}{\overset{K}{\Sigma }}({\mu }_t^{dis}-{\bar{\mu }}^{dis})+C_2}},$其中，表示细选无失真图像块集合中的第t个图像块中的所有像素点的亮度值的平均 值，表示细选失真图像块集合中的第t个图像块中的所有像素点的亮度 值的平均值，C₂为一个很小的常量；

⑧对MFS₁和MFS₂进行线性加权得到I_dis的质量分数，记为MFS，MFS＝ω×MFS₂+(1- ω)×MFS₁，其中，ω用于调节MFS₁和MFS₂的相对重要性，0<ω<1。

所述的步骤②中的X^W的获取过程为：

②-1、计算X的协方差矩阵，记为C，其中，C的维数为192×192，X^T为X的转置矩阵；

②-2、对C进行特征值分解，分解为特征值对角矩阵和特征向量矩阵，对应记为Ψ 和E，其中，Ψ的维数为192×192，$\Psi =\left(\begin{array}{cccc}{\psi }_1& 0& \mathrm{...}& 0\\ 0& {\psi }_2& \mathrm{...}& 0\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ 0& 0& \mathrm{...}& {\psi }_{192}\end{array}\right),$ψ₁、ψ₂和ψ₁₉₂对应表示分解得到的 第1个、第2个和第192个特征值，E的维数为192×192，E＝[e₁e₂…e₁₉₂]，e₁、e₂和e₁₉₂对应表 示分解得到的第1个、第2个和第192个特征向量，e₁、e₂和e₁₉₂的维数均为192×1；

②-3、计算白化矩阵，记为W，其中，W的维数为M×192， ${\Psi }_{M\times 192}^{-\frac{1}{2}}=\left(\begin{array}{cccccc}1/\sqrt{{\psi }_1}& 0& \mathrm{...}& 0& \mathrm{...}& 0\\ 0& 1/\sqrt{{\psi }_2}& \mathrm{...}& 0& \mathrm{...}& 0\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ 0& 0& \mathrm{...}& 1/\sqrt{{\psi }_M}& \mathrm{...}& 0\end{array}\right),$ψ_M表示分解得到的第M个特征值，M为设定 的低维维数，1<M<192，E^T为E的转置矩阵；

②-4、计算降维以及白化操作后得到的矩阵X^W，X^W＝W×X。

所述的步骤⑤中$AVE({\hat{x}}_j^{ref,col},{\hat{x}}_j^{dis,col})=|\underset{g=1}{\overset{192}{\Sigma }}{\left({\hat{x}}_j^{ref,col}\right(g\left)\right)}^2-\underset{g=1}{\overset{192}{\Sigma }}{\left({\hat{x}}_j^{dis,col}\right(g\left)\right)}^2|,$其中，符号“||”为取绝对值符号，表示中的第g个元素的值，表示 中的第g个元素的值。

所述的步骤⑤中的a1步骤中TH₁＝median(ν)，其中，median()为中值选取函数， median(ν)表示选取ν中的所有元素的值中的中值。

所述的步骤⑤中的b5步骤中TH₂的值为步骤b4中得到的所有最大值按从大到小的 顺序排序后在前60％位置处的最大值。

与现有技术相比，本发明的优点在于：

1)本发明方法是从人眼以流形方式感知的基础出发使用正交局部保持投影算法 从自然场景图像上获取降维以及白化操作后的矩阵进行训练获得一个通用的最佳映射矩 阵；为了提高评价的准确性和稳定性，本发明方法首先采用了视觉显著和视觉阈值两个策 略来去除对于视觉感知不重要的图像块即图像块粗选和细选过程，在完成选块之后利用最 佳映射矩阵提取从原始的无失真自然场景图像和待评价的失真图像中选取出的图像块的 流形特征向量，然后通过流形特征相似度来衡量失真图像的结构失真；之后考虑了图像亮 度变化对人眼的影响，基于图像块的均值求取失真图像的亮度失真，这使得本发明方法具 有更高的评价准确性，也扩大了其对各类失真的评价能力，能够客观地反映图像受到各种 图像处理和压缩方法影响下视觉质量的变化情况，并且本发明方法的评价性能不受图像内 容和失真类型的影响，与人眼的主观感知质量具有较高的一致性。

2)本发明方法的评价性能受图像库不同的影响微乎其微，选用不同的训练库得到 的性能结果基本相同，因此本发明方法中的最佳映射矩阵是一个通用的流形特征提取器， 一旦通过正交局部保持投影算法训练获取后便可以用于所有图像质量的评价，而不需要每 次评价都进行耗时的训练过程，并且用于训练的图像和测试的图像是相互独立的，因此可 以避免测试结果对训练数据的过度依赖，从而能够有效地提高客观评价结果与主观感知质 量之间的相关性。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

优异的图像质量评价方法应能很好地反映人眼视觉感知特性。针对视觉感知现 象，有研究表明流形是感知的基础，人的感知是在认知流形和拓扑连续性的基础上进行的 即人类感知局限在低维流形之上，大脑以流形方式对事物进行感知；大脑中神经元群体活 动通常可描述为一个神经放电率的集合的结果，所以可表示为一个维数等于神经元数目的 抽象空间中的点。研究发现每个神经元在一个神经元群体中的放电率可用一个少数变量的 平滑函数表示，这说明神经元群体活动是局限在一个低维流形之上。因此，将图像流形特征 应用于视觉质量评价可得到与主观感知质量一致性较高的评价结果。而流形学习则能较好 地帮助找到图像等在低维流形中的内在几何结构，体现事物的非线性流形的本质。

本发明根据人眼以流形方式感知的视觉特性以及流形学习理论，提出了一种基于 流形特征相似度(ManifoldFeatureSimilarity，MFS)的图像质量客观评价方法，其在训 练阶段，MFS利用流形学习正交局部保持投影算法得到最佳映射矩阵用于提取图像的流形 特征；在质量预测阶段，在将原始的无失真自然场景图像与失真图像划分为图像块后，去除 每个图像块的均值使所有图像块对应的颜色向量都具有零均值，在其基础上计算流形特征 相似度；而所有图像块的均值则用于计算亮度相似性，其中，流形特征相似性度表征了两幅 图像的结构差异，而亮度相似性则度量了失真图像的亮度失真，最后均衡两个相似度得到 失真图像的整体视觉质量。

本发明的基于流形特征相似度的图像质量客观评价方法的总体实现框图如图1所 示，其包括以下步骤：

①选取多幅无失真的自然场景图像；然后将每幅无失真的自然场景图像划分成互 不重叠的尺寸大小为8×8的图像块；接着从所有无失真的自然场景图像中的所有图像块中 随机选取N个图像块，将选取的每个图像块作为一个训练样本，将第i个训练样本记为x_i，其 中，5000≤N≤20000，1≤i≤N；再将每个训练样本中的所有像素点的R、G、B通道的颜色值排 列构成一个颜色向量，将x_i中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量记 为x_i^col，其中，x_i^col的维数为192×1，x_i^col中的第1个元素至第64个元素的值一一对应为以逐 行扫描方式扫描x_i、x_i中的每个像素点的R通道的颜色值，即x_i^col中的第1个元素的值为x_i中 第1行第1列的像素点的R通道的颜色值，x_i^col中的第2个元素的值为x_i中第1行第2列的像素 点的R通道的颜色值，依次类推；x_i^col中的第65个元素至第128个元素的值一一对应为以逐 行扫描方式扫描x_i、x_i中的每个像素点的G通道的颜色值，即x_i^col中的第65个元素的值为x_i中第1行第1列的像素点的G通道的颜色值，x_i^col中的第66个元素的值为x_i中第1行第2列的像 素点的G通道的颜色值，依次类推；x_i^col中的第129个元素至第192个元素的值一一对应为以 逐行扫描方式扫描x_i、x_i中的每个像素点的B通道的颜色值，即x_i^col中的第129个元素的值为 x_i中第1行第1列的像素点的B通道的颜色值，x_i^col中的第130个元素的值为x_i中第1行第2列 的像素点的B通道的颜色值，依次类推；之后将每个训练样本对应的颜色向量中的每个元素 的值减去对应颜色向量中的所有元素的值的平均值，实现对每个训练样本对应的颜色向量 的中心化处理，将x_i^col经中心化处理后得到的颜色向量记为中的每个元素的值为 x_i^col中对应位置的元素的值减去x_i^col中的所有元素的值的平均值；最后将所有中心化处理 后得到的颜色向量组成的矩阵记为X，其中，X的维数为192×N， 对应表示第1个训练样本中的所有像素点的R、G、B通道的颜色值排列构成 的颜色向量经中心化处理后得到的颜色向量、第2个训练样本中的所有像素点的R、G、B通道 的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、…、第N个训练样本中的所 有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量，符 号“[]”为向量表示符号。

在此，多幅无失真的自然场景图像的尺寸大小可以全部相同或可以各不相同或可 以部分相同，在具体实施时如选取10幅无失真的自然场景图像；N的取值范围是通过大量实 验确定的，如果N的取值太小(小于5000个)即图像块个数较少时会大幅影响训练精度，如果 N的取值太大(大于20000个)即图像块个数较多时训练精度提升不多但计算复杂度会增加 很多，因此本发明将N的取值范围限制为5000≤N≤20000，具体实施时如取N＝20000；由于 彩色图像有R、G、B三个通道，由此可知每个训练样本对应的颜色向量为长度为8×8×3＝ 192的向量。

②利用现有的主成分分析(PrincipalComponentsAnalysis，PCA)对X进行降维 以及白化操作，将降维以及白化操作后得到的矩阵记为X^W，其中，X^W的维数为M×N，M为设定 的低维维数，1<M<192，在本实施例中取M＝8。

在此具体实施例中，步骤②中的X^W的获取过程为：

②-1、计算X的协方差矩阵，记为C，其中，C的维数为192×192，X^T为X的转置矩阵。

②-2、采用现有技术对C进行特征值分解，分解为特征值对角矩阵和特征向量矩 阵，对应记为Ψ和E，其中，Ψ的维数为192×192，$\Psi =\left(\begin{array}{cccc}{\psi }_1& 0& \mathrm{...}& 0\\ 0& {\psi }_2& \mathrm{...}& 0\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ 0& 0& \mathrm{...}& {\psi }_{192}\end{array}\right),$ψ₁、ψ₂和ψ₁₉₂对应 表示分解得到的第1个、第2个和第192个特征值，E的维数为192×192，E＝[e₁e₂…e₁₉₂]， e₁、e₂和e₁₉₂对应表示分解得到的第1个、第2个和第192个特征向量，e₁、e₂和e₁₉₂的维数均为 192×1。

②-3、计算白化矩阵，记为W，其中，W的维数为M×192， ${\Psi }_{M\times 192}^{-\frac{1}{2}}=\left(\begin{array}{cccccc}1/\sqrt{{\psi }_1}& 0& \mathrm{...}& 0& \mathrm{...}& 0\\ 0& 1/\sqrt{{\psi }_2}& \mathrm{...}& 0& \mathrm{...}& 0\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ 0& 0& \mathrm{...}& 1/\sqrt{{\psi }_M}& \mathrm{...}& 0\end{array}\right),$ψ_M表示分解得到的第M个特征值，Ψ_M×192为 由Ψ中的前M行组成的矩阵，即${\Psi }_{M\times 192}=\left(\begin{array}{cccccc}{\psi }_1& 0& \mathrm{...}& 0& \mathrm{...}& 0\\ 0& {\psi }_2& \mathrm{...}& 0& \mathrm{...}& 0\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ 0& 0& \mathrm{...}& {\psi }_M& \mathrm{...}& 0\end{array}\right),$M为设定的低维维数，1< M<192，在本实施例中取M＝8，在实验中只取了Ψ的前8行即前8个主成分用于训 练，也就是说X经降维以及白化操作后维数从192维降到了M＝8维，E^T为E的转置矩阵。

②-4、计算降维以及白化操作后得到的矩阵X^W，X^W＝W×X。

③利用现有的正交局部保持投影算法(OLPP，orthogonalLocalityPreserving Projection)对X^W中的N个列向量进行训练，获得X^W的8个正交基的最佳映射矩阵J^W，其中，J^W的维数为8×M；在进行学习之后，最佳映射矩阵应该从白化样本空间转化回到原始样本空 间，即然后根据J^W和白化矩阵计算原始样本空间的最佳映射矩阵，记为J，J＝J^W×W，其中，J 的维数为8×192，W表示白化矩阵，W的维数为M×192。本发明方法中将J看作是大脑以流形 方式感知的一个模型，可以用于提取图像块的流形特征。

④令I_org表示原始的无失真自然场景图像，令I_dis表示I_org经失真后的失真图像，将 I_dis作为待评价的失真图像；然后将I_org和I_dis分别划分成互不重叠的尺寸大小为8×8的图 像块，将I_org中的第j个图像块记为将I_dis中的第j个图像块记为其中，1≤j≤N'，N' 表示I_org中的图像块的总个数，N'亦表示I_dis中的图像块的总个数；再将I_org中的每个图像块 中的所有像素点的R、G、B通道的颜色值排列构成一个颜色向量，将中的所有像素点的R、 G、B通道的颜色值排列构成的颜色向量记为并将I_dis中的每个图像块中的所有像素 点的R、G、B通道的颜色值排列构成一个颜色向量，将中的所有像素点的R、G、B通道的颜 色值排列构成的颜色向量记为其中，和的维数均为192×1，中的第1 个元素至第64个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的R通 道的颜色值，中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描 中的每个像素点的G通道的颜色值，中的第129个元素至第192个元素的值一 一对应为以逐行扫描方式扫描中的每个像素点的B通道的颜色值，中的第1个 元素至第64个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的R通道 的颜色值，中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的G通道的颜色值，中的第129个元素至第192个元素的值一一对 应为以逐行扫描方式扫描中的每个像素点的B通道的颜色值；之后将I_org中的每个 图像块对应的颜色向量中的每个元素的值减去对应颜色向量中的所有元素的值的平均值， 实现对I_org中的每个图像块对应的颜色向量的中心化处理，将经中心化处理后得到的 颜色向量记为并将I_dis中的每个图像块对应的颜色向量中的每个元素的值减去对应 颜色向量中的所有元素的值的平均值，实现对I_dis中的每个图像块对应的颜色向量的中心 化处理，将经中心化处理后得到的颜色向量记为最后将I_org对应的所有中心化 处理后得到的颜色向量组成的矩阵记为X^ref，将I_dis对应的 所有中心化处理后得到的颜色向量组成的矩阵记为X^dis，其 中，X^ref和X^dis的维数均为192×N'，对应表示I_org中的第1个图像块中 的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向 量、I_org中的第2个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中 心化处理后得到的颜色向量、…、I_org中的第N'个图像块中的所有像素点的R、G、B通道的颜 色值排列构成的颜色向量经中心化处理后得到的颜色向量，对应表示 I_dis中的第1个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化 处理后得到的颜色向量、I_dis中的第2个图像块中的所有像素点的R、G、B通道的颜色值排列 构成的颜色向量经中心化处理后得到的颜色向量、…、I_dis中的第N'个图像块中的所有像素 点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量，符号“[]” 为向量表示符号。

⑤由于每个图像块对应的颜色向量中的每个元素的值在减平均值后的块包括了 对比度和结构等信息，可将得到的块称作结构块，因此本发明利用绝对方差差值(Absolute VarianceError，AVE)计算X^ref中的每个列向量与X^dis中对应列向量之间的结构差异，将 与之间的结构差异记为$AVE({\hat{x}}_j^{ref,col},{\hat{x}}_j^{dis,col})=|\underset{g=1}{\overset{192}{\Sigma }}{\left({\hat{x}}_j^{ref,col}\right(g\left)\right)}^2-\underset{g=1}{\overset{192}{\Sigma }}{\left({\hat{x}}_j^{dis,col}\right(g\left)\right)}^2|,$其中，符号“||”为取绝对值 符号，表示中的第g个元素的值，表示中的第g个元素的值。

然后将得到的N'个结构差异按序排列构成一个维数为1×N'维的向量，记为ν，其 中，ν中的第j个元素的值为ν_j，

接着获取粗选无失真图像块集合和粗选失真图像块集合，具体过程为：a1、设计一 个图像块粗选阈值TH₁，TH₁＝median(ν)，其中，median()为中值选取函数，median(ν)表示选 取ν中的所有元素的值中的中值；a2、从ν中提取出所有值大于或等于TH₁的元素；a3、将I_org中与提取出的元素对应的图像块构成的集合作为粗选无失真图像块集合，记为Y^ref， $Y^{ref}=\left\{x_j^{ref}\right|AVE({\hat{x}}_j^{ref,col},{\hat{x}}_j^{dis,col})\ge {\mathrm{TH}}_1,1\le j\le N^{\prime }\};$并将I_dis中与提取出的元素对应的图像块构 成的集合作为粗选失真图像块集合，记为Y^dis，$Y^{dis}=\left\{x_j^{dis}\right|AVE({\hat{x}}_j^{ref,col},{\hat{x}}_j^{dis,col})\ge {\mathrm{TH}}_1,1\le j\le N^{\prime }\}.$

由于利用结构差异选块只考虑了结构差异大的区域，这些区域一般对应失真图像 质量较低的区域但并不一定是人眼最关注的区域，因此还需进行细选，即再获取细选无失 真图像块集合和细选失真图像块集合，具体过程为：b1、利用视觉显著计算模型(Saliency DetectionBased-onSimplePriors，SDSP)计算I_org和I_dis各自的显著图，对应记为f^ref和 f^dis；b2、将f^ref和f^dis分别划分为互不重叠的尺寸大小为8×8的图像块；b3、计算f^ref中的每 个图像块中的所有像素点的像素值的平均值，将f^ref中的第j个图像块中的所有像素点的像 素值的平均值记为并计算f^dis中的每个图像块中的所有像素点的像素值的平均值，将 f^dis中的第j个图像块中的所有像素点的像素值的平均值记为其中，1≤j≤N'；b4、获 取f^ref中的每个图像块中的所有像素点的像素值的平均值与f^dis中对应图像块中的所有像 素点的像素值的平均值的最大值，将与的最大值记为vs_j,max， 其中，max()为取最大值函数，每个图像块中的所有像素点的像素 值的平均值能够表征该图像块的视觉重要性，f^ref和f^dis中具有较高平均值的图像块在评价 该图像块所在的显著图相似度时具有较大的影响；b5、从粗选无失真图像块集合中细选出 部分图像块作为细选无失真图像块，将细选出的所有无失真图像块构成的集合作为细选无 失真图像块集合，记为且vs_j,max≥TH₂,1≤j≤ N'}；从粗选失真图像块集合中细选出部分图像块作为细选失真图像块，将细选出的所有失 真图像块构成的集合作为细选失真图像块集合，记为且vs_j,max≥TH₂,1≤j≤N'}，其中，TH₂为设计的一个图像块细选阈值，TH₂的值为步骤b4中得 到的所有最大值按从大到小的顺序排序后在前60％位置处的最大值。

⑥计算细选无失真图像块集合中的每个图像块的流形特征向量，将细选无失真图 像块集合中的第t个图像块的流形特征向量记为并计算细选失真图像块 集合中的每个图像块的流形特征向量，将细选失真图像块集合中的第t个图像块的流形特 征向量记为d_t，其中，1≤t≤K，K表示细选无失真图像块集合中包含的图像块 的总个数，K亦表示细选失真图像块集合中包含的图像块的总个数，r_t和d_t的维数均为8×1， 表示细选无失真图像块集合中的第t个图像块中的所有像素点的R、G、B通道的颜色值 排列构成的颜色向量经中心化处理后得到的颜色向量，表示细选失真图像块集合中 的第t个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理 后得到的颜色向量。

然后将细选无失真图像块集合中的所有图像块的流形特征向量组成一个矩阵，记 为R；将细选失真图像块集合中的所有图像块的流形特征向量组成一个矩阵，记为D；其中，R 和D的维数均为8×K，R中的第t个列向量为r_t，D中的第t个列向量为d_t。

再计算I_org与I_dis的流形特征相似度，记为MFS₁，其中，R_m,t表示R中第m行第t列的值，D_m,t表示D中第m行第t列的值，C₁为一个用于保证结果稳 定性的很小的常量，在本实施例中取C₁＝0.09。

⑦计算I_org与I_dis的亮度相似度，记为MFS₂，${\mathrm{MFS}}_2=\frac{\underset{t=1}{\overset{K}{\Sigma }}({\mu }_t^{ref}-{\bar{\mu }}^{ref})\times ({\mu }_t^{dis}-{\bar{\mu }}^{dis})+C_2}{\sqrt{\underset{t=1}{\overset{K}{\Sigma }}{({\mu }_t^{ref}-{\bar{\mu }}^{ref})}^2\times \underset{t=1}{\overset{K}{\Sigma }}{({\mu }_t^{dis}-{\bar{\mu }}^{dis})}^2+C_2}},$其中，表示细选无失真图像块集合中的第t个图像块中的所有像素点的亮度值的平均 值，表示细选失真图像块集合中的第t个图像块中的所有像素点的亮度 值的平均值，C₂为一个很小的常量，在本实施例中取C₂＝0.001。

⑧对MFS₁和MFS₂进行线性加权得到I_dis的质量分数，记为MFS，MFS＝ω×MFS₂+(1- ω)×MFS₁，其中，ω用于调节MFS₁和MFS₂的相对重要性，0<ω<1，在本实施例中取ω＝0.8。

为进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。

实验一：验证本发明方法的性能指标

为了验证本发明方法(MFS)的有效性，在四个公开的测试图像库上对本发明方法 进行测试，同时对其评价结果进行比较。用于测试的四个测试图像库分别为LIVE测试图像 库、CSIQ测试图像库、TID2008测试图像库和TID2013测试图像库；每个测试图像库中包含上 千幅失真图像，同时拥有多种失真类型；每一幅失真图像都会给定一个主观分数例如平均 主观分(Meanopinionscore，MOS)或平均主观分差值(Differentialmeanopinion score，DMOS)；各个测试图像库的参考图像数目、失真图像数目、失真类型的数量以及主观 实验时参与的人数由表1给出。在实验中，仅对失真图像进行了评价而去除了原始图像。最 终本发明方法的性能验证是在比较主观评分与客观评价结果基础上进行的。

表1应用于图像质量评价方法分析的四个测试图像库

测试图像库 参考图像数目 失真图像数目 失真类型数目 主观测试人数 TID2013 25 3000 25 971 TID2008 25 1700 17 838 CSIQ 30 866 6 35 LIVE 29 779 5 161

采用4个通用评价指标并根据视频质量评价专家组PhaseI/II(VQEG)提供的标准 验证方法来获取图像质量评价方法的评价性能。斯皮尔曼秩相关系数(Spearmanrank- ordercorrelationcoefficient，SROCC)和肯德尔秩次相关系数(Kendallrank-order correlationcoefficient，KROCC)用于评价图像质量评价方法的预测单调性的优劣，这两 个指标仅在排序后的数据上进行而忽略数据点之间的相对距离。为了获取另外两个指标皮 尔森线性相关系数(Pearsonlinearcorrelationcoefficient，PLCC)和均方根误差 (Rootmeansquarederror，RMSE)，需要对客观评价值和主观平均评分(MOS)进行非线性 映射来去除客观分数的非线性的影响。采用5参数非线性映射函数 $Q\left(q\right)={\alpha }_1(\frac{1}{2}-\frac{1}{1+\exp \left({\alpha }_2\right(q-{\alpha }_3\left)\right)})+{\alpha }_{4}q+{\alpha }_5$来进行非线性拟合，其中，q代表原始的客观质 量评价分数，Q代表非线性映射后的分数，5个调节参数α₁、α₂、α₃、α₄、α₅则是由最小化映射后 的客观分数与主观评分之间的方差和确定的，exp()为以自然基数e为底的指数函数。PLCC、 SROCC和KROCC值越高、RMSE值越小说明本发明方法的评价结果与主观平均评分之间的相关 性越好。

本发明方法将与具有代表性的10个图像质量评价方法进行比较，包括：SSIM、MS- SSIM、IFC、VIF、VSNR、MAD、GSM、RFSIM、FSIMc和VSI。

在本实施例中采用TOY图像数据库中的10幅无失真图像，并随机选取20000个图像 块用于训练得到最佳映射矩阵J，随后将其用于后续的图像质量评价。表2给出了每种图像 质量评价方法在四个测试图像库上的4个预测性能指标SROCC、KROCC、PLCC和RMSE，表2中对 所有图像质量评价方法中指标性能最优的两种图像质量评价方法的指标以黑体标出。从表 2所列的数据可知，本发明方法在所有测试图像库上的性能都很好。首先，在CSIQ测试图像 库上，本发明方法的性能最优，优于其他所有图像质量评价方法。其次，比起其他所有的图 像质量评价方法，本发明方法在最大的两个图像库TID2008和TID2013上的性能较大幅度地 优于其他算法，且与VSI算法性能接近。虽然在LIVE测试图像库上本发明方法的性能不是最 佳的，但与最佳的图像质量评价方法的评价性能相差甚微。相比之下，现有的图像质量评价 方法可能在某些测试图像库上效果不错但是在其他测试图像库上的效果差强人意。例如， VIF算法和MAD算法在LIVE测试图像库上具有很好的评价效果，但在TID2008测试图像库和 TID2013测试图像库上的表现却很糟糕。因此，整体上来说，与现有的图像质量评价方法相 比，本发明方法的质量预测结果与主观评价更加接近。

为了更加综合地评判各种图像质量评价方法预测特定失真引起的图像质量降质 的能力，将本发明方法与现有的图像质量评价方法在特定失真下的评价性能进行了测试。 选择SROCC作为性能指标，因为SROCC适用于数据点较少的情况而且不会受到非线性映射的 影响，当然使用其它的性能指标例如KROCC、PLCC和RMSE也可以得到类似的结论。表3给出了 四个测试图像库中52组特定失真子库的评价结果，表3中用黑体标识了每个测试图像库中 每种失真类型下的SROCC值前三的图像质量评价方法。从表3中可以看出，VSI算法共31次位 于前三，而本发明方法共25次位于前三，其次是FSIMc算法和GSM算法。因此，可以得出如下 结论：总的来说，在特定失真类型下，VSI算法的表现最优，而本发明方法紧随其后，其次是 FSIMc算法和GSM算法。最重要的是，VSI算法、MFS算法、FSIMc算法和GSM算法均大大优于其 他方法。另外，在最大的两个测试图像库TID2008和TID2013上，本发明方法对AGN、SCN、MN、 HFN、IN、JP2K、J2TE等失真的评价性能较现有的图像质量评价方法更加优异，而在LIVE和 CSIQ测试图像库上则是AGWN、GB两种失真的评价效果最优。

表211种图像质量评价方法在四个测试图像库上的整体性能比较

表311种图像质量评价方法在特定失真上的SROCC评价值

实验二：验证本发明方法的时间复杂度

表4给出了11种图像质量评价方法处理一对384×512(取自TID2013图像库)的彩 色图像需要的运行时间。实验是在lenovo台式机进行的，其中处理器为Intel(R)core(TM) i5-4590，CPU为3.3GHZ，内存为8G，软件平台为MatlabR2014b。从表4中的数据可知，本发明 方法具有一个折中的时间复杂度。特别地，它比IFC算法、VIF算法、MAD算法、FSIMc算法等运 行速度更快，但却得到了与其接近甚至更好的评价效果。

表411种图像质量评价方法的时间复杂度