使用空间移位增加视觉质量度量的鲁棒性的方法和系统

摘要

视觉质量评价方法和系统基于通过比较失真图像和同一图像的未失真版本的子带近似得到质量度量，提供了计算复杂度和精确度之间的良好折衷。从每个图像的小图像块的离散小波（Haar）变换导出子带近似。由于固有对称性，该小波变换对于特定类型失真有“盲性”。但是该方法的精确性得到加强，并且通过计算失真图像的质量度量以及计算失真图像的移位版本的质量度量并且组合所述结果，克服了所述变换的盲性。

说明书

相关申请

本申请要求2011年5月4日提交的美国临时申请序列号61/482,472 的权益，该临时申请的全部内容通过引用的方式合并于此。

技术领域

本发明涉及图像质量的评价，具体地，涉及用于确定具有增强的感知 性能的图像的改进的质量测量（measure）或度量（metrics）的方法和系 统。

背景技术

图像质量评价在各种图像和视频应用（例如压缩和增强）的开发和确 认中扮演了重要角色。通常基于参考图像的可用性对目标质量模型进行分 类。如果未失真的参考图像可用，则质量度量被认为是全参考（FR）评价 法。若干图像和视频应用需要实时评价质量。因此，与质量评价方法相关 联的计算复杂性变成了要解决的重要问题。要考虑的另一重要因素是质量 评价方法的精确性，该精确性指示所计算的质量分数与人类观点的对应有 多好。

相应地，需要提高复杂性低的质量评价方法的精确度的方法和系统。

发明内容

本发明的一个目的是提供使用空间移位增加视觉质量度量（visual  quality metrics）的鲁棒性（robustness）的方法和系统。

根据本发明的一方面，提供了一种为失真图像Y计算质量测量的方法， 所述测量表征图像Y与未失真参考图像X之间的相似性，所述参考图像X 具有与图像Y相同行数和列数的像素，该方法包括：

（a）通过变换过程分别对所述失真图像Y和未失真参考图像X进行 变换以产生所述失真图像Y的变换和所述未失真参考图像X的变换，所述 变换过程具有在图像的变换中不包含关于待变换图像的所有信息的盲性， 因此导致在所述变换过程期间图像的特定图案不被识别；

（b）分别将参考图像X和失真图像Y中的像素空间移位具有相同预 定量像素的空间移位量，以产生参考图像X的空间移位的版本X2和图像 Y的空间移位的版本Y2，所述空间移位量被选择成使得在应用于所述空间 移位的版本X2和Y2的变换过程期间所述特定图案变得可检测；

（c）分别通过所述变换过程变换所述空间移位的版本Y2和空间移位 的版本X2，以产生所述空间移位的版本Y2的变换和所述空间变换的版本 X2的变换；以及

（d）根据所述失真图像Y的变换、所述未失真参考图像X的变换、 所述空间移位的版本Y2的变换和所述空间变换的版本X2的变换，确定所 述失真图像Y的质量测量。

所述步骤（b）还包括：

将所述参考图像X的像素分成W个像素乘以W个像素的块，W是比 所述像素行数和列数少的数量；以及

将所述失真图像Y的像素分成对应的W个像素乘以W个像素的块。

所述步骤（b）还包括：

水平地空间移位第一预定量；或者

垂直地空间移位第二预定量；或者

分别水平地和垂直地空间移位第一预定量和第二预定量。

方便的是，可以将所述第一预定量和第二预定量选择为相同。

在本发明的一个实施例中，W等于2^N，其中指数N是所述变换过程 的分解级。

例如，所述第一和第二预定量中的每一个可以被选择为1和（W/2-1） 中的较大者。

在本发明的一个实施例中，所述第一和第二预定量是小于W的奇数。

在上述方法中，所述变换过程是如下之一：余弦变换、正弦变换或小 波变换。

在本发明的一个实施例中，所述变换过程是Haar变换。或者，所述 变换过程可以是Daubechies变换。

在上述方法中，所述步骤（d）还包括：

使用失真图像Y的变换和未失真参考图像X的变换计算第一近似图 像质量度量IQMA；

使用所述空间移位版本Y2的变换和所述空间移位版本X2的变换计 算第二近似图像质量度量IQM’A；以及

处理所述第一和第二近似图像质量度量IQMA和IQM’A以产生失 真图像Y的质量测量。

在本发明的一个实施例中，所述第一和第二近似质量度量IQMA和 IQM’A分别是第一和第二近似质量图，并且所述步骤（d）还包括：

分别生成参考图像X的和所述空间移位版本X2的第一和第二对照图；

分别使用所述第一和第二对照图进行所述第一和第二近似质量图的 加权合并（pooling）以产生近似质量分数SA；以及

使用所述近似质量分数SA确定所述质量测量。

所述步骤（d）还包括：

（i）使用失真图像Y的变换和未失真参考图像X的变换计算第一边 缘图像质量度量IQME；

（ii）使用所述空间移位版本Y2的变换和所述空间移位版本X2的 变换计算第二边缘图像质量度量IQM’E；以及

（iii）根据IQMA、IQM′A、IQME和IQM′E确定失真图像Y的 质量测量。

所述步骤（iii）还包括：

处理所述第一和第二近似图像质量度量IQMA和IQM’A以产生近 似质量分数SA；

处理所述第一和第二边缘质量度量IQME和IQM’E以产生边缘质 量分数SE；以及

根据所述近似质量分数SA和所述边缘质量分数SE确定失真图像Y 的质量测量。

在本发明的一个实施例中，将所述质量测量计算为最终分数SF=a* SA+（1-a）*SE，其中SF值在从0到1的范围内变化。

在上述方法中，所述第一和第二近似质量度量IQMA和IQM’A分别 是第一和第二近似质量图，并且所述第一和第二边缘质量度量IQME和 IQM’E分别是第一和第二边缘质量图，并所述步骤（d）还包括：

（d1）分别生成参考图像X的和所述空间移位版本X2的第一和第二 对照图；

（d2）分别使用所述第一和第二对照图进行所述第一和第二近似质量 图的加权合并以产生近似质量分数SA；以及

（d3）分别使用所述第一和第二对照图进行所述第一和第二边缘质量 图的加权合并以产生边缘质量分数SE；以及

（d4）处理所述近似质量分数SA和所述边缘质量分数SE以确定所述 质量测量。

所述生成第一和第二对照图的步骤还包括：根据其对于人类视觉系统 的相应重要性，为参考图像X和空间移位版本X2的第一和第二近似质量 图以及第一和第二边缘图指定值。

所述步骤（d2）还包括如下之一：对所述第一近似质量图和第二近似 质量图进行平均、以及取所述第一近似质量图和第二近似质量图的最小者， 以产生所述近似质量分数SA。

根据本发明的另一方面，提供了一种为失真图像Y计算质量测量的系 统，所述测量表征图像Y与未失真参考图像X之间的相似性，所述参考图 像X具有与图像Y相同的行数和列数的像素，该方法包括：

处理器；

非暂态计算机可读存储介质，该计算机可读存储介质上存储有由所述 处理器执行使得所述处理器执行以下操作的计算机可读指令：

（a）通过变换过程分别对所述失真图像Y和未失真参考图像X进 行变换以产生所述失真图像Y的变换和所述未失真参考图像X的变换，所 述变换过程具有在图像的变换中不包含关于待变换图像的所有信息的盲 性，因此导致在所述变换过程期间图像的特定图案不被识别；

（b）分别将参考图像X和失真图像Y中的像素空间移位具有相同 预定量像素的空间移位量，以产生参考图像X的空间移位的版本X2和图 像Y的空间移位的版本Y2，所述空间移位量被选择成使得在应用于所述 空间移位的版本X2和Y2的变换过程期间所述特定图案变得可检测；

（c）分别通过所述变换过程变换所述空间移位的版本Y2和空间移 位的版本X2，以产生所述空间移位的版本Y2的变换和所述空间移位的版 本X2的变换；以及

（d）根据所述失真图像Y的变换、所述未失真参考图像X的变换、 所述空间移位的版本Y2的变换和所述空间移位的版本X2的变换，确定所 述失真图像Y的质量测量。

在上述系统中，所述计算机可读指令还使得所述处理器：

将所述参考图像X的像素分成W个像素乘以W个像素的块，W是 比所述像素的行数和列数少的数量；以及

将所述失真图像Y的像素分成对应的W个像素乘以W个像素的块。

所述计算机可读指令还使得所述处理器：

水平地空间移位第一预定量；或者

垂直地空间移位第二预定量；或者

分别水平地和垂直地空间移位第一预定量和第二预定量。

在上述系统中，所述第一预定量和所述第二预定量是相同的。

例如，W可以等于2^N，其中指数N是所述变换过程的分解级；并且 所述第一和第二预定量中的每一个可以被选择为1和（W/2-1）中的较大 者。或者，所述第一和第二预定量可以被选择为小于W的奇数。

在上述系统中，所述变换过程是如下之一：余弦变换、正弦变换或小 波变换。

在本发明的实施例中，所述变换过程是Haar变换。或者，所述变换 过程可以是Daubechies变换。

在上述系统中，所述计算机可读指令还使得所述处理器：

使用失真图像Y的变换和未失真参考图像X的变换计算第一近似图 像质量度量IQMA；

使用所述空间移位版本Y2的变换和所述空间移位版本X2的变换计 算第二近似图像质量度量IQM’A；以及

处理所述第一和第二近似图像质量度量IQMA和IQM’A以产生失 真图像Y的质量测量。

所述第一和第二近似质量度量IQMA和IQM’A分别是第一和第二近 似质量图，并且所述计算机可读指令还使得所述处理器：

分别生成参考图像X的和所述空间移位版本X2的第一和第二对照图；

分别使用所述第一和第二对照图进行所述第一和第二近似质量图的 加权合并以产生近似质量分数SA；以及

使用所述近似质量分数SA确定所述质量测量。

在上述系统中，所述计算机可读指令还使得所述处理器：

（i）使用失真图像Y的变换和未失真参考图像X的变换计算第一边 缘图像质量度量IQME；

（ii）使用所述空间移位版本Y2的变换和所述空间移位版本X2的 变换计算第二边缘图像质量度量IQM’E；以及

（iii）根据IQMA、IQM′A、IQME和IQM′E确定失真图像Y的 质量测量。

所述计算机可读指令还使得所述处理器：

处理所述第一和第二近似图像质量度量IQMA和IQM’A以产生近 似质量分数SA；

处理所述第一和第二边缘质量度量IQME和IQM’E以产生边缘质 量分数SE；以及

根据所述近似质量分数SA和所述边缘质量分数SE确定失真图像Y 的质量测量。

在上述系统中，将所述质量测量计算为最终分数SF=a*SA+（1-a） *SE，其中SF值在从0到1的范围内变化。

在本发明的实施例中，所述第一和第二近似质量度量IQMA和IQM’A 分别是第一和第二近似质量图，并且所述第一和第二边缘质量度量IQME 和IQM’E分别是第一和第二边缘质量图，并且所述计算机可读指令还使 得所述处理器：

分别生成参考图像X的和所述空间移位版本X2的第一和第二对照 图；

分别使用所述第一和第二对照图进行所述第一和第二近似质量图的 加权合并以产生近似质量分数SA；

分别使用所述第一和第二对照图进行所述第一和第二边缘质量图的 加权合并以产生边缘质量分数SE；以及

处理所述近似质量分数SA和所述边缘质量分数SE以确定所述质量 测量。

所述计算机可读指令还使得所述处理器：根据其对于人类视觉系统的 相应重要性，为参考图像X和空间移位版本X2的第一和第二近似质量图 以及第一和第二边缘图指定值。

所述计算机可读指令还使得所述处理器进行如下操作之一：对所述第 一近似质量图和第二近似质量图进行平均和取所述第一近似质量图和第二 近似质量图的最小者，以产生所述近似质量分数SA。

根据本发明的另一方面，提供了一种为失真图像Y计算质量测量的系 统，所述测量表征图像Y与未失真参考图像X之间的相似性，该系统包括：

处理器；

存储器，该存储器上存储有由所述处理器执行使得所述处理器处理失 真图像Y和未失真参考图像X的计算机可读指令，包括：

变换模块，其通过变换过程分别对所述失真图像Y和未失真参考图 像X进行变换以产生所述失真图像Y的变换和所述未失真参考图像X的 变换，所述变换过程具有在图像的变换中不包含关于待变换图像的所有信 息的盲性，因此导致在所述变换过程期间图像的特定图案不被识别；

空间移位模块，其用于分别产生所述失真图像Y的空间移位版本 Y2和所述参考图像X的空间移位版本X2；

所述变换模块还配置成分别通过所述变换过程变换所述空间移位的 版本Y2和空间移位的版本X2，以产生所述空间移位的版本Y2的变换和 所述空间变换的版本X2的变换；

图像质量度量（IQM）计算子系统，其用于根据所述失真图像Y的 变换、所述未失真参考图像X的变换、所述空间移位的版本Y2的变换和 所述空间变换的版本X2的变换，确定所述失真图像Y的质量测量。

所述系统还包括近似质量图/分数计算模块，该模块用于：

使用失真图像Y的变换和未失真参考图像X的变换计算第一近似图 像质量度量IQMA；以及

使用所述空间移位版本Y2的变换和所述空间移位版本X2的变换计 算第二近似图像质量度量IQM’A。

所述系统还包括最终分数计算模块，用于组合所述第一和第二近似图 像质量度量IQMA和IQM’A以产生失真图像Y的质量测量。

所述系统还包括边缘质量图/分数计算模块，该模块用于：

使用失真图像Y的变换和未失真参考图像X的变换计算第一边缘图 像质量度量IQME；以及

使用所述空间移位版本Y2的变换和所述空间移位版本X2的变换计 算第二边缘图像质量度量IQM’E。

所述最终分数计算模块还配置成根据IQMA、IQMA′A、IQME和 IQM′E确定失真图像Y的质量测量。

该系统还包括：

近似质量图共同合并模块，用于组合所述第一和第二近似图像质量 度量IQMA和IQM’A以产生近似质量分数SA；

边缘图共同合并模块，用于组合所述第一和第二边缘质量度量 IQME和IQM’E以产生边缘质量分数SE；以及

所述最终分数计算模块还配置成根据所述近似质量分数SA和所述 边缘质量分数SE确定失真图像Y的质量测量。

在上述系统中，将所述近似质量分数SA和边缘质量分数SE的函数计 算为最终分数SF=a*SA+（1-a）*SE，其中SF值在从0到1的范围内 变化。

在本发明的实施例中，所述第一和第二近似质量度量IQMA和IQM’A 分别是第一和第二近似质量图，并且所述系统还包括：

对照图生产模块，用于分别生成参考图像X的和所述空间移位版本 X2的第一和第二对照图；以及

所述近似质量图共同合并模块还配置成分别使用所述第一和第二对 照图进行所述第一和第二近似质量图的加权合并以产生近似质量分数SA；

在上述系统中，所述第一和第二近似质量度量IQMA和IQM’A分别 是第一和第二近似质量图，所述第一和第二边缘质量度量IQME和IQM’E 分别是第一和第二边缘质量图，所述系统还包括：

对照图生产模块，用于分别生成参考图像X的和所述空间移位版本 X2的第一和第二对照图；以及

所述近似质量图共同合并模块还配置成分别使用所述第一和第二对 照图进行所述第一和第二近似质量图的加权合并以产生近似质量分数SA； 以及分别使用所述第一和第二对照图进行所述第一和第二边缘质量图的加 权合并以产生边缘质量分数SE。

所述对照图产生模块还配置成生成第一和第二对照图，包括根据其对 于人类视觉系统的相应重要性，为参考图像X和空间移位版本X2的第一 和第二近似质量图以及第一和第二边缘图指定对应值。

所述最终分数计算模块还配置成执行如下操作之一：

对所述近似质量分数SA和所述边缘质量分数SE进行平均；以及

取所述近似质量分数SA和所述边缘质量分数SE的最小者以确定所 述质量测量。

所述变换模块还配置成：

将所述参考图像X的像素分成W个像素乘以W个像素的块，W是 比所述像素行数和列数少的数量；以及

将所述失真图像Y的像素分成对应的W个像素乘以W个像素的块。

所述空间移位模块还配置成：

水平地空间移位第一预定量；或者

垂直地空间移位第二预定量；或者

分别水平地和垂直地空间移位第一预定量和第二预定量。

因此，已经提供了用于使用空间移位增加视觉质量度量的鲁棒性的改 进的方法和系统。

附图说明

现在将参考附图通过例子描述本发明的实施例，在附图中：

图1示出了用于确定质量测量的离散小波域图像质量评价框架10的框 图；

图1A示出了用于确定所述质量测量的对应方法140的流程图；

图2示出了描绘用于图1的参考图像X的二级分解的（N=2）的小波 子带的示例性图示200；

图3A示出了典型的原始图像；

图3B示出了通过用于图3A的原始图像的等式（9）获得的调整大小 的对比图；

图4示出了用于产生和显示在H.264压缩中使用的4x4DCT基的 Matlab代码片段900；

图5示出了数阵列1000，该数阵列示出了在任意比例尺下计算的图4 的4x4DCT基的结果。

图6示出了第一质量度量计算系统1100，其包括质量评价模块1102 的两个例子（1102.1和1102.2）、空间移位模块1104和最终分数计算模块 1106。

图7示出了第二质量度量计算系统1200，其包括质量评价模块1102 的两个例子（1102.1和1102.2）、空间移位模块1104的两个例子（1140.1 和1104.2）和最终分数计算模块1106。

图8示出了第三质量度量计算系统1300，其包括质量评价模块1102 和空间移位模块1104。

图9示出了离散小波域图像质量评价系统1400的一个实施例的框图；

图10示出了计算作为失真图像质量测量的组合分数的方法1500的流 程图，该计算通过与图9的系统框图相关联的顺序图中的与对应原始图像 的比较结合失真图像的空间移位版本与对应原始图像的等同空间移位版本 的比较来进行；

图10A示出了图10的五步组1502的扩展；

图10B示出了图10的五步组1508的扩展；

图11（a）示出了标准图像“Image House”作为原始参考图像；

图11（b）示出了从图11（a）的参考图像生成的第一失真图像，其中 4x4DCT变换图像的第2行和第2列设为零；

图11（c）示出了从图11（a）的参考图像生成的第二失真图像，其中 4x4DCT变换图像的第3行和第3列设为零；

图11（d）示出了从图11（a）的参考图像生成的第三失真图像，其中 4x4DCT变换图像的第4行和第4列设为零；以及

图12示出了根据本发明实施例的离散小波域图像质量评价系统1400 的示例性硬件视图1700，其包括处理器1702和计算机存储器1704。

具体实施方式

本发明的实施例提供了一种质量评价方法，该方法的目的是在良好精 确性和低复杂程度之间实现良好折衷。

术语表

近似-图（或近似质量图）：表征图像的主要内容并且被确定为在一级 （或更高级）离散小波分解之后获得的图像的近似子带。

近似子带：包含图像的主要内容——即，低频内容——的子带。

近似质量分数：图像X的近似子带与图像Y的近似子带的相似性的 测量。

近似质量测量：提供当使用基于图（map）的度量来进行质量评价（例 如，VIF）时的近似质量分数、或者当使用非基于图的度量来进行质量评 价（例如，SSIM_W&B）时的近似质量图（也称为近似图）的图像质量的测 量。

对照图：用于基于图像的不同区域中的像素的视觉重要性为所述像素 自动指定权重的加权函数。

相关系数：基于皮尔森积矩相关系数（Pearson product-moment  correlation coefficient）在两个图块之间计算的统计测量。

DC：（直流）表示变换的零频率成分，即，平均值。

细节子带：包含图像的精细边缘的子带。

对角细节子带：包含图像的精细对角边缘的子带。

离散小波变换（DWT）：应用于图像以将其低频成分与其高频成分分 离的变换。

离散余弦变换（DCT）：用于图像的多分辨率分解的离散余弦变换。

边缘图（或边缘质量图）：表征图像的精细边缘并且被确定为在一级 （或更高级）离散小波分解后获得的图像的水平、垂直和对角细节子带的 均方根。

边缘质量分数：两个图像的细节子带之间的相似性的测量。

边缘质量测量：图像质量测量，其当使用基于图（map）的度量来进 行质量评价（例如，VIF）时提供边缘质量分数、或者当使用非基于图的 度量来进行质量评价（例如，SSIM_W&B）时提供边缘质量图（也称为边缘 图）。

高斯滑动窗口：具有单位和以及高斯概率分布的一组N个系数。

水平子带：包含图像的精细水平边缘的子带。

多分辨率分解：应用于数字图像以产生子带的变换，所述子带之一包 含原始图像的低频主要内容并且其它子带包含原始图像的精细边缘。

S_A和S_E:分别是近似质量分数和边缘质量分数。

S_f:最终分数。

结构相似性（SSIM）：图像质量的精确测量，其捕获两个图像之间 的相似性并且能够以与诸如VIF的其它图像质量度量相比高但是仍可接受 的计算复杂性来计算。

SSIM_W&B:Z.Wang和A.C.Bovik提出的质量评价SSIM方法。

质量分数：用于计算最终分数的中间相似性值。存在两种质量分数： 近似质量分数和边缘质量分数。

质量图：中间相似性值，其用于计算基于图的视觉质量评价方法（例 如，当SSIM_W&B用于质量评价时）中的质量测量。存在两种质量图：近似 质量图（或者近似-图）和边缘质量图（或边缘-图）。

视觉信息保真度（VIF）：H.R.Sheikh和A.C.Bovik提出的图像质 量评价方法。

垂直子带：包含图像的精细垂直边缘的子带。

峰值信噪比（PSNR）是最古老并且最广泛使用的FR图像质量评价测 量之一，因为其简单、具有清楚的物理意义、无需参数并且在优化情境中 表现优异。然而，常规的PSNR不能充分反映人对图像保真度的感知，即， 大的PSNR增益可能仅对应于视觉质量的小改善。这致使研究者开发若干 其它质量测量。表I和II示出了PSNR与其它质量度量的精确性对比，见 H.R.Sheikh、Z.Wang、L.Cormack和A.C.Bovik的“LIVE Image  Quality Assessment Database Release2”，可从 http://live.ece.utexas.edu/research/quality获得。该发表LIVE Image  Quality Assessment Database包含使用五种类型的失真从29个原始彩色图 像得到的779个失真图像：JPEG压缩、JPEG2000压缩、高斯白噪声 （GWN）、高斯模糊（GBlur）和瑞利快速衰落（Rayleigh,fast fading， FF）信道模型。在所有实验中使用数据库的重新对准主观质量数据，见 H.R.Sheikh、Z.Wang、L.Cormack和A.C.Bovik的“LIVE Image  Quality Assessment Database Release2”。表I中使用的度量是主观得分差 值（Difference Mean Opinion Score，DMOS）与非线性回归之后的客观模 型输出之间的皮尔森相关系数（LCC）。该相关系数给出了预测精确性的 评估。我们使用在H.R.Sheikh、M.F.Sabir和A.C.Bovik的“A statistical  evaluation of recent full reference image quality assessment algorithms” （IEEE Trans.Image Process.,vol.15,no.11,pp.3440-3451,Nov.2006）中 定义的五参数逻辑函数（logistical function）来用于非线性回归。表II中 使用的度量是Spearman分级相关系数（SRCC），其提供预测单调性的 度量。

可以看出PSNR（在表中表示为PSNR_spatial）与其它视觉质量度量（例 如结构相似性（SSIM）空间和自动比例以及视觉信息保真度（VIF））相 比具有低得多的相关系数（LCC）和Spearman等级次序（SRCC）。不 幸的是，这些更精确的度量是在花费很高的计算复杂度上获得的。

表I

有效图像数据库的非线性回归之后的LCC值

模型 JPEG JPEG2000 GWN GBlur FF 所有数据

SSIM_spatial0.9504 0.9413 0.9747 0.8743 0.9449 0.9038 SSIM_autoscale0.9778 0.9669 0.9808 0.9483 0.9545 0.9446 平均SSIM_A0.9762 0.9699 0.9645 0.9548 0.9625 0.9412 S_A0.9782 0.9705 0.9724 0.9724 0.9730 0.9534 SSIM_DWT0.9835 0.9747 0.9791 0.9690 0.9735 0.9556 PSNR_spatial0.8879 0.8996 0.9852 0.7835 0.8895 0.8701 wSNR 0.9692 0.9351 0.9776 0.9343 0.8983 0.9211 PSNR_A0.9793 0.9542 0.9806 0.9241 0.8868 0.9288

PSNR_DWT0.9787 0.9549 0.9838 0.9234 0.8994 0.9300 AD_A0.9817 0.9587 0.9637 0.9307 0.9005 0.9350 AD_DWT0.9807 0.9579 0.9678 0.9258 0.9064 0.9344 VIF 0.9864 0.9773 0.9901 0.9742 0.9677 0.9593 DWT-VIF_A0.9856 0.9735 0.9904 0.9615 0.9611 0.9639 DWT-VIF 0.9852 0.9740 0.9906 0.9652 0.9650 0.9654

表II

有效图像数据库的非线性回归之后的SRCC值

模型 JPEG JPEG2000 GWN GBlur FF 所有数据

SSIM_spatial0.9449 0.9355 0.9629 0.8944 0.9413 0.9104 SSIM_autoscale0.9764 0.9614 0.9694 0.9517 0.9556 0.9479 平均SSIM_A0.9738 0.9634 0.9490 0.9620 0.9622 0.9441 S_A0.9779 0.9634 0.9577 0.9703 0.9699 0.9573 SSIM_DWT0.9819 0.9678 0.9683 0.9707 0.9708 0.9603 PSNR_spatial0.8809 0.8954 0.9854 0.7823 0.8907 0.8756 wSNR 0.9610 0.9292 0.9749 0.9330 0.8990 0.9240 PSNR_A0.9647 0.9499 0.9777 0.9219 0.8853 0.9307 PSNR_DWT0.9648 0.9494 0.9818 0.9230 0.9004 0.9325 AD_A0.9666 0.9553 0.9805 0.9335 0.9067 0.9421 AD_DWT0.9661 0.9546 0.9835 0.9290 0.9131 0.9412 VIF 0.9845 0.9696 0.9858 0.9726 0.9649 0.9635 DWT-VIF_A0.9837 0.9669 0.9848 0.9618 0.9597 0.9663 DWT-VIF 0.9829 0.9680 0.9853 0.9657 0.9641 0.9681

在相同发明人的2010年10月17日提交的先前专利申请序列号 12/906,111和12/906,112中，公开了使用Haar变换的框架，该框架提供了 计算复杂性和精确性之间的良好折衷。例如，PSNR_A、S_A、DWT_VIF_A是 使用该框架开发的这种度量的例子。如表I和II中所示，PSNR_A具有比 PSNR高得多的精确性。此外，PSNR_A具有与PSNR相当的计算复杂度。 上述度量中的下标“A”表示仅使用近似子带来评价质量。为了减少计算， 已经使用2x2Haar变换作为变换过程。在2x2Haar变换的情况下，通过 计算每个WxW块（其中块尺寸为W=2^N，N为分解级）中的像素强 度的平均值获得近似子带。然后在计算质量分数时使用从参考图像和失真 图像中的每个WxW块的平均值改进的度量。因此计算质量是基于块的过 程。分解级N的典型选择是：对于256x256图像，N=1；对于512x512图 像，N=2。

然而，由于如下事实可以观察到该平均过程在这些度量中产生“盲性”： 图像中的不影响每个WxW块上的平均的任何失真（无论其有多坏）仍是 隐藏的。结果，失真变得不可检测。换而言之，当考虑近似带时，如果对 于每个WxW块原始图像和失真图像具有相同的像素强度平均值，则将检 测不出任何失真，尽管可能存在严重的图像退化。注意在本文件中，我们 使用2x2Haar变换，但是可以使用其它尺寸的Haar变换（例如，3x3、 4x4等），也产生“盲性”问题。当上下文是清楚的时，我们将使用Haar 变换来指2x2Haar变换。数字信号处理领域的技术人员将知晓如何调整此 处呈现的发明以适应其它Haar变换尺寸。

然而，正如在诸如用于产生表I和II的LIVE图像数据库的视频数据 库和大图像上测试的那样，对于诸如在JPEG和JPEG2000编码、高斯 模糊、快速衰落和H.264压缩中固有的大多数一般失真而言，这通常并不 是问题并且所述度量表现很好。这是因为这样的事实：通常，如果图像失 真，则平均值将受影响，并且WxW块中的高频也将受到影响。

不幸的是，所提出的使用2x2Haar变换的度量看不见特定类型的失 真。例如，考虑修改（例如量化或抑制）4x4DCT变换块的频率系数的操 作，该操作是H.264视频压缩中的一般操作。对于导致对4x4块进行Haar 变换操作的N=2的分解级，改变除了DC之外的这些频率系数中的任何频 率系数将不会对所测量的质量有任何影响，这是因为在度量计算中仅考虑 了4x4块的DC。这一发现是4x4DCT的定义的结果，即，除了DC之外 没有任何频率系数对平均值有任何影响。

此外，再次使用4x4DCT变换块，我们可以观察到，由于4x4DCT 的对称性，改变块中的特定频率系数将不会对2x2Haar变换的DC有任何 影响。因此，基于分解级为1的Haar变换的度量将看不见这些其它频率 系数或失真的变化。

也可以在附录中找到用于计算通用全参考（FR）图像质量度量（IQM） 的基于DWT框架的完整描述。

图1示出了用于确定质量测量IQM_DWT的离散小波域图像质量评价框 架10的框图。该离散小波域图像质量评价框架10包括：

-IQM计算子系统100，其包括：

-第一N级DWT模块102和第二N级DWT模块104，

-第一细节子带聚合模块106和第二细节子带聚合模块108，

-对照图产生模块11，

-近似质量图/分数计算模块112，以及

-边缘质量图/分数计算模块114；

以及

-近似质量图合并模块116；

-边缘图合并模块118；以及

-组合模块120。

图1A示出了用于确定所述质量测量IQM_DWT的对应方法140的流程 图，包括步骤：

150“计算IQM”，其为五个步骤的组：

152“执行N级DWT”；

154“计算近似质量图（或分数）”；

156“形成图像边缘的估计”；

158“计算边缘质量图（或分数）”；以及

160“有条件地产生对照图”；

170“有条件地执行加权合并”，以及

180“组合近似分数和边缘分数”。

该组150“计算IQM”的五个步骤（152-160）由图1的IQM计算子系 统100执行。

在步骤152“执行N级DWT”中，分别在第一N级DWT模块102和 第二N级DWT模块104中对参考图像X和失真图像Y都执行N级DWT 操作。该N级DWT基于Haar小波滤波器。使用N级分解，获得近似子 带和以及第一和第二细节子带。

先前已经在M.R.Bolin和G.W.Meyer的“A visual difference metric  for realistic image synthesis”（Proc.SPIE Human Vision,Electron.Imag., vol.3644,San Jose,CA,1999,pp.106-120）以及Y.-K.Lai和C.-C.J.Kuo 的“A Haar wavelet approach to compressed image quality measurement” （J.Visual Commun.Imag.Represent.,vol.11,no.1,pp.17-40,Mar. 2000）中报道的一些质量评价和压缩方法中使用了Haar小波。对于我们 的框架，我们选择Haar滤波器，因为其简单且性能良好。Haar小波与其 它小波相比具有很低的计算复杂度。此外，基于我们的仿真，其相比于其 它小波基提供更精确的质量分数。原因在于，对称Haar滤波器具有广义 线性相位，因此可以保持感知图像结构。此外，Haar滤波器能够避免对图 像的过度过滤，这归因于它们的短滤波器长度。

为诸如SSIM或VIF的结构或信息-理论策略选择的分解级数（N）等 于一。这样做的原因在于，对于多于一级的分解，近似子带的分辨率指数 减小并且其变得很小。因此，在所述子带中将丢失大量重要图像结构或信 息。但是，对于像PSNR或绝对差（AD）那样的基于误差的方法，我们能 够如下构想所需的分解级N：当距离高度为h的显示器距离d观看图像时， 我们有（在Y.Wang、J.Ostermann和Y-Q.Zhang的Video Processing and  Communications（New Jersey:Prentice-Hall,2002）中报道）：New  Jersey:Prentice-Hall,2002）:

$N\ge 0\Rightarrow N=\max (0,\mathrm{round}\left({\log }_2\left(\frac{\min (H,W)}{344/k}\right)\right))---\left(5\right)$

其中图像尺寸为HxW并且观看距离为d=kxh，并且k是通常设为 3的常数因子，就像典型观看者位于近似3倍图片高度的距离处一样。

对于“N”的推导，请参照S.Rezazadeh和S.Coulombe的文章“A novel  discrete wavelet transform framework for full reference image quality  assessment”（Signal,Image and Video Processing,pp.1-15,September 2011），其内容通过引入的方式合并于此。

在近似质量图/分数计算模块112中所执行的步骤154“计算近似质量 图（或分数）”中，通过在和的近似子带之间应用IQM计算质量图 （或分数），其将被称为近似质量图（或分数）IQM_A。而对于诸如SSIM 的基于图的度量我们有质量图。在其它情况下（例如VIF），我们有质量 分数。应用于各种质量度量（例如SSIM和VIF）的IQM计算的例子在下 文中进一步呈现。

在第一和第二细节子带聚合模块106和108中所执行的步骤156“形成 图像边缘的估计”中，分别为参考图像X和失真图像Y形成图像边缘的第 一和第二估计X_E和Y_E。该图像使用第一细节子带的聚合，其中第一细节 子带的聚合在第一细节子带聚合模块106中执行。如果将N级DWT应用 于图像，则图像X的边缘图（估计）定义为：

$X_E(m,n)=\underset{L=1}{\overset{N}{\Sigma }}{X}_{E,L}\left(\mathrm{mn}\right)---\left(6\right)$

其中X_E是X的边缘图；并且X_E,L是分解级L下的图像边缘图，如等 式（7）中定义地那样计算。在等式（7）中，和分别表示对 于图像X在分解级L下获得的水平、垂直和对角细节子带。和是通过分别对和应用（N-L）级DWT获得的小波包 近似子带。参数μ、λ和ψ是常数。因为HVS对水平和垂直子带更敏感而 对对角子带较不敏感，因此给予水平和垂直子带更大的权重。我们在本申 请文件中任意地建议μ＝λ＝4.5ψ，这导致μ＝λ＝0.45和ψ＝0.10满足 等式（8）。

$X_{E,L}(m,n)=\left(\begin{array}{cc}\sqrt{\mu ·{\left(X_{H_L}(m,n)\right)}^2+\lambda {\left(X_{V_L}(m,n)\right)}^2+\psi {\left(X_{D_L}(m,n)\right)}^2}& \left(\begin{array}{cc}\mathrm{if}& L=N\end{array}\right)\\ \sqrt{\mu ·{\left(X_{H_L,A_{N-L}}(m,n)\right)}^2+\lambda {\left(X_{V_L,A_{N-L}}(m,n)\right)}^2+\psi {\left(X_{D_L,A_{N-L}}\right)}^2}& \left(\begin{array}{cc}\mathrm{if}& L<N\end{array}\right)\end{array},---\left(7\right)\right)$

μ+λ+ψ＝1    （8）

以与X类似的方式定义Y的边缘图。

图2示出了描绘用于参考图像X的二级分解的的小波子带的示例性图 示200（N=2）；在该图中以加粗的轮廓示出了计算边缘图所涉及的六个子 带。值得注意的是，边缘图意图是图像边缘的估计。因此，在形成边缘图 时使用最有信息的子带而不是考虑所有子带。在我们的方法中，我们仅使 用3N个边缘带。如果我们在我们的边缘图中考虑所有带，则我们将不得 不使用4^N-1个带。当N大于或等于2时，值4^N-1远大于3N。因此，我们 提出的边缘图有助于节约计算工作。根据我们的仿真，在计算边缘图时考 虑所有图像子带不会对增加预测精确度产生重大影响。值得注意的是，边 缘图仅反映图像的精细边缘结构。

在边缘质量图/分数计算模块114中执行步骤158“计算边缘质量图（或 分数）”。在边缘图X_E和Y_E之间应用IQM计算。所得到的质量图（或分 数）称为边缘质量图（或分数），IQM_E。

诸如AD的一些度量也产生中间质量图，该中间质量图应当被合并以 达到最终分数。在步骤160“有条件地产生对照图”中，当我们有基于图的 度量时，形成用于合并近似和边缘质量图的对照图函数。公知的是，HVS 对靠近边缘的区域更加敏感，如Z. Wang和A. C. Bovik的Modern Image  Quality Assessment（USA: Morgan & Claypool, 2006）所示。因此，靠近 边缘的质量图中的像素应当被给予更多重要性。同时，高能（或高方差） 图像区域有可能包含更多信息以吸引HVS，如Z. Wang和X. Shang的 “Spatial Pooling Strategies for Perceptual Image Quality Assessment” （Proc.IEEE Int.Conf.Image Process.,Atlanta,GA,Oct.2006,pp. 2945-2948）中所述。因此，在高能区域中的质量图的像素必须也接受更高 的权重（更重要）。基于这些事实，我们可以组合我们的边缘图与所计算 的方差以形成对照图函数。在局部高斯平方窗口中的对照图产生模块110 中计算对照图，该窗口在整个边缘图X_E和Y_E上（逐像素）地移动。如Z. Wang、A.Bovik、H.Sheikh和E.Simoncelli的“Image quality assessment: From error visibility to structural similarity”（IEEE Trans.Image Process., vol.13,no.4,pp.600-612,Apr.2004）中所述我们定义归一化为单位和的高 斯滑动窗口W＝{w_k|k＝1,2,…,K}，其中标准偏差为1.5个样本。此处，我们 将系数K的数量设定为16，即，4×4个窗口。该窗口尺寸不太大并且能够 提供精确的局部统计。对照图如下定义：

$\mathrm{Contrast}(x_E,x_{A_N})={\left({\mu }_{x_E}^2{\sigma }_{x_{A_N}}^2\right)}^{0.15}---\left(9\right)$

${\sigma }_{x_{A_N}}^2=\underset{k=1}{\overset{K}{\Sigma }}{w}_k{(x_{A_N,k}-{\mu }_{x_{A_N}})}^2---\left(10\right)$

${\mu }_{x_E}=\underset{k=1}{\overset{K}{\Sigma }}{w}_k{x}_{E,k},{\mu }_{x_{A_N}}=\underset{k=1}{\overset{K}{\Sigma }}{w}_k{x}_{A_N,k}---\left(11\right)$

其中x_E和表示X_E和（滑动窗口）的图像块。值得注意的是， 对照图仅仅采用原始图像统计来形成质量图合并的加权函数。

图3A示出了典型原始图像，并且图3B示出了通过等式（9）获得的 图3A的原始图像的调整尺寸后的对照图。为了易于观察，在[0,255]之间 缩放对照图的样本值。如图3A和3B中所见，对照图很好地示出了对于 HVS的重要图像结构和边缘。对照图中更亮（更高）的样本值表示对于 HVS更重要并且在判断图像质量时扮演重要角色的图像结构。

仅对于基于图的度量，在步骤170“有条件地执行加权合并”中使用（9） 中的对照图，用于对近似质量图IQM_A和边缘质量图IQM_E进行加权合并。

$S_A=\frac{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contrast}(x_{E,j},x_{A_N,j})·{\mathrm{IQM}}_A(x_{A_N,j},y_{A_N,j})}{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contrast}(x_{E,j},x_{A_N,j})}---\left(12\right)$

$S_E=\frac{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contrast}(x_{E,j},x_{A_N,j})·{\mathrm{IQM}}_E(x_{E,j},y_{E,j})}{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contrast}(x_{E,j},x_{A_N,j})}---\left(13\right)$

其中对照图函数中的x_E,j和表示第j个局部窗口中的图像块；质 量图（或分数）项中的x_E,j和y_E,j是第j个局部窗口位置中 的图像块（或像素）；M是质量图中的样本（像素）的数量；并且S_A和 S_E分别代表近似质量分数和边缘质量分数。

注意，对于像PSNR那样的非基于图的度量，步骤170“有条件地执行 加权合并”仅仅是复制函数，因此S_A=IQM_A且S_E=IQM_E。

在组合模块120中所执行的步骤180“组合近似分数和边缘分数”中， 如等式（14）中所定义的线性组合近似质量分数和边缘质量分数，以获得 图像X和Y之间的总体质量分数IQM_DWT：

$\left(\begin{array}{c}{\mathrm{IQM}}_{\mathrm{DWT}}(X,Y)=\beta ·S_A+(1-\beta )·S_E\\ 0<\beta \le 1\end{array}---\left(14\right)\right)$

其中IQM_DWT给出了图像之间的最终质量分数；并且β是常数。由于 近似子带包含主要图像内容，因此β应当接近1，以给予近似质量分数（S_A） 更多重要性。我们在我们的仿真中将β设定为0.85，这意味着近似质量分 数构成最终质量分数的85%，仅15%是由边缘质量分数构成的。

框架应用的例子

在该部分中，描述向不同质量评价方法应用框架。在基于误差（自下 而上）的范畴中讨论PSNR方法，其中AD度量是基于图的度量的例子， 并且PSNR是非基于图的度量的例子。

PSNR

在等式（32）和（33）中定义常规PSNR和均方误差：

$\mathrm{PSNR}(X,Y)=10·{\log }_{10}\left(\frac{X_{\max }^2}{\mathrm{MSE}(X,Y)}\right)---\left(32\right)$

$\mathrm{MSE}(X,Y)=\frac{1}{N_P}·\underset{m,n}{\Sigma }{(X(m,n)-Y(m,n))}^2---\left(33\right)$

其中X和Y分别表示参考图像和失真图像；X_max是参考图像X的最 大可能像素值（最小像素值假设为零）；并且N_P是每个图像中的像素数量。 尽管PSNR由于其能够容易地以分贝（dB）计算质量而仍流行，但是其不 能充分反映人对图像保真度的感知。其它基于误差的技术，例如，均在N. Damera-Venkata、T.D.Kite、W.S.Geisler、B.L.Evans和A.C.Bovik,的 “Image quality assessment based on a degradation model”（IEEE Trans. Image Process.,vol.9,no.4,pp.636-650,Apr.2000）中提出的wSNR[6]和 NQM、以及在D.M.Chandler和S.S.Hemami的“VSNR:A wavelet-based  visual signal-to-noise ratio for natural images”（IEEE Trans.Image  Process.,vol.16,no.9,pp.2284-2298,Sept.2007）中提出的VSNR使用起 来更复杂，因为它们遵循复杂的过程来计算人类视觉系统（HVS）参数。 在该子部分中，我们解释如何使用所提出的框架在离散小波域中精确计算 基于PSNR的质量。

第一步是确定计算PSNR_DWT值所需的确切分解级数（N）。该数可以 使用等式（5）计算。

等式（5）用于计算IVC数据库的适当分解级数。对于该数据库，k 等于6。因此，

N_IVC＝max(0,round(log₂(512/57.33)))＝3    （34）

注意，LCC对β的小变化的灵敏度低，即，所提出的β=0.85与用于 跨过不同图像数据库的质量预测的最佳β值相比，并不大幅度影响 PSNR_DWT性能。

在第二步中，通过等式（6）计算图像X和Y的边缘图像函数。然后， 如等式（35）和等式（36）中所定义的，使用等式（32）计算近似质量分 数PSNR_A和边缘质量分数PSNR_E：

${\mathrm{PSNR}}_A=\mathrm{PSNR}(X_{A_N},Y_{A_N})---\left(35\right)$

PSNR_E＝PSNR(X_E,Y_E)    （36）

最后，通过根据等式（14）组合近似质量分数和边缘质量分数计算总 体质量分数PSNR_DWT：

PSNR_DWT(X,Y)＝β·PSNR_A+(1-β)·PSNR_E,0＜β≤1    （37）

其中PSNR_DWT给出了以dB为单位的图像的最终质量分数、或者质量 测量。

绝对差（AD）

为了更一般性地验证所提出的图1的框架的性能，适当的是在图像的 AD被认为是IQM情况下调查其如何工作。与先前的情况一样，有必要知 道为了计算AD_DWT值所需的分解级数。

在该基于图的方法的第二步中，计算X和Y的近似子带之间的近似 AD图、AD_A。

${\mathrm{AD}}_A(m,n)=|X_{A_N}(m,n)-Y_{A_N}(m,n)|---\left(38\right)$

其中（m,n）示出了近似子带中的样本位置。

在第三步中，等式（6）、（7）中定义边缘图函数图像X和Y，并且 在下一步骤中的边缘图X_E和Y_E之间计算边缘AD图、AD_E。

AD_E(m,n)＝|X_E(m,n)-Y_E(m,n)|    （39）

在第四步中，使用等式（9）获得对照图，并且然后使用对照图合并 AD_A和AD_E以计算近似质量分数S_A和边缘质量分数S_E。

$S_A=\frac{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contrast}(m,n)·{\mathrm{AD}}_A(m,n)}{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contrast}(m,n)}---\left(40\right)$

$S_E=\frac{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contrast}(m,n)·{\mathrm{AD}}_E(m,n)}{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contrast}(m,n)}---\left(41\right)$

使用等式（42）计算最终质量分数AD_DWT。

AD_DWT(X,Y)＝β·S_A+(1-β)·S_E    （42）

待解决问题的详细分析

让我们考虑被分割成4x4块的图像。对每个块进行4x4DCT变换并且 改变其频率系数。这些改变可以包括量化、抑制（设定为零）等。这种操 作在H.264压缩中是常见的。

图4示出了用于产生和显示在H.264压缩中使用的4x4DCT基的 Matlab代码片段900。

图5示出了数阵列1000，该阵列1000图示了在任意比例下计算的图4 的4x4DCT基，并且示出了每个4x4轮廓加重的方块中的数字值模式 （numeric pattern）。左上位置处的方块（附图标记1002）对应于DC基， 代表常数像素级。图5示出了在每个4x4方块中包含16个值的水平和垂直 频率模式的各种组合。

每个模式方块包括16个数字值，这16个数字通过定义平均为零，除 了与DC分量对应的左上模式方块1002之外。因此，当使用在4x4块上操 作的分解级为2的Haar变换时，所提出的度量将不能通过对这些模式中 的任何模式求和来检测任何失真，这是因为级为2的2x2Haar变换的近似 带变为4x4块上的平均。

此外，在每个它们的2x2子块上计算每个这些模式的平均，我们使用 相同的Matlab代码获得在如下标记为“sym”的阵列中示为“1”的掩码，所 述掩码显示对于每个它们的2x2子块哪些系数具有零平均。

sym=

0   0   1   0

0   0   1   0

1   1   1   1

0   0   1   0

这也可以在图5中直接确定，图5示出了在第三列（附图标记1004） 和第三行（附图标记1006）中的独立2x2子块的和为零。

可以看出，基于使用2x2Haar变换的度量将看不见影响第三行中或第 三列中的频率系数的任何修改。

此外，2x2Haar变换的近似带看不见这些图像图案（即，与第三行中 或第三列中的DCT基频率系数相关联的像素图案），属于变换的其它块 操作可能看不见特定图像图案（在先前的例子中，在近似带中，块操作计 算块中像素的平均值）。对于块操作T，将不能被识别（即T看不到其） 的图像的块模式组定义为其T（B）为零或基本为零的块组B。我们将该组 “Null（T）”标记为零空间，这是因为其与当用向量空间处理时的零空间的 概念相似。实际上，零空间是向量空间的一个子空间，该子空间具有在给 定线性变换下被映射到零或基本为零的向量。因此，我们定义：Null（T） ={B|T（B）=0}。

使C为由B及其水平、垂直和对角重复构成的块。在数学上，我们有：

$C=\left(\begin{array}{cc}B& B\\ B& B\end{array}\right)$

例如，如果：

$B=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)$

则

$C=\left(\begin{array}{ccccc}a& b& & a& b\\ c& d& & c& d\\ & & & & \\ a& b& & a& b\\ c& d& & c& d\end{array}\right)$

使S=（sx,sy）为空间移位量并且B′为在位置S开始从C提取并且具 有与B相同尺寸（即，二者尺寸都为WxW）的块。我们有：

B’（i,j）=C（i+sx,j+sy），对于i、j，二者都在0到W-1之间。

其中sx和sy都在1到W-1之间。

在S=（1,1）的先前的例子中，我们有：

$B^{\prime }=\left(\begin{array}{cc}d& c\\ b& a\end{array}\right)$

我们将在B的重复上进行的该空间移位操作标记为R（B,S），其中B 是块并且S是空间移位量。我们有B’=R（B,S）。

我们想要的是选择空间移位量S，对于该空间移位量S，Null（T）的 尽可能多的元素在该空间移位下变得被识别（即，应用于被空间移位的图 像的块变换不再是盲性的）。理想地，我们想要空间移位量S被选择成使 得对于Null（T）的每个B元素T（R（B,S））不为零（除了到处B都为 零的情况）。

在上面的4x4DCT基的例子中，如果我们应用S=（1,1）的空间移位 量，则2x2Haar变换的近似带将不会看不见频率系数的第三行或第三列。 对于其它块操作，可以确定这样的空间移位量值，其减小并且经常最小化 变换过程的盲性。

通常，变换过程具有在图像的变换中不包含关于待变换图像的所有信 息的盲性，因此导致在变换过程期间该图像的特定图案不被识别，并且空 间移位量被选择为使得上述特定图案在应用于空间移位的版本X2和Y2的 变换过程期间变得可检测。

空间移位

根据本发明的实施例，在图像的WxW像素块的块排列中引入水平和 垂直空间移位，用于计算基于Haar的视觉质量度量，以便减少“盲性”， 由此增加视觉质量度量计算的精确性和鲁棒性。

空间移位也可以有利地用于得到基于使用方块像素块的平均值的鲁棒 的质量度量。

图6示出了第一质量度量计算系统1100，其包括质量评价模块1102 的两个例子（1102.1和1102.2）、空间移位模块1104和最终分数计算模块 1106。

图7示出了第二质量度量计算系统1200，其是第一质量度量计算系统 1100中使用相同模块的不同排列。第二质量度量计算系统1200包括质量 评价模块1102的两个例子（1102.1和1102.2）、空间移位模块1104的两 个例子（1140.1和1104.2）和最终分数计算模块1106。

图8示出了第三质量度量计算系统1300，其是第一质量度量计算系统 1100中使用相同模块中的一些的另一不同排列。第三质量度量计算系统 1300包括质量评价模块1102和空间移位模块1104。

所有这三个质量度量计算系统1100、1200和1300的共同之处在于： 通过处理两个图像（原始图像X和失真图像Y）计算最终质量分数S_f。空 间移位模块1104具有这样的一般能力：将原始图像X和失真图像Y二者 的像素相对于图像帧移位预定水平和垂直量、或者像素数。质量评价模块 1102具有这样的能力：比较原始图像X和失真图像Y、或者这两个图像的 移位版本；以及产生质量度量Q。最终分数计算模块1106用于组合来自两 个质量评价模块1102的质量度量。

空间移位的效果是使得图像中的不同像素被选择用于变换块。通过组 合用不同地移位的源图像计算的质量度量，可以克服前述的基于Haar度 量的“盲性”。

根据本发明的一个实施例，简单地施加水平和垂直的空间移位使得所 述度量不与如图8的第三质量度量计算系统1300中所示的H.264中使用的 4x4块队列来对准。

在另一实施例中，设计用于这样的情况，在该情况下，不知道4x4队 列在哪，在分开一空间移位量的两个地点计算所述度量，所述空间移位量 是水平和垂直方向上的奇数个像素，如图6和7中所示。在图6中，所述 两个地点之一是原点（没有对应于该地点的空间移位量），而在图7中可 以任意选择两个空间移位量。

在图6中示出了优选实施例，对于WxW块，空间移位量是分别为水 平和垂直的第一和第二预定量（像素数），二者都被选择为1和（W/2-1） 中的较大者。这对应于质量度量应用的近梅花形图案。在第一质量评价中， 块被移位0。在第二质量评价中，块被移位（x,y）。梅花形是这样的图案， 被移位（x,y）的版本的块的像素内容最大程度地区别于被移位0的块。如 果块尺寸为W，则当（x,y）=（W/2,W/2）时将发生该最大的区别。我们 将空间移位的图案描述为接近梅花形，这是因为我们想要通过使（x,y）接 近（W/2,W/2）来具有该最大区别属性，但是也想要使x和y为奇数以避 免可能导致Haar变换有问题的对称性。

这两个度量的结果可以被平均，或者可以选择所述度量的每个单独的 应用的最大失真值，来提供最终结果。

仿真结果已经显示这些替代方案增加了度量鲁棒性而不影响总体精确 度，见下面的实验结果。

上面的图8的质量度量计算系统1300具有与原始度量相同的计算复杂 性。

图6和图7的质量度量计算系统1100和1200与质量度量计算系统 1300相比分别具有双倍的计算复杂度，但是其复杂度仍然比诸如SSIM和 VIF的其它精确视觉质量度量的复杂度低得多。

质量度量计算系统1100使用质量评价模块1102.1来计算原始图像X 和失真图像Y之间的质量分数Q₁。此外，其使用质量评价模块1102.2来 计算移位的图像X₂和Y₂之间的质量分数Q₂，所述移位的图像X₂和Y₂分 别是空间移位模块1104产生的原始图像X和失真图像Y的空间移位版本。 在形式上：

X₂（m,n）=X（m+s_2,x,n+s_2,y）

Y₂（m,n）=Y（m+s_2,x,n+s_2,y）

其中（m，n）是图像中的像素位置，s_2,x是空间移位模块1104的水平 移位量，并且s_2,y是空间移位模块1104的垂直移位量。

Q₁=VQM（X,Y）

Q₂=VQM（X₂,Y₂）

其中VQM（X,Y）是在质量评价模块1102.1中根据图像X和Y进行 质量评价的视觉质量度量函数。VQM（X₂,Y₂）是在质量评价模块中根据 移位的图像X₂和Y₂进行质量评价的视觉质量度量函数。VQM可以是诸 如SSIM、PSNR_A等的任何视觉质量度量。

基于Q₁和Q₂在最终分数计算模块1106中计算最终质量分数或质量测 量S_f。可以取决于上下文使用Q₁和Q₂的加权和、取最小值或其它适当的 操作，计算最终分数。

可以如下计算加权和：

S_f=a（Q₁）+（1-a）（Q₂），其中0<=a<=1。

作为特殊情况，将通过设定a=0.5获得均值。

加权和用于向每个质量分数指定不同级别的重要性。

可以如下计算最小值：

S_f=Min（Q₁,Q₂）。

最小值用于取质量分数中的最坏情况。

更复杂的操作：

有时，有利的是，最终分数是质量分数的更复杂的函数。例如，对于 PSNR_A=10log₁₀（（2^L（255））²/mse），质量分数的组合为mse。并 且将具有：

●Q₁=mse₁

●Q₂=mse₂

然后，若干选项是可能的：

●mse=Max（Q₁,Q₂）

●mse=a（Q₁）+（1-a）（Q₂），其中0<=a<=1

○例如，当a=0.5时，mse=（0.5）（Q₁）+（0.5）（Q₂）

S_f=10log₁₀（（2^L（255））²/mse），其中L是PSNR_A中的分解级 数，并且mse代表均方误差，并且被定义为：

其中M是N是图像尺寸。

请注意，空间移位量s_2,x和s_2,y的特定值可能对于使得度量对于失真是 鲁棒的有益。例如，在H.264视频压缩中使用4x4离散余弦变换（DCT）。 通常，将像素的经DCT变换的块的高频系数严重量化以增加H.264中的 压缩。但是，这引入失真。不幸的是，如在先前的章节中所见，当使用在 与H.264压缩的4x4DCT对准的4x4块上操作的、分解级为2的2x2Haar 变换（这是默认的情况）时，PSNR_A度量将不能检测这些失真，因为它们 不改变每个4x4块中的平均像素值。

解决该问题的方法是使用水平和垂直的奇数空间移位，使得不仅分解 级为2的2x2Haar变换不与H.2644x4DCT块对准，而且，对于Haar变 换的任何级数（即，WxW块的任何平均，其中W为2的幂），该未对准 不允许具有偶数对称的4x4DCT系数仍未被检测。

因此，对于PSNR_A，对于Haar变换的为W的块尺寸，建议将移位值 设定为max（1,W/2-1）。计算质量度量两次但是第二次是从适当选择的 移位位置应用的，如此处所述，将避免这样的情形：两个度量都未看到具 有特定对称图案的失真。当潜在失真的对准是未知的，例如如果4x4DCT 变换的实际对准是未知的，例如在图像被用H.264编码和解码并且然后被 修剪的情况下，这是特别有用的。

质量度量计算系统1200再次使用质量评价模块1102.1计算移位图像 X₁和Y₁之间的质量分数Q_1s，所述移位图像X₁和Y₁分别是由空间移位模 块1104.1产生的原始图像X和失真图像Y的空间移位版本。此外，质量 度量计算系统1200使用质量评价模块1102.2计算移位图像X₂和Y₂之间 的质量分数Q_2s，所述移位图像X₂和Y₂分别是由空间移位模块1102.2产 生的原始图像X和失真图像Y的空间移位版本。形式上：

X₁（m,n）=X（m+s_1,x,n+s_1,y）

Y₁（m,n）=Y（m+s_1,x,n+s_1,y）

X₂（m,n）=X（m+s_2,x,n+s_2,y）

Y₂（m,n）=Y（m+s_2,x,n+s_2,y）

其中（m，n）是图像中的像素位置，s_1,x是空间移位模块1102.1的水 平移位量并且s_1,y是空间移位模块1102.1的垂直移位量，s_2,x是空间移位 模块1102.2的水平移位量并且s_2,y是空间移位模块1102.2的垂直移位量。

Q_1s=VQM（X₁,Y₁）

Q_2s=VQM（X₂,Y₂）

其中VQM（X,Y）如前所述。

基于Q_1s和Q_2s在最终分数计算模块1106中计算最终质量分数S_f。如 前所述。

针对图6作出的关于空间移位的相同注释在此也适用。还可以注意， 对于使度量对失真是鲁棒的，空间移位量s_1,x、s_1,y、s_2,x和s_2,y的特定值可 能是很有益的。对于PSNR_A，建议移位量值之差s_1,x-s_2,x是奇数，并且移 位量值之差s_1,y-s_2,y也是奇数。还建议，对于Haar变换，对于为W的块 尺寸，s_1,x-s_2,x=s_1,y-s_2,y=max（1,W/2-1）。

质量度量计算系统1300使用质量评价模块1102计算图像X₁和Y₁之 间的质量分数Q_1s，所述移位图像X₁和Y₁分别是由空间移位模块1104产 生的原始图像X和失真图像Y的空间移位版本。

形式上：

X₁（m,n）=X（m+s_1,x,n+s_1,y）

Y₁（m,n）=Y（m+s_1,x,n+s_1,y）

其中（m，n）是图像中的像素位置，s_1,x是空间移位模块1104中使用 的水平移位量，并且s_1,y是空间移位模块1104中使用的垂直移位量。

Q_1s=VQM（X,Y）

其中VQM（X,Y）如前所述。

最终质量分数，或者质量测量，S_f=Q_1s。

针对图6作出的关于空间移位的相同注释在此也适用。此处，仅计算 所述度量一次，但是应用空间移位以避免具有失真的队列。当失真的队列 是已知的时这可能特别有用，例如，如果已知4x4DCT变换的队列处于偶 数地点，则应用奇数移位是有利的。对于PSNR_A，建议移位量值等于1。

对于PSNR_A的计算，本发明的另外的实施例可以基于原始图像X和 失真图像Y的空间移位所产生的地点的更多组合的类似使用。涉及图像和 图像的移位版本的组合的相同方法也可以应用于除了Haar之外的其它基 于小波的度量或者应用于其它Haar变换尺寸。使用地点（即，移位的位 置）的更多组合可以，取决于每种情形，在以增加计算复杂度为代价的情 况下增加鲁棒性。数字信号处理领域的技术人员将知晓如何根据感兴趣的 应用调整此处呈现的发明以适应其它Haar变换尺寸和小波。

图9示出了作为图6的第一质量度量计算系统1100的优选实现方式的 离散小波域图像质量评价系统1400的实施例的框图。该离散小波域图像质 量评价系统1400包括：第一和第二IQM计算子系统100.1和100.2（每一 个对应于图1的IQM计算子系统100的例子）、图6的空间移位模块1104、 近似质量图共同合并模块1402、边缘质量图共同合并模块1404、以及图6 的最终分数计算模块1106（其等同于图1的组合模块120）。

离散小波域图像质量评价系统1400的输入是参考（原始）图像X和 失真图像Y，并且系统1400的最终输出是像图6一样的最终质量分数S_f。

空间移位模块1104包括用于产生原始图像X的空间移位版本X₂的移 位X模块1406、以及用于产生原始图像Y的空间移位版本Y₂的移位Y模 块1408。

第一IQM计算子系统100.1基于图像X和Y的比较，计算第一近似 质量图（或分数）IQM_A、第一边缘质量图（分数）IQM_E、以及可选的标 记为“对照”的第一对照图。类似地，第二IQM计算子系统100.2分别基于 图像X的空间移位版本X₂和图像Y的空间移位版本Y₂，计算第二近似质 量图（或分数）IQM′_A、第二边缘质量图（分数）IQM′_E、以及可选的标 记为“对照′”的第二对照图。在近似质量图共同合并模块1402中组合用于 近似子带的第一和第二近似质量图（分数）IQM_A和IQM’_A。在边缘质量 图共同合并模块1404中组合用于细节子带的第一和第二边缘质量图（分 数）IQM_E和IQM’_E。

近似质量图共同合并模块1402和边缘质量图共同合并模块1404也都 可选地接收对照图“对照”和“对照′”，并且分别向最终分数计算模块1106 输出近似质量分数S_A和边缘质量分数S_E，所述最终分数计算模块1106将 所述近似质量分数S_A和边缘质量分数S_E组合成也称为最终质量测量的最 终分数S_f。

在空间移位模块1104中执行了空间移位操作之后输入到第二IQM计 算子系统100.2中的是：

X₂（m,n）=X（m+s_x,n+s_y）

Y₂（m,n）=Y（m+s_x,n+s_y）

图10示出了计算作为失真图像质量测量的组合分数的方法1500的流 程图，该计算通过与图9的系统框图相关联的顺序图中的与对应原始图像 的比较结合失真图像的空间移位版本与对应原始图像的等同空间移位版本 的比较来进行。

方法1500包括步骤：

1502“对原始图像和失真图像执行五个步骤”；

1504“向原始图像应用空间移位”；

1506“向失真图像应用空间移位”；

1508“对空间移位的图像执行五个步骤”；

1510“有条件地执行共同加权合并”，以及

1512“计算最终质量分数”。

除了在空间移位模块1104中执行的为第二IQM计算子系统100.2提 供移位图像X₂和Y₂的最初空间移位之外，每个子系统与先前描述的图1 的IQM计算子系统100相同，除了最后步骤1512“计算最终质量分数”。 因此，方法1500包括第一步骤组1502和第二步骤组1508，它们中的每一 个具有与图1A的步骤152-160相同的五个步骤。

第一步骤组1502（其对应于对原始图像和失真图像执行步骤152-160 的第一IQM计算子系统100.1的动作）之后是步骤1504“向原始图像应用 空间移位”以及1506”向失真图像应用空间移位“，其中分别产生原始图像 和失真图像的空间移位版本。

接下来的步骤在步骤组1508中，步骤组1508对应于对原始图像和失 真图像的空间移位版本执行步骤152-160的第二IQM计算子系统100.2的 动作。

为了清楚起见，两个五步组1502和1508被扩展到单独的步骤，并且 分别在图10A和10B（指示了每个步骤的讨论）中示出。

然而，在图10中用在近似质量图共同合并模块1402和边缘质量图共 同合并模块1404中执行的新步骤1510“有条件地执行共同加权合并”在图 10中代替图1A中的步骤170“有条件地执行加权合并”，这将在下文中更 详细地描述。

在组合近似分数和边缘分数的最终步骤1512“计算最终质量分数”中， 计算近似质量分数S_A和边缘质量分数S_E。

步骤1512在最终分数计算模块1106中执行并且恰好对应于图1A的 步骤180。

步骤1510“有条件地执行共同加权合并”在基于图的度量的情况下使 用对照和对照′图进行加权合并，但是当使用其它类型的度量时可以被省 略。

对于基于图的度量，等式（9）的对照图用于近似质量图IQM_A和IQM’_A和边缘质量图IQM_E和IQM’_E的加权合并。

$S_A=\frac{1}{2}[\frac{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contrast}(x_{E,j},x_{A_N,j})·{\mathrm{IQM}}_A(x_{A_N,j},y_{A_N,j})}{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contrast}(x_{E,j},x_{A_N,j})}+\frac{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contras}{t}^{\prime }({x^{\prime }}_{E,j},{x^{\prime }}_{A_N,j})·{{\mathrm{IQM}}^{\prime }}_A({x^{\prime }}_{A_N,j},{y^{\prime }}_{A_N,j})}{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contras}{t}^{\prime }({x^{\prime }}_{E,j},{x^{\prime }}_{A_N,j})}]$

（44）

$S_E=\frac{1}{2}[\frac{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contrast}(x_{E,j},x_{A_N,j})·{\mathrm{IQM}}_E(x_{E,j},y_{E,j})}{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contrast}\left(x_{E,j}{x}_{A_N,j}\right)}+\frac{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contras}{t}^{\prime }({x^{\prime }}_{E,j},{x^{\prime }}_{A_N,j})·{{\mathrm{IQM}}^{\prime }}_E({x^{\prime }}_{E,j},{y^{\prime }}_{E,j})}{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contras}{t}^{\prime }({x^{\prime }}_{E,j},{x^{\prime }}_{A_N,j})}]$

（45）

其中对照图函数中的x_E,j和代表与图像X相关的第j个局部窗口中 的图像块；其中对照图函数中的x′_E，j和代表与图像X＇相关的第j个局部 窗口中的图像块；质量图（或分数）项中的x_E,j和y_E,j是与 图像X和Y相关的第j局部窗口位置的图像块（或像素）；质量图（或分数） 项中的和y′_E，j是与图像X＇和Y＇相关的第j局部窗口位置的 图像块（或像素）；M是质量图中样本（像素）的数目；并且S_A和S_E分别 代表近似质量分数和边缘质量分数。

关于先前的章节，我们可以不同地组合质量分数。例如：

$V_A=[\frac{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contrast}(x_{E,j},x_{A_N,j})·{\mathrm{IQM}}_A(x_{A_N,j},y_{A_N,j})}{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contrast}(x_{E,j},x_{A_N,j})},\frac{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contras}{t}^{\prime }({x^{\prime }}_{E,j},{x^{\prime }}_{A_N,j})·{{\mathrm{IQM}}^{\prime }}_A({x^{\prime }}_{A_N,j},{y^{\prime }}_{A_N,j})}{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contras}{t}^{\prime }({x^{\prime }}_{E,j},{x^{\prime }}_{A_N,j})}]$

$\mathrm{index}=\underset{i}{\arg \min }\left(V_A\right[i\left]\right)$

S_A＝V_A[index]

（46）

$V_E=[\frac{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contrast}(x_{E,j},x_{A_N,j})·{\mathrm{IQM}}_E(x_{E,j},y_{E,j})}{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contrast}(x_{E,j},x_{A_N,j})},\frac{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contras}{t}^{\prime }({x^{\prime }}_{E,j},{x^{\prime }}_{A_N,j})·{\mathrm{IQM}}_E^{\prime }({x^{\prime }}_{E,j},{y^{\prime }}_{E,j})}{\underset{j=1}{\overset{M}{\Sigma }}\mathrm{Contras}{t}^{\prime }({x^{\prime }}_{E,j},{x^{\prime }}_{A_N,j})}]$

S_E＝V_E[index]

（47）

其中V_A是包含合并的IQM_A和IQM’_A的阵列，并且V_E是包含合并的 IQM_E和IQM’_E的阵列。在这种情况下，我们选择具有最小质量的近似质 量图以及其对应的边缘质量图来分别计算S_A和S_E。边缘图的其它更复杂 的组合也是可能的。此外，该系统可以容易地延伸成在输入处组合更多移 位的图像（即，任意数量而不是单个的移位）。

对于像AD那样的非基于图的度量，我们可以如下计算：

S_A=a（IQM_A）+（1-a）（IQM’_A）并且S_E=a（IQM_E）+（1-a） （IQM’_E），其中0<=a<=1。

例如，我们可以设定a=0.5来计算平均值。

V_A=[IQM_A,IQM’_A]、index=argmin_i（V_A[i]）、S_A=V_A[index], S_E=V_E[index]。

对于PSNR_DWT，我们计算：

mse_A=a（IQM_A）+（1-a）（IQM’_A）且mse_E=a（IQM_E）+

（1-a）（IQM’_E），其中0<=a<=1。

例如，我们可以设定a=0.5来计算平均值。

V_A=[IQM_A,IQM’_A]、index=argmax_i（V_A[i]）、mse_A= V_A[index],mse_E=V_E[index]。

S_A=10log₁₀（（2^L（255））²/mse_A）且S_E=10log₁₀（（2^L（255）） ²/mse_E）。

其中L是PSNR_DWT中的分解级数并且mse代表均方误差。

边缘图的其它更复杂的组合也是可能的。该系统也可以从仅仅一个移 位图像对X2和Y2以及未移位图像对X和Y延伸到更多移位的图像的组 合（即，任意数量的移位而不是组合图像质量度量（IQM））。此外，即 使例如在PSNR_A的情况下那样在度量计算中省略细节子带，本发明也适 用。

在本发明的实施例的图1和6-9中示出的系统包括通用或专用计算机， 该计算机具有CPU和计算机可读存储介质（例如，存储器、DVD、 CD-ROM、软盘、磁带或其它存储介质），所述存储介质上存储有由CPU 执行、形成上述系统的上述模块的计算机可读指令。或者，图1和6-9的 系统可以包括专用硬件或固件和专用计算机的组合，所述计算机具有计算 机可读存储介质，所述存储介质上存储有由CPU执行的用于形成上述这些 系统的模块的计算机可读指令。图1和6-9的系统中的每个模块包括固件， 或者，备选地包括存储在诸如存储装置的计算机可读存储介质上的供处理 器执行的计算机可读指令。

在装备有软件程序的计算机上实现所述离散小波域图像质量评价系统 1400，所述软件程序存储在该计算机的存储器中用于实现本发明的实施例 的特征。系统1400的一些或全部功能也可以使用特定用途集成电路 （ASIC）或多个ASIC实现。

图12示出了根据本发明实施例的离散小波域图像质量评价系统1400 的示例性硬件视图1700，其包括处理器1702和计算机存储器1704。

处理器1702可以是能够在诸如但不限于例如Linux、Microsoft  Windows或Mac Operating System10（OSX）的操作系统下执行程序 的任何商用处理器，其包括中央处理器（CPU）1706、网络输入/输出（I/O） 系统1708和命令接口1710。

CPU1706可以是若干商用处理器实现方式中任何实现方式，包括多处 理器。网络输入/输出（I/O）系统1708提供用于接收要对其进行质量评价 的图像的界面设备。命令接口1710可以包括键盘、鼠标和视觉界面、以及 可拆卸存储装置、或者任何其它适用于控制软件配置以及离散小波域图像 质量评价系统1400的操作的硬件。

处理器1702连接到计算机存储器1704，计算机存储器1704优选是能 够存储软件程序和相关数据的诸如动态存储器（DRAM）的非暂态存储装 置。包括存储在计算机存储器1704中的供处理器1702执行的计算机可执 行指令的软件模块包括IQM计算子系统100，该子系统100包括：第一和 第二N级DWT模块102和104，模块102和104也分别称为第一和第二 细节子带聚合模块106和108；对照图产生模块110、近似质量图/分数计 算模块112；边缘质量图/分数计算模块114、近似质量图合并模块116；边 缘图合并模块118；以及组合模块120。存储在计算机存储器1704中的其 它软件模块包括最终分数计算模块1106、近似质量图模块1402、边缘质量 图共同合并模块1404、以及包括移位X模块1406和移位Y模块1408的 空间移位模块1104。

计算机存储器1704也可以包括高速缓冲存储器1712，其用于临时存 储数据（例如可以通过网络I/O系统1708从图像数据库加载的原始图像X 和失真图像Y以及移位版本X2和Y2）以及临时结果（诸如例如由对照图 产生模块110产生的第一和第二对照图1714和1716）。

实验结果

表III示出了从PSNR_A得到的各种度量替代方案的精确结果与有效图 像数据库上的PSNR_A和PSNR的比较。每种方法的描述如下：

QPSNR_A在两个空间地点应用PSNR_A以形成近梅花形图案。

其将在这两个空间位置获得的误差值（均方误差）进行平均以计算最 终dB分数。存在两个空间位置：一个在（0,0），一个具有水平和垂 直方向上空间移位量max（1,N/2-1）个像素。

QMPSNR_A在两个空间地点应用PSNR_A以形成近梅花形图案。

其保持在这两个空间位置获得的最大误差值（均方误差）以计算最终 dB分数。存在两个空间位置：一个在（0,0），一个具有水平和垂直 方向上空间移位量max（1,N/2-1）个像素。

EPSNR_A在三个空间地点应用PSNR_A。其将在这三个空间位置获 得的误差值（均方误差）进行平均以计算最终dB分数。存在三个空间位 置，一个位于（0,0），一个仅具有水平方向上的空间移位量max（1,N/2-1） 个像素，并且一个具有水平和垂直方向上空间移位量max（1,N/2-1）个像 素。

SPSNR_A执行PSNR_A，但是使用（1,1）个像素的空间移位量。

表III：有效图像数据库的非线性回归之后的LCC、SRCC和RMSE 值

度量 LCC SRCC RMSE PSNR 0.8701 0.8756 13.4685 PSNR_A（1地点） 0.9282 0.9302 10.1635 QPSNR_A（2地点） 0.9281 0.9308 10.1710 QMPSNR_A（2地点） 0.9279 0.9299 10.1883 EPSNR_A（3地点） 0.9287 0.9314 10.1331

SPSNR_A（1地点） 0.9269 0.9299 10.2526

图11（a）-11（d）示出了分辨率为256x256的标准图像“Image House” （图像编号4.1.05）的四个版本，该图像可在 http://sipi.usc.edu/database/database.php?volume=misc获得。

图11（a）示出了原始（参考）图像。

图11（b）示出了从参考图像生成的第一失真图像，其中4x4DCT变 换图像的第2行和第2列设为零。

图11（c）示出了从参考图像生成的第二失真图像，其中4x4DCT变 换图像的第3行和第3列设为零。

图11（d）示出了从参考图像生成的第三失真图像，其中4x4DCT变 换图像的第4行和第4列设为零。

表IV示出了在图11（a）的参考图像和下面的三个失真图像上的从移 位PSNR_A与PSNR_A和PSNR相比较得到的各种度量替代方案的最终分数。 图11（b）的第一失真图像是通过如下操作获得的：将图11（a）的图像分 割成4x4的块，应用如H.264标准中定义的4x4正向DCT变换，将正向 DCT的第2行和第2列上的所有频率系数设定为零，以及应用4x4反向 DCT变换。以类似方式，但是取而代之将第3行和第3列设定为零，获得 图11（c）的第二失真图像。以类似方式，但是取而代之将第4行和第4 列设定为零，获得图11（d）的第三失真图像。我们可以在视觉上观察到 图11（b）的质量比图11（c）差，图11（c）的质量比图11（d）差。然 而，在表VI中，PSNR_A给图11（c）的分数高于给图11（d）的分数，这 是非常不可接受的。我们可以看出具有空间移位量的度量没有这个问题， 并且正确地对图像质量进行了排序（即，它们以从最佳质量到最差质量的 正确顺序对图像进行了排序）。这显示了所提出的度量具有增加的鲁棒性。

表IV：图16（a）的图像度量值与图16（b）、16（c）和16（d）的 图像的度量值的比较

在上述实施例中，所述变换过程是Haar变换。应当理解，也可以使 用另一变化过程，例如，余弦变换、正弦变换或小波变换。或者，代替Haar 变换，所述变换过程可以是Daubechies变换。

尽管已经详细描述了本发明的特定实施例，但是应当理解所描述的实 施例是说明性的而非限制性的。可以在不脱离在其更广泛方面的本发明的 范围的情况下，在所附权利要求的范围内作出所述实施例的各种改变和修 改。