用于实时人类视觉系统行为建模的时间处理

摘要

在空间实时人类视觉系统行为建模算法的输入处增加用于实时人类视觉系统行为建模的时间处理过程。该时间处理过程包括在各参照信道和测试信道中串联的线性和非线性时间过滤器，参照信道的输入是参照图像信号，测试信道的输入是测试图像信号，测试图像信号是参照图像信号的弱化形式。非线性时间过滤模拟带有神经突击和衰减的过程，以便补偿峰值敏感度中的变换以及空间－时间敏感度函数中的频率加倍。线性时间过滤负责空间－时间敏感度函数中的其余的细小区别。

说明书

有关受联邦资助的研究或开发的声明

根据空军部合同F30602-98-C-0218的规定，政府就本发明享有某些权利。

发明领域

本发明涉及视频图像质量评估，更具体地说，本发明涉及用于实时人类视觉系统行为建模的时间处理。

背景技术

一般地说，用下列参数来描述业已用于探测人类视觉系统(HVS)的刺激源：时间频率、空间频率、平均亮度或横向掩蔽效果、目标图像在视网膜上的角度范围或尺寸、相对视觉中心(中央凹)的偏心度或角距离、等价的眼睛运动、旋转定向、环绕。再有，可将多种刺激源分类到下列范畴之一：驻波、行波、临时脉冲和阶梯；以上事物的组合(旋转、目标图像图案和掩蔽)；以及，“自然的”场景/序列。已将对这些刺激源的响应参数化为：辨别中的感觉阈值；阈上的时间对比感觉；感觉到的空间频率，包括混叠/加倍；感觉到的时间频率，包括闪烁等；感觉到的速度(速率和方向)；感觉到的幻影信号(噪声、余像、额外/遗漏的脉冲等)；感觉到的图像质量；以及，神经响应(电压波形等)。

问题是形成用于在给定相应一组刺激源的情况下再现并预测人类响应的方法。最终的目标是预测图像质量。假定为了达到这一目标，最少应尽可能地模仿阈值和阈上响应。此外，希望预测诸如空间频率加倍或与见到额外(幻影)脉冲有关的之类的视错觉等等，但被认为是次重要的。最后，预测应与神经及其它中间响应相一致。

本文件中的HVS模型不负责时间响应、不考虑基础方面(诸如用于驻波的双峰空间-时间阈值表面、掩蔽、空间频率加倍等)并且/或者在计算上过于复杂或者对大多数应用来是不够的。

本发明人于1999年11月11日提交的、题为“实时人类视觉系统行为建模”的共同未决的US专利申请书第09/438697号提供了一种HVS行为建模算法，该算法在本质上是空间的并且简单得足以在实时视频环境中加以执行。在独立的信道中处理参照和测试图像信号。对每个信号均进行空间上的低通过滤、分成相应的区域，并从过滤的信号中减去所述区域均值。然后，在噪声喷射之后，两个处理过的图像信号彼此相减，并且，每个段都确定方差，可根据这种方差确定视频图像质量的度量标准。但是，这种建模过程未考虑时间效应。

神经响应一般具有快速突击性和慢速衰减性，并且，有迹象表明，某些视网膜神经节细胞对正的时间脉冲有响应，某些细胞对负的有响应，而某些细胞对两者都有响应。在每一种情况下，若突击比衰减快，则会产生与时间频率有关的校正。在校正变成主要的关键时间频率之上，空间频率加倍。这种关键的时间频率刚好对应于空间-时间响应中的次峰值，在上述空间-时间响应中，空间频率敏感度(以及相关的对比敏感度对频率-CSF)曲线在OHz处大致向下移动倍频程。

所希望的是用于实时HVS行为建模的算法，它能提高预测HVS的时间响应的效率和精确度。

发明概述

因此，本发明提供了一种用于实时人类视觉系统行为建模的时间处理算法，它是在空间处理算法之前增加的，以便改进对HVS行为建模的时间响应的预测。时间处理包括在各参照信道和测试信道中串行地进行线性和非线性时间过滤，参照信道的输入是参照图像信号，测试信道的输入是测试图像信号，测试图像信号是参照图像信号的弱化形式。非线性时间过滤模拟带有神经突击和衰减的过程，以便解决峰值敏感度中的变换以及空间-时间敏感度函数中的频率加倍。线性时间过滤解决空间-时间敏感度函数中的其余的细小区别。

在连同后附权利要求和附图一道阅读时，可从以下详细说明中看出本发明的目的、优点和其它新颖特征。

附图简述

图1是依照本发明的主观视频质量定级测量计的高效预测器的框图；

图2是依照本发明的图1的预测器的时间处理部分的框图；

图3是依照本发明的用于图2的时间处理部分的线性时间过滤器的框图；

图4是依照本发明的用于图2的时间处理部分的非线性时间过滤器的框图。

本发明的详细描述

参照图1，以与上述共同未决申请书所述相类似的方式示出了用于图像质量评价的流程图。将参照图像信号和弱化(测试)图像信号输入给相应的显示模块11、12，以便转换成亮度单位。亮度数据输入给空间建模算法10，该算法被实现为相应的两维低通过滤器13、14以及一个隐式高通过滤器(在步骤17、18分别从各个像素中减去来自步骤15、16的局部平均数(低通))。这种过滤器的组合能满足本文中用于各方向、平均亮度和分段区域的数据(对比敏感度对频率)提出的要求。与先有技术中从过滤器组输出的多个图像相反，从这一阶段上只输出有一个由后续用于各图像的阶段来加以处理的图像。

诸如就三个像素由三个像素块来计算块均值15、16。在信道中，根据块均值和其它简单块统计值对图像分段20。但是，为减化并减少计算资源起见，可省略步骤20。当前分段算法中使用的块统计值包括局部(块)平均亮度和先前的方差。但是，对区域的增加而言，可仅使用最大和最小值。在形成新块均值所属的段上将各块均值平均起来。从相应块内的各像素中减去这些均值17、18，以便完成隐性高通过滤。

借助取样操作21、22通过选择过滤的输入图像的绝对值与噪音的空间固定图案的绝对值之间较大的一个在各像素注入来自噪音生成器24的噪音，其中

core(A、B)＝{(|A|-|B|)，若|A|＞|B|；0，若|A|＜|B|}*sign(A)

其中，A为信号，B为噪音。就参照图像段以及参照图像与测试图像段之间的差26计算段方差。通过按参照方差使不同的信道方差标准化(分割)而将两个信道段方差数据集组合起来用于各段。

最后，计算各段的标准化了方差的均值的第N次根32以便形成合计的测量值。对此例而言，N＝4，其中，N可以是任何整数值。合计测量值可以按比例缩放或者以另外方式转换成诸如JND、MOS等适当的单位。

在输入给空间建模算法10之前，在各信道内增加一额外步骤即时间处理过程35、36。以上在背景部分中有关神经响应所讨论的内容表明，用于频率加倍的同样机制还解决了空间-时间敏感度表面的次峰值的空间-时间频率坐标。在空间处理过程之前向时间处理过程35、36提供神经突击和衰减可模拟峰值敏感度与频率加倍方面的转换(峰值的空间频率位置是时间频率的函数)。这一点可用非线牲时间过滤器37、38来实现，如图2所示。然后，线性时间过滤器39、40解决空间-时间敏感度函数中的其余的细小区别。线性和非线性过滤器的组合还能根据振幅和持续时间解决脉冲检测的阈值、根据振幅和与场景变化的时间接近度解决衰减量并且根据调制振幅解决闪烁和融合。

图3所示的线性时间过滤器39、40具有低通和带通过滤器的组合特征。亮度数据输入给一系列域延迟模块41-44，这些模块在各个域处均带有接头。将接头的输出输入给相应的乘法器45-48，其中，对这些输出用相应的系数b0、Dac*b0、b1、Dac*b1加权并在求和电路50内对它们求和。线性时间过滤器39、40基本上是按帧的不同来加权的，对两个域中的较早的一个来说，每个帧均具有适当的衰减(Dac)。对空间位置(x，y)处的各像素而言，给定了过滤器输出LTF(域)，则可用下式给出过滤器输入D[]：

LTF(域)＝(D[域]+D[域-1]*Dac)*b0+(D[域-2]+D[域-3]*Dac)*b1

其中：域＝域序号；LTF(域)＝特定像素(LTF[x，y，域])处的线性过滤器输出；D[域]＝特定(x，y，域)坐标处的来自亮度数据的输入像素；b0，b1＝FIR过滤系数(例如，b0＝1；b1＝-0.5)；以及，Dac＝衰减。B0系数标称为1，b1系数控制约8Hz处的增加量。在校准非线性时间过渡器37、38之后，校准B1参数。Dac标称为1或更少，这取决于取样率。

图4所示的非线性时间过滤器37、38具有包络随动器或振幅调制(AM)检测器/解调器的特征。其突击要快于衰减。

     衰减*NFF[域-1]；若LTF{域}＜衰减*NTF[域-1]NTF[域]＝

      [1-突击]*LTF[域]+衰减*NTF[域-1]*衰减；否则其中，NTF[域]＝特定像素(NTF[x，y；域])处的非线性过滤器输出；突击＝0.9(较高的突击系数对应于较低的初始响应)；以及，衰减＝-0.98(较高的衰减系数对应对于较低的恢复率)。将非线性时间过滤器37、39的输出输入给延迟器51并随后在第一乘法器52中乘以衰减度。然后，在比较器54中将衰减了的输出与来自线性时间过滤器39、40的输出作比较。在第二乘法器56中将比较的结果乘以(1-突击)并输入给整流器58。在求和电路60中组合整流器58的输出，以产生过滤器输出。通过使HVS模型对准空间-时间阈值表面和空间频率加倍错觉的相应阈上区域而确定突击和衰减时间。非线性时间过滤器37、38负责大多数时间掩蔽和与时间有关的视错觉。

所示出的特定实施形式对正变换要比对负变换更敏感，不完全考虑对负变换或对视网膜中央凹细胞的响应，视网膜中央凹细胞则被认为是对正负变换作同样的响应。可通过包括伪随机位置处与所提出的感光器类型的理论分布相对应的那些响应而进行在精度方面的改进。仅有流整器58需要以偏振或通过包括带绝对值(完全整波)的两者而进行改变。在有不超过多个像素的伪随机位移的情况下，使完全整波时间处理器在空间上分布于按10×10像素网格选定的像素位置可解决多种视错觉，包括运动逆转和闪烁噪音。但是，对某些应用来说，不希望有所需的额外处理。

因此，本发明提供了用于通过在空间处理之前插入两级时间过滤器-一个线性时间过滤器，随后是非线性时间过滤器—以模拟神经突击和衰减从而实时进行HVS行为建模的时间处理过程。