一种基于双眼视觉融合的立体图像质量评测方法

摘要

一种基于双眼视觉融合的立体图像质量评测方法，涉及图像应用领域的图像质量评价。1)建立待实验测试的立体图像；2)控制播放待实验测试的立体图像；3)测试者对立体图像的质量进行评价，得到实验数据；4)处理步骤3)得到的实验数据并输出结果。从人类视觉感知和人眼的注意机制出发，考虑视觉注意机制对图像质量影响较大的因素，从而更好地体现人类视觉系统处理过程，保证了图像质量评价输出值与主观感知的一致性。操作简单、评价结果更加准确和稳定，克服了传统的依靠人工观察的主观质量评价方法易受其它因素的限制和影响的缺点，同时也为客观质量评价方法奠定基础，为解决大部分客观质量评价与人眼的观测结果差异较大提供技术衡量指标。

说明书

技术领域

本发明涉及图像应用领域的图像质量评价，尤其是涉及一种基于双眼视觉融合的立体图 像质量评测方法。

背景技术

立体图像可以记录真实的三维世界信息，拥有非常广阔的应用前景。目前，立体图像技 术已经成功用于科研、军事、教育、工业、医疗、娱乐等诸多领域。

通过立体图像人们可以观察到具有真实深度感的景物,立体图像能使人们身临其境地体验到 立体感和临场感。立体成像技术是未来信息处理发展的重要方向之一，立体图像质量评价推 动着立体成像技术不断向前发展。

立体图像质量评价的方法有主观质量评价和客观质量评价两种方法^[1～3]。主观质量评价是 让大量测试者按照事先规定的评价规则对测试图像按视觉效果的优劣进行评分，对所有测试 者评分得到的原始数据进行处理得到实验的有效数据，然后对其进行加权平均得到测试图像 的主观质量评价值。客观质量评价方法是通过数学模型等手段设计出一套模型，自动地对测 试图像进行评分，然后通过与主观质量评价之间的相关性来验证该模型的可靠性。因此，客 观质量评价方法的最终目的是尽可能准确得到与主观感知相一致的客观评价值。但由于人类 对复杂的人眼视觉系统的认识不够深入,无法建立一个准确、统一的模型，直接影响到客观测 评的准确性,不能真实地反映立体图像质量的优劣。

主观质量评价方法是建立在使用者视觉效果评价的基础上，可提供终端用户最为直接的 反应情况，从而建立起开发端与终端用户之间的视觉评价反馈体系。但传统的依靠人工观察 的主观质量评价方法需针对多个测试图像进行多次重复实验，耗时多、费用高，容易受其它 因素的限制和影响，不能用于批量处理，而且操作复杂，同时不具有可重复性，代价较高， 从而评价的结果往往不够准确，稳定性差^[4～5]。现有的主观测试方法主要有：双刺激连续质量 分级法DSCQS(Double Stimulus Continuous Quality Scale)、双激励失真测度方法DSIS (Double Stimulus Impairment Scale)、单刺激连续质量评价方法SSCQE(Single Stimulus  Continuous Quality Evaluation)、绝对种类评分法ACR(Absolute Category Rating)、 SAMVIQ(Subjective Assessment Methodology for Video Quality)测试方法等^[6～8]。

立体图像质量是评价系统性能的一个重要指标，而一种好的立体图像质量客观评价方法 依赖于立体图像的主观评价。主观质量评价方法更为接近人的真实感受，能够较好地反映出 图像质量。人类是立体图像的最终接受者，人眼具有双目掩蔽特性。人类视觉系统通过左右 眼视差和左右眼的融合形成深度上的感受,从而产生立体感，增加人类的辨识能力^[9]。立体视 觉注意无论是在心理学还是神经科学上都得到了广泛关注，也有不少的立体视觉方面的研究 被发表，从左右视差，深度获取，双眼竞争，双目融合等方面都提出了研究理论,进而为立体 图像质量评价技术提供了理论支撑。

人类视觉心理学研究表明，人的双眼间距大约为60～65mm，这个间距使得双眼在观看某 一场景时所处位置和角度稍有不同，从而导致场景在双眼视网膜的成像稍有差异。然而，实 际上人们在正常视力下观看场景时并不会出现两个场景成像重叠在一起的感觉，而是在人脑 中形成一幅具有立体感的图像，这个现象是由人类视觉系统中双目融合处理后的结果。

图像质量评价方法是分析图像压缩和处理效果、反馈图像传输质量的关键技术。平面图 像评测方法是对一幅平面图像进行评测，而一幅立体图像是由多个平面图按照一定规则组成， 单独评测立体图像的各个平面图像的质量，并不能综合反映立体图像的质量。因而不能将传 统的平面图像质量评测方法简单地移植到立体图像的评测中，而要在双眼融合形成立体视觉 的情况下进行图像质量评价，才能真实反映人类立体视觉的主观感受。

由此需要基于人眼的立体视觉特性，建立一种基于双眼视觉融合的立体图像质量评价方 法。

参考文献：

[1]LewisNW,Allnatt J A.Subjective quality of television pictures with multiple  impairments[J].Electron Letters,1965,1(7):187～188.

[2]JonesB L,Turner J A.Subjective assessment of cable impairments on television  picture quality[J].IEEE Transactions on Consumer Electronics,1992,38(4): 850～861.

[3]ITU BT500210,Methodology for the Subjective Assessment of the Quality of  Television Pictures[S].

[4]Wang Zhijun,Ziou D,Armenakis C,et al.A comparative analysis of image fusion  methods[J].IEEE Transactions on Geosciences and Remote Sensing,2005,43(6): 1391-1402.

[5]Piella G.New quality measures for image fusion[C]//Proceedings of the Seventh  International Conference on Information Fusion..Mountain View.CA:International  Society of Information Fusion,2004:542-546.

[6]ITU-R Recommendation BT.500-11,“Methodology for the Subjective Assessment of  the Quality of Television Pictures,”Int.Telecommun.Union,Geneva,Switzerland, 2002.

[7]7ITU-R:Methodology for the Subjective Assessment of the Quality of Television  Picture.International Standard,2000.ITU-R BT.500-10.

[8]ITU-T Rec.&ISO/IEC14496-10AVC,"Advanced video coding for generic audiovisual  services",ITU-T P.,(2005).

[9]Yang Jiachen，Hou Chunping,Zhou Yuan,et al.Objective quality assessment method  of stereo images[C]//Proc.3DTV Conference:The True Vision-Capture,Transmission  and Display of3D Video.Potsdam:IEEE,2009:1-4.

[10]Levitt,H.(1971).Transformed up-down methods in psychoacoustics.Journal  of the Acoustical Society of America,49(2):467–477.

[11]Methodology for the Subjective Assessment of the Quality of Television  Pictures[R],ITU-R Recommendation BT500-11,2002.

发明内容

本发明的目的在于从视觉感知和人眼的注意机制出发，结合心理物理学的方法，提供一 种基于双眼视觉融合的立体图像质量评测方法。

本发明包括以下步骤：

1)建立待实验测试的立体图像；

2)控制播放待实验测试的立体图像；

3)测试者对立体图像的质量进行评价，得到实验数据；

4)处理步骤3)得到的实验数据并输出结果。

在步骤1)中，所述待实验测试的立体图像由原始立体图像(标记为M_org)和不对称压缩 立体图像(标记为M_frag)组成；

所述不对称压缩立体图像(记做的M_frag)可由以下步骤生成：

①对原始立体图像(M_org)的左视点图像(标记为L_org)和右视点图像(标记为R_org)分 别进行压缩，根据不同压缩质量等级，得到不同压缩度下的立体图像左视点图(标记为L_com) 和立体图像右视点图(标记为R_com)；

②把原始立体图像的左视点图像和右视点图像的中间区域分别用相对应的压缩后的立 体图像左视点图和立体图像右视点图的中间区域进行替换，通过编码生成只有中间区域被压 缩的立体图像左视点图(标记为L_frag)和只有中间区域被压缩的立体图像右视点图(标记为 R_frag)；

③不对称压缩立体图像由原始立体图像的左视点图L_org和只有中间区域被压缩编码的立 体图像右视点图R_frag(方式一)组成，或者由只有中间区域被压缩编码的立体图像左视点图 L_frag和原始立体图像的右视点图R_org(方式二)组成；

按照以上步骤，根据不同压缩质量等级，生成对应于不同压缩度下的待实验测试的立体图 像。

在步骤2)中，所述控制播放实验立体图像的具体方法如下：

在实验测试的过程中，同一压缩质量等级下的实验立体图像测试会有多个实验试次 (trail)，实验播放软件会连续播放同一压缩质量等级下的实验立体图像直到得出测试者的观 看阈限值为止，这时控制程序会退出，结束所有的实验试次。

在每个实验试次中，播放待测试的立体图像的顺序如下：

首先播放原始立体图像M_org，前段播放的原始立体图像M_org的播放时间长度记为t₁；

接着插入播放不对称压缩立体图像M_frag，不对称压缩立体图像M_frag的播放时间长度记为 △t₂；

然后继续播放原始立体图像M_org，后段播放的原始立体图像M_org的播放时间长度记为t₃。

其中在每个实验试次中，对各段立体图像播放时间长度的控制方法如下：

不对称压缩立体图像M_frag的播放时间长度△t₂的值会随测试者的反馈情况动态变化，前 段播放的原始立体图像M_org的播放时间t₁和后段播放的原始立体图像M_org的播放时间t₃也会动 态变化，但始终保持每个实验试次中实验测试的立体图像的总播放时间t不变，其中t＝t₁+ △t₂+t₃。

所述对各段立体图像播放时间长度的控制过程中可采用文献[10]中三下一上(3-down, 1-up)的程序作为核心测量方法，实现对实验中不对称压缩立体图像M_frag播放时间长度△t₂动态变化的控制。

在步骤3)中，所述测试者对立体图像的质量进行评价的实验要求如下：

选取测试者进行质量评价实验，测试环境符合ITU-R BT.500立体图像主观质量测试要求 标准(参见文献[11])，测试实验采用标准的立体显示系统。

所述测试者的选取要求如下：测试者的视力、色彩信息观察力正常，拥有正常的“双眼 融合”能力，即“立体盲”的人员不在选择范围之内。

所述“双眼融合”是指大脑能综合来自两眼的相同物像，并在知觉水平形成一个完整 印象的能力，属II级双眼视功能。

所述测试者对立体图像的质量进行评价的具体方法可为：

测试者用双目立体成像设备观看视觉刺激,通过双眼视觉融合在测试者脑中形成一幅具 有立体感的图像；在实验测试过程中测试者判断所播放的立体图像中是否出现图像“抖动” 现象，在每个实验刺激播放结束时，测试者立即进行“是”或“否”的二选一强制性判断 (two-alternative forced choice，2AFC)。

在步骤4)中，所述处理步骤3)得到的实验数据并输出结果的具体步骤可为：

(1)采集不同压缩质量等级下的立体图像质量评价数据：

所述立体图像质量评价数据主要是指在每个压缩质量等级下，每个试次中测试者从刺激 播放结束到判断按键反应之间的间隔时间和每个试次中不对称压缩立体图像M_frag的播放时间 △t₂；

(2)应用数据处理软件对实验得到每个压缩质量等级下的立体图像质量评价数据进行 分析处理，具体步骤如下：

首先，根据步骤2)中所述控制播放待实验测试的立体图像的方法,在实验结束后每个 压缩质量等级下每幅立体图像的质量评价测试中获得的△t₂的数据值会包含m个拐点，m≥15；

其次，计算最后n个拐点的平均值，并将计算得到的平均值关联对应于该压缩质量等级 下的失真立体图像的压缩度，n为6～10；

然后，通过数据处理得到的平均值(阈限值)可映射为能被人眼觉察的最小可觉察差(Just  noticeable difference，JND)值；

最后，将每个压缩质量等级下所对应的最小可觉察差值输出为可视化结果。

本发明基于人眼的立体视觉特性，提出了基于双眼视觉融合的立体图像质量主观评价方 法。本发明从人类视觉感知和人眼的注意机制出发，考虑视觉注意机制对图像质量影响较大 的因素，从而更好地体现人类视觉系统处理过程，保证了图像质量评价输出值与主观感知的 一致性。本发明操作简单、评价结果更加准确和稳定，克服了传统的依靠人工观察的主观质 量评价方法易受其它因素的限制和影响的缺点，同时也为客观质量评价方法奠定基础，为解 决大部分客观质量评价与人眼的观测结果差异较大提供技术衡量指标。

附图说明

图1为本发明实施例的流程图；

图2为本发明所基于的人类视觉系统双目融合原理结构图；

图3为本发明实施例中使用的对待测立体图像播放过程的控制方法示例图一。在图3中， 标记P1为压缩编码后的区域。

图4为本发明实施例中使用的对待测立体图像播放过程的控制方法示例图二。在图4中， 标记P2为压缩编码后的区域。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

应理解的是本发明提供的检测方法能够在不同的实例上具有各种变化，基于本发明思想 的各种变化的实例皆不脱离本发明的范围；且本发明中的附图在本质上作为说明之用，例如 绘图元件并不一定是按比例绘制也不限定特定的设备，描述特定顺序或行为也不要求相对次 序这样的特定性。即本发明中的附图只为解释说明本发明的方法及系统，而非用以限制本发 明。

根据本发明实施例，提供一种基于双眼视觉融合的立体图像质量主观评价方法，如图1 所示，按如下步骤进行：

1)建立待实验测试的立体图像,具体步骤如下：

①首先对原始立体图像M_org的左右视点图像(L_org和R_org)分别进行压缩，根据不同压缩质 量等级，得到不同压缩度下的立体图像左右视点图(L_com和R_com)。

②然后把原始立体图像的左右视点图像的中间区域分别用相对应的压缩后的立体图像 的左右视点图的中间区域进行替换。通过编码生成只有中间区域被压缩的立体图像左右视点 图(L_frag和R_frag)。

③接着按方式一：原始立体图像的左视点图L_org和只有中间区域被压缩编码的立体图 像右视点图R_frag和方式二：只有中间区域被压缩编码的立体图像左视点图L_frag和原始立体 图像的右视点图R_org生成两种不同方式的不对称压缩立体图像M_frag。

在本发明的实施例中，其中①中所述压缩算法可以是现有的压缩算法，例如H.264等；其 中②中所述视点图中间区域是中间一块正方形区域。

按照以上步骤，根据不同压缩质量等级，生成对应于不同压缩度下的待实验测试的立体 图像。

2)控制播放待实验测试的立体图像；

其中，本发明的具体实施例应用心理物理的测量方法实现对待实验测试的立体图像播放 过程的控制，具体步骤如下：

在本发明的具体实施例中，同一压缩质量等级下的实验立体图像测试会有多个实验试次。 在每个实验试次中随机选取步骤1)中由两种不同方式生成的不对称压缩立体图像中的其中 一种进行实验测试。若选取到由方式一生成的不对称压缩立体图像进行实验，待实验测试的 立体图像的播放过程如图3所示；若选取到由方式二生成的不对称压缩立体图像进行实验， 待实验测试的立体图像的播放过程如图4所示。每个实验试次中，待实验测试的立体图像的 总播放时间固定为t。在实验测试的过程中首先播放原始立体图像M_org，播放时间长度值为t₁, 接着插入不对称压缩立体图像M_frag，M_frag的播放时间长度值为△t₂,然后继续播放M_org，播放的 时间长度值为t₃。

具体地，每个实验试次的实验立体图像的整个播放顺序形象表示为M_org→M_frag→M_org，每段 所对应播放的时间段分别为t₁-△t₂-t₃。

其中，在本发明的具体实施例中，t的值设定为2000ms(毫秒)，t₁初始值设定为930ms， △t₂初始值设定为140ms，t₃初始值设定为930ms。

其中图3中的1，2部分分别表示播放的是前段播放的原始立体图像M_org的左右视点图L_org和R_org；图3中的3,4部分分别表示播放的是不对称压缩立体图像M_frag的左右视点图L_org和R_frag； 其中图3中的5,6部分分别表示后段播放的原始立体图像M_org的左右视点图L_org和R_org。

其中图4中的1，2部分分别表示播放的是前段播放的原始立体图像M_org的左右视点图L_org和R_org；图4中的3,4部分分别表示播放的是不对称压缩立体图像M_frag的左右视点图L_frag和R_org； 其中图4中的5,6部分分别表示后段播放的原始立体图像M_org的左右视点图L_org和R_org。

为了更加精确地控制实验试次的播放过程，确保不对称压缩立体图像M_frag是在实验播放 过程中的中间时刻插入播放的，本实施例的每个实验试次中t₃值总是设定和t₁值一样长。

在具体实验例的实施过程中，每个实验试次中不对称压缩立体图像M_frag播放的初始时间 △t₂会随被测试者的反馈情况动态变化，t₁和t₃的值也会动态变化，但始终保持每个试次中 待实验测试的立体图像总的播放时间长度值t＝t₁+△t₂+t₃＝2000ms不变。

其中，所述不对称压缩立体图像M_frag的播放时间△t₂的值会随测试者的反馈情况动态变 化，具体的控制方法如下：

实验播放软件会连续播放同一压缩质量等级下的实验立体图像直到得出测试者的观看阈 限值为止，这时控制程序会退出，结束所有的实验试次。

所述对各段立体图像播放时间长度的控制过程采用文献[10]中“三下一上”的程序作为 核心测量方法，实现对实验中不对称压缩立体图像M_frag播放时间长度△t₂动态变化的控制。 在该方法的应用中,如果测试者连续3个试次都判断正确,不对称压缩立体图像M_frag的播放时 间△t₂的长度值就按照一定的步长减短变小；如果测试者1个试次判断错误,不对称压缩立 体图像M_frag的播放时间△t₂的长度值就按照一定的步长增加变长。在本方法具体实施例中初 始步长值设为△t₂/2，在相同方向的拐点上该步长按照0.5倍的比率变化直到变化步长为某 个特别小的固定值为止。在本发明的具体实施例中该固定值设为1ms。在实验测试过程中若 步长达到1ms时，实验已经可以精确计算出测试者在该压缩质量等级下所对应的观看阈限值， 这时控制程序会结束退出该压缩质量等级下的立体图像评价测试，并准备进入下一个压缩质 量等级下的立体图像评价测试。

3)测试者对立体图像的质量进行评价，得到实验数据，具体方法如下：

本方法的具体实施例中选取做实验测试的测试者16人，视力、色彩信息观察力正常，“立 体盲”的人员不在选择范围之内。根据本发明的一个方面，本发明的实施例在步骤3)中， 基于图2所示的原理，测试者利用双目立体镜观看立体图像的左右眼视觉刺激,通过双眼视 觉融合会在测试者脑中形成一幅具有立体感的图像。

本发明的具体实施例在一间关照、色温以及噪声等均可控制的实验室里完成，该测试环 境符合ITU-R BT.500立体图像主观质量测试要求。

在本发明的具体实施例中应用到的图像刺激显示设备为SyncMaster788DF，其空间分辨 率为1024×768，刷新率为78赫兹；实验的立体图像刺激的呈现通过心理学实验软件 Presentation来控制，屏幕的背景颜色为黑色。

实验测试过程中，待测试的立体图像的左右视点图水平排列在屏幕上，两者的中心相距 17.71°，通过立体镜分别呈现给测试者的左、右眼睛。测试者端坐在屏幕前52cm处，下 巴靠在双目立体镜设备的头固定架的下巴托上以保持实验过程中头部静止不动。实验测试过 程中测试者的左手食指与右手食指分别放于控制手柄的左、右键上，测试者的任务是判断所 播放的立体图像中是否出现图像“抖动”现象。若有观察到抖动现象则按左键，若没有观察 到抖动现象则按右键。每个实验试次中当实验刺激播放结束时，测试者立即进行按键判断。 当测试者按键后，程序呈现两类不同的提示声，实时反馈给测试者刚才的判断是否正确。

实验通过度量人眼视觉对实验立体图像中是否出现“抖动”现象的察觉来反映人眼对压 缩质量感知的影响，从而进一步通过人眼双眼视觉融合后对立体图像信息误差的敏感程度得 到对所述压缩后的立体图像质量的度量。

4)处理步骤3)得到的实验数据并输出结果，具体步骤如下：

(1)采集到不同压缩质量等级下的立体图像质量评价数据：

在步骤3)完成后，实验采集到的数据主要包括在每个压缩质量等级下，每个试次中测 试者从刺激播放结束到判断按键反应之间的间隔时间和每个试次中不对称压缩立体图像 M_frag的播放时间△t₂。

(2)应用matlab、C++等数据处理软件对实验得到每个压缩质量等级下的立体图像质量 评价数据进行分析处理，步骤如下：

首先，根据步骤2)中所述控制播放待实验测试的立体图像的方法,在实验结束后每个 压缩质量等级下每幅立体图像的质量评价测试中获得的△t₂的数据值会包含15个拐点。

接着，计算最后8个拐点的平均值，并将计算得到的平均值关联对应于该压缩质量等级 下的失真立体图像的压缩度。

然后，通过数据处理得到的平均值(阈限值)映射为能被人眼觉察的最小可觉察差值。如 果压缩度高于人类视觉的敏感门限,则表明其能够被人眼觉察,否则被忽略。

最后，将每个压缩质量等级下所对应的最小可觉察差值输出为可视化结果。

同时，也可将测试者的不同反应程度输出为可视化结果，除了将显示器作为可视化信号 输出界面以外，信号输出界面还可以包括其它设备的联结与操作，从而应用到广泛的测评设 备中。

与现有的图像质量评价方法相比较，本发明从视觉感知和人眼的注意机制出发,结合心理 物理学的方法,建立了一个基于视觉感知的立体图像质量主观评价模型，保证了图像质量评价 输出值与主观感知的一致性。本发明能够克服现有主观质量评测的不足,不仅操作简单而且 评价结果更加有效、准确和稳定，从而也为立体图像客观评价的正确与否提供可靠支撑。

虽然本发明已以优选实例公开如上，然而所公开实例并非用以限制本发明的范围。可以 理解：在不脱离本发明的精神的情况下，在此可以产生各种附加、修改和替换。本领域普通 技术人员很清楚：在不脱离本发明的精神或本质特性的情况下，可以以其他特殊形式、结构、 布置、比例、以及利用其他元件、材料和部件来实现本发明。本领域的技术人员将意识到： 本发明可以使用发明实际中使用的结构、布置、比例、材料以及部件和其他的许多修改，这 些修改在不脱离本发明的原理的情况下而特别适应于特殊环境和操作需求。因此，当前公开 的实施例在所有方面应被理解为说明性的而非对其请求保护的范围的限制。