基于人类视觉系统的图像信息感知和图像质量评价

摘要

图像是多媒体信息时代的主要数字信息资源。如何从海量的图像数据中迅速而准确地搜寻到我们所需的信息成为研究热点。作为一个高级视觉信息感知系统,人类视觉系统能高效地处理图像内容。因此,研究人类视觉系统的视觉信息感知特性能有效提升计算机处理图像的能力。本文探索了人类视觉系统的感知特性,重点探讨了视觉感知初期的视觉关注特性、视觉感知过程中的视觉分辨能力、以及视觉感知后期对图像质量的综合体验,并研究了其在数字图像处理中的建模及应用,这其中包括图像显著性检测算法、图像恰可识别失真阈值估计算法、图像质量评价算法。在视觉信息感知初期,人类视觉系统并非对所有图像区域平等地进行处理,而是通过视觉关注机制筛选出重要区域以进行进一步的优先解读。基于视觉关注的图像显著性检测算法能有效减少待处理图像内容,从而提升图像处理效率。对于输入视觉信息的感知过程中,由于视觉系统的分辨能力有限,无法察觉出处于一定阈值以下的信号内容变化。恰可识别失真阈值表征视觉系统感知能力,可有效去除图像冗余信息,从而提升图像压缩性能。对于一幅待处理的图像,其质量直接决定了主观视觉对其的认知充分性和准确性。图像客观质量评价算法能够预测主观视觉对图像内容的综合体验,可用来优化以视觉质量为目的的图像处理系统。本文的具体研究内容包括以下三个方面:
　　(1)探寻视觉感知初期视觉关注特性,研究图像内容特性对视觉关注的吸引作用。针对视觉系统更加关注那些与周边具有不同特征的图像区域,提出了一种简单的基于内容对比度的图像显著性目标提取算法:首先,通过分析主观视觉关注研究成果,总结影响视觉关注的图像特征;然后,根据亮度对比度、边缘对比度等图像内容特性来度量图像内容的显著性;最后,根据显著性指导提取图像中感兴趣目标。
　　进一步地,我们深入分析视觉系统的关注特性,针对人类视觉系统更加关注视觉信息丰富的图像区域,提出了基于视觉信息量的图像显著性检测算法:首先通过估计图像像素间的相关性,度量图像内容的视觉冗余程度;接着,根据像素的分布特性,计算图像内容的信息熵;然后,从信息熵中去除图像的视觉冗余,获得图像内容的视觉信息量;最后,采用视觉信息量来度量图像显著性,从而建立显著性检测模型。
　　(2)探索视觉感知过程中的视觉分辨能力,研究图像内容区域的恰可识别失真阈值。视觉系统非常善于提取图像的结构信息,并通过结构比对及模式匹配来理解图像内容,因此视觉系统对具有自相似结构区域分辨能力强。针对人类视觉系统对具有规则内容的图像区域高度敏感,提出了基于结构自相似性的恰可识别失真阈值估计算法:根据相邻像素间的相似性,首先度量图像内容的结构自相似程度;然后,根据结构自相似性提出了新的空域掩模方程;最后,结合现有的亮度敏感度方程和所提空域掩模方程,建立恰可识别失真阈值估计模型。
　　进一步地,根据最新大脑认知研究提出了的自由能量新理论,分析主观视觉对图像信息的分辨能力。自由能量理论指出,视觉系统能准确解读有序图像内容,而无法准确解读图像不确定信息并忽略该部分内容的细节。针对人类视觉系统无法准确解读图像中的不确定信息,提出了基于自由能量理论的恰可识别阈值估计算法:根据这一感知特性,模拟视觉系统对输入信号的积极预测过程,将图像分解为可预测内容及不确定信息;然后,分别计算图像可预测内容及不确定信息这两部分的视觉分辨能力;最后,结合两者确定图像的恰可识别失真阈值。
　　此外,根据自由能量理论指导,系统地分析图像结构不确定性对视觉分辨能力的作用,提出了基于结构不确定性的模块掩膜效应估计算法:首先,根据自由能量理论指导分解出图像不确定信息;接着,对图像不确定信息采用局部二值模式度量其结构不确定性;然后,根据结构不确定性及亮度适应性计算视觉的模块掩膜效应;最后,根据模块掩膜效应提出了新的恰可识别阈值计算方程。
　　(3)探讨视觉感知后期主观视觉对图像质量的综合体验,研究噪声对图像质量的衰减作用。根据内在推导机制理论,不同类型噪声将对可预测的主要视觉内容及残余的不确定信息这两部分内容造成不同的影响,并导致不同的质量衰退结果。针对这一感知特性,提出了基于内在推导机制的全参考图像质量评价模型:根据内在推导机制理论,我们首先分析噪声对图像主要视觉内容及不确定信息的质量衰退的作用;然后,分别计算图像的主要视觉内容衰减程度及不确定信息的变化情况;最后,根据噪声能量的分布情况非线性结合这两部分内容的评价结果,获得图像的最终质量。
　　此外,针对一些应用场景中仅存在部分原参考信息,我们研究部分参考质量评价模型。大脑的内在推导机制理论指出噪声将影响图像的主要视觉内容及不确定信息。根据噪声对视觉信息的衰减作用,提出了基于视觉信息保真的部分参考图像质量评价模型:首先,分别计算原参考图像与待测图像的主要视觉内容及不确定信息的具体信息量;然后,通过度量主要视觉内容及不确定信息的信息量衰减情况,从而得出图像质量。
　　为了更加准确度量图像质量衰减情况,根据噪声对图像结构内容的破坏作用,提出了基于图像结构衰减的部分参考图像质量评价模型:首先,采用局部二值模式分析图像结构特性;然后,计算每个局部二值模式所对应的图像结构衰减情况;最后,融合所有局部二值模式下的结构衰减程度获得图像质量。
　　上述研究成果从主观视觉感知的角度对图像处理进行分析与研究,具有一定的前瞻性和挑战性。本文在理论分析上取得一些突破,在技术实现上具有一些创新,为基于主观视觉感知的客观图像处理开辟了新的思路,具有重要的理论意义及实用价值。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 课题的研究背景及意义

1.2 本文的主要工作

1.3 本文的内容组织

第二章 人类视觉系统及视觉特性

2.1 人类视觉系统的基本组成

2.2 视觉机制特性

2.3 本章小结

第三章 基于视觉关注的图像内容显著性检测

3.1 引言

3.2 基于内容对比度的图像感兴趣区域提取

3.3 基于视觉信息量的图像显著性计算

3.4 本章小结

第四章 基于视觉分辨能力的图像恰可识别失真阈值度量

4.1 引言

4.2 基于结构自相似性的恰可识别失真阈值估计

4.3 基于自由能量理论的恰可识别失真阈值估计

4.4 基于结构不确定性的模块掩膜效应

4.5 本章小结

第五章 基于视觉感知的图像质量评价

5.1 引言

5.2 基于视觉内在推导机制的全参考评价

5.3 基于视觉信息量衰减的部分参考图像质量评价

5.4 基于视觉结构衰减的部分参考图像质量评价

5.5 本章小结

第六章 总结与展望

6.1 本文总结

6.2 工作展望

致谢

参考文献

攻读博士学位期间的研究成果