基于视觉计算和人类感知的图像质量评价研究

摘要

视觉作为人类最重要的感知机制之一，构成了人类日常生活中百分之八十以上的信息来源。亿万年间，视觉帮助人类学习关键知识、理解生存环境，成就今天高度发达的现代社会。上世纪，自照相机的发明，人类社会跨入了视觉信息的时代。近几十年来，数字图像逐渐成为日常生活中应用最广泛、最高效的信息媒介之一。学术界为求图像的高保真、高质量开展了大量研究。然而伴随着图像的采集，传输、处理以及存储等过程，图像不可避免地遭受不同类型、不同程度的失真。因此，为减弱图像失真、优化图像处理系统、提高用户观看体验，图像质量评价的需求应运而生。
　　基于人类感知与视觉计算，本文旨在：1）基于视觉系统与高层感知机制，提供就图像质量评价全面且深入的分析与研究；2）建立符合人类主观质量认知的客观图像质量评价准则及相关方法。为此，本文系统并全面地探讨了影响人类视觉质量感知的各方面因素，深入地分析了针对图像质量具有敏感性的各类图像特征指标。考虑人类定性质量评价现象、结合人类视觉注意机制、引入无监督视觉质量特征学习理论，本文创新地提出了若干突破性思路，建立了新颖的图像质量客观评价体系与方法，探索了图像质量评价领域的未来研究方向。
　　具体而言，本文所提方法与主要贡献如下：
　　1）提出了一种基于模糊分类的部分参考型图像质量评价方法。通过引入人类对图像质量感知的定性评价准则，结合模糊集合理论，针对通信系统特定应用环境，本章提出了一种快速、有效的部分参考型图像质量评价方法。该方法将图像质量空间等分为若干模糊集合，借助小波域自然场景统计特征，训练基于人工神经网络的模糊分类器。待测图像质量得分由模糊集合及其对应隶属度去模糊求得。在通用数据库上充分的实验结果验证了该方法的有效性与准确性，并且与同类典型方法相比具有一定优越性。
　　2）提出了一种基于深度学习网络的无参考型图像质量评价方法。人类视觉系统具有典型的深度层级结构，因而产生复杂的非线性映射。传统机器学习理论受限于学习层数过少，无法准确刻画高度的非线性结构，因此在建模人类视觉系统上捉襟见肘。本章结合深度学习网络，探索了图像质量的自然语言定性描述规则，建立了统一的深度学习图像质量评价模型。具体而言，利用小波域自然场景统计特征，待测图像经由判别性深度学习网络被分为“优秀”、“好”、“良”、“差”以及“极差”五类。结合贝叶斯理论，创新地设计了图像质量综合模块，得到了包括图像质量定性描述、定量评价以及质量分布的图像质量分层描述规则以迎合不同应用场合需求。实验证明其性能优于同类经典方法，同时验证了基于分类的质量评价模型较基于回归的方法具有更好的小样本鲁棒性以及建模人类感知的合理性。
　　3）提出了一种基于信息散度的视觉显著性检测方法服务于后续质量评价研究。视觉显著性检测通过有效降低视觉冗余信息、强调视觉重要区域从而改变人类视觉质量感知结果。基于信息差异导致视觉显著性这一假设，本章设计了信息散度针对信息差异的描述规则，提出了一种有效的两步法框架用于视觉显著性检测。其中，首先利用独立成分分析，结合高斯差分滤波，有效地获得图像的稀疏特征；其次，结合贝叶斯惊奇模型分析计算图像的信息散度，进而得到图像的显著性度量。多种数据库上的大量实验结果表明此方法较同类典型方法具有更好的主客观一致性。
　　4）提出了一种视觉显著性引导的无参考型图像质量深度评价方法。受视觉注意机制影响人类质量感知启发，本章结合了信息散度视觉注意模型和图像质量深度学习网络模型，提出了一种统一、有效的无参考型图像质量评价模型。首先，利用视觉显著性加权的小波域自然场景统计特征训练深度学习质量评价网络；分类结果连同置信概率输入基于贝叶斯理论的图像质量综合模块；最终输出图像质量分层描述结果。实验验证了所提方法在通用数据库上的有效性，证实了视觉注意的引入对图像质量评价的促进作用。
　　5）提出了一种视觉显著性引导的图像质量特征学习方法。现有图像质量评价模型大多手动设计与微调图像质量特征，其费时费力且极大限制了图像质量评价方法的灵活性与适用性。为解决这一问题，本章提出了一种视觉显著性引导的无监督质量特征学习方法。具体而言，首先利用信息散度检测视觉显著区域；进而结合独立成分分析，设计了图像质量特征的全局编码方法。所得特征用于无参考型图像质量深度评价方法，在通用数据库上取得了与典型方法相当的评价性能，验证了该特征学习方法对图像质量编码与表示的有效性。
　　本文通过探索基于人类感知和视觉计算的图像质量评价模型以及相关领域的研究方法，尝试回答计算机视觉领域的基本问题之一：人类是如何“看”的。通过跨学科地结合神经心理学、生理学、机器学习等领域最新研究成果，本文所涉及方法，从部分参考型图像质量评价，到无参考型质量评价模型，进而深入基于视觉注意的质量描述，从不同角度、不同方向，系统全面地分析了基于人类感知和视觉计算的图像质量评价领域。文中所提新方法、新观点为图像质量评价领域的未来研究方向提供了一定的参考和有益的借鉴。

目录

封面

声明

英文摘要

中文摘要

插图索引

表格索引

符号对照表

缩略语对照表

目录

1. Introduction

1.1 Background

1.2 Related Works

1.3 Challenges and Contributions

1.4 Organization

2. Evaluating Image Quality by Fuzzy Theory

2.1 Background

2.2 Natural Scene Statistics

2.3 RR-IQA based on Fuzzy Classification

2.4 Experiment and Analysis

2.5 Summary

3. Modelling Deep Architecture for Quality Perception

3.1 Background

3.2 BIQA via Deep Learning

3.3 Experiment and Analysis

3.4 Summary

4. Predicting Visual Attention via Information Divergence

4.1 Background

4.2 Saliency Detection via Information Divergence

4.3 Experiment and Analysis

4.4 Summary

5. Guiding Quality Evaluation by Visual Attention

5.1 Background

5.2 Saliency-guided Deep Framework for IQA

5.3 Experiment and Analysis

5.4 Summary

6. Learning Features for Quality Assessment

6.1 Background

6.2 Saliency-guided Feature Learning for IQA

6.3 Experiment and Analysis

6.4 Summary

7. Conclusions and Future Works

7.1 Conclusions

7.2 Future Works

参考文献

致谢

作者简介