基于CNN的无参考立体图像质量评估算法的研究与实现

摘要

近年来，伴随着多媒体技术的快速发展，图像信息在日常生活中使用的越加广泛。图像信息表达直观、丰富，而尤其以立体图像能给人以真实的临场感受，带来了新的诸多应用。但是在立体图像成像过程中的图像信息采集、压缩、传输、解码、显示过程中，如何合理又高效的对图像信息进行图像质量的评估，将对后期能否对图像进行行之有效的处理有极大的影响。以往通常使用利用人工对图像进行主观观测的方式来获得图像的质量评价，但是这样做在耗费大量人力及时间的基础上，将极大程度上影响多媒体系统的效率。在使用计算机技术评估方面，由于立体图像自身结构特点，当前诸多算法仍存在应用环境不广，评测效率低下等缺点。因此，当前迫切的需要一种不用依靠人工，能够自动且高效的评估手段，对立体图像质量进行评估。
　　随着机器学习的快速发展，近十年来以卷积神经网络为主的深度学习技术在物体识别、图像理解等方面取得了突破性的进展。包括卷积神经网络在内的深度学习模型，能通过对海量数据深度挖掘，提取数据深层特征信息，以自学习的方式对目标进行求解，有效解决相关问题。因此，本文提出使用卷积神经网络，利用平面图像、立体图像中的视图信息和差分信息，构建一类无参考立体图像质量评估算法。本文具体工作及创新点如下:
　　1、利用卷积网络能高效处理图像信息的优势，使用卷积神经网络处理立体图像质量评估问题，深度挖掘立体图像空间信息，将特征学习和目标训练结合为一个有机的整体，并利用卷积神经网络自学习能力，在不借助原始图像基础上，构建无参考的评价方式，避免了算法使用的局限性，大大提升了算法的应用场景。
　　2、针对立体图像结构特点，构造三组数据来源不同的卷积神经网络模型，从不同角度挖掘图像深层信息与主观质量映射关系。充分利用多通道效应、立体感知等模仿人眼视觉特性。分析来自立体图像中的视图信息和差分信息，有效学习图像中的空间结构，将各类信息进行多通道回归分析，拟合于图像主观质量分数。
　　3、基于多组卷积神经网络的研究，考察对于立体图像数据库不充足缺陷的解决办法。通过对立体图像中差分信息和视图信息的处理，利用两者间的结构相似性，使用迁移学习将平面图像信息应用与立体图像质量评估算法中，以此在扩充数据库的前提下，提升网络学习的能力及泛化能力。
　　本文通过使用LIVE2D、LIVE3D、IVC图像数据库中相关图像对本文所提出的模型进行验证，最终得到本模型在同数据库和跨数据库训练环境下，模型评价效果与主观评价模型有很高的一致性，且评估水平超过了各大主流评估算法。因此，本文克服了传统方法浪费人力、应用场景不足的缺点，为进一步对立体图像质量进行评估有一定的参考价值和实践意义。

目录

声明

摘要

第一章 绪论

1．1 研究背景

1．2 图像质量评估方法研究现状

1．2．1 主观质量评价方法

1．2．2 客观质量评价方法

1．3 本文创新点

1．4 论文的组织结构

第二章 理论知识介绍

2．1 人工神经网络

2．1．1 神经元

2．1．2 神经网络模型

2．1．3 反向传播算法

2．2 卷积神经网络

2．2．1 卷积神经网络结构

2．2．2 卷积网络结构特征

2．3 本章小结

第三章 基于单一信息的立体图像质量评估

3．1 单一信息卷积网络设计

3．1．1 图像块预处理

3．1．2 卷积层

3．1．3 池化层

3．1．4 多层感知机

3．2 网络实现细节

3．2．1 网络结构框图

3．2．2 训练过程

3．3 数据库介绍

3．4 实验与分析

3．4．1 图像质量评估算法评价参数介绍

3．4．2 实验结果

3．5 本章小结

第四章 基于复合信息的立体图像质量评估

4．1 三通道卷积网络设计

4．2 平面图像到立体图像的迁移学习

4．3 数据库介绍

4．3．1 LIVE 2D自然图像数据库

4．3．2 LIVE立体图像库Phase-Ⅱ

4．3．3 IVC立体图像库

4．4 实验结果及分析

4．4．1 复合信息模型对立体图像质量的评价

4．4．2 不同失真类型图像的效果

4．4．3 LIVE 3D Phase-Ⅱ交叉验证

4．4．4 IVC数据库交叉验证

4．4．5 卷积核对算法的影响

4．4．6 利用平面图像进行迁移学习的影响

4．5 本章小结

第五章 总结与展望

5．1 本文的工作总结

5．2 工作展望

参考文献

致谢

攻读学位期间发表的学术论文和参加科研情况