高放大因子下的图像超分辨率方法的研究

摘要

超分辨率技术(Super-Resolution，SR)可以理解为从观察和采集到的低分辨率图像中恢复出像素密度比较高的、图像质量比较好的高分辨率图像的过程。图像超分辨技术在实际的日常生活中应用广泛，比如违章车牌的拍摄、医学图像的诊断以及常用的电子资料的打印等，都有十分重要的应用价值。图像超分辨率重建技术可以分为两大类:从多张低分辨率图像重建出所对应的高分辨率图像，以及从单张低分辨率图像重建出所对应的高分辨率图像。本文所研究的超分辨率技术主要是由输入的一幅低分辨率图像重建出相应的高分辨率图像的方法，因此称为单幅图像的超分辨率(SISR)。然而，由于低分辨率图像在退化模型的处理下丢失了许多重要的高频信息。因此，图像超分辨率重建是一个病态问题，仍然是一项挑战性的工作。
　　基于单幅图像SR重建方法主要分为基于插值的单幅图像超分辨率、基于重建的单幅图像超分辨率以及基于学习的单幅图像超分辨率三大类。目前基于学习的超分辨率方法主要是利用了低分辨率图像(LR）和高分辨率图像(HR)之间的常见的先验知识和空间相似性来建立相关的映射关系，然后使用这个映射关系从LR图像估计HR图像。基于学习的方法可以很好地恢复图像中丢失的信息，然而，它们很大程度依靠训练集和测试图像之间的相似性。如果训练集不合适的情况下，一些不想要的人工伪细节产生，因此外加约束的先验知识需要抑制这一结果的产生。
　　本文提出了三种基于学习的图像超分辨率的算法，主要包括以下三个部分:
　　首先，在第一部分基于自身样例学习和稀疏表示的图像超分辨率算法中主要是采用单个图像的自身样例学习的方法和稀疏字典学习的方法来估计出高频信息(HF)。传统的稀疏重建的方法主要是利用外部训练字典重建高频信息。本文提出了一种利用内部样例和外部字典训练相结合的方法重建高频信息。在训练阶段该方法首先利用内部样例训练的方法重建出主要高频特征(MHF)，然后再利用外部字典训练的方法训练稀疏字典对。在图像重建阶段，首先利用内部样例训练的方法重建出主要高频特征(MHF)，然后再利用稀疏的方法重建出残差高频特征(RHF)。该算法可以重建出比较好的高频信息以及结合了稀疏字典的方法进行学习和重建，得到了比较好的高分辨率图像。实验表明，所提出的方法的性能指标好于现有的超分辨率算法。
　　在第二部分基于迭代反投影以及非局部特征加强的图像超分辨率算法的研究中，本文算法是基于锚点邻域回归思想改进的一个有效的单幅图像的超分辨率方法(SISR)。由于在大部分基于锚点回归的图像超分辨率的方法中，线性匹配函数中的低分辨率特征是从对低分辨率图像(LR)使用双三次插值放大后的图像中直接提取的。然而本文使用迭代反投影的方法先对双三次插值图像加强，然后对加强后的图像提取低分辨率特征。此外对提取的低分辨率特征，进行K-means聚类，聚成M类，对每个子类使用PCA进行降维，以及学习M类投影矩阵。通过这种自适应选择PCA和投影矩阵的方法得到了细节更丰富的高频图像特征。最后，对高分辨率图像中的图像块在高分辨率图像的内部查找相似块，使用非局部相似块增强得到加强后的高分辨率图像。从实验结果中可以看出，本文所提出的算法优于所对比的其它同类算法。
　　在第三部分基于锚点回归和邻域嵌入的图像超分辨率算法的研究中，对于邻域嵌入的方法来说，都是假定低分辨率图像中的图像块和高分辨率图像中的图像块之间存在着相似的几何流形结构，都是用低分辨率图像空间的几何对偶性来重建高分辨率图像空间，但是忽视了原始高分辨率图像空间之间的几何对偶性。因此本文尝试着用原始高分辨率图像之间的几何对偶性来重建高分辨率图像。本文所提出的方法，主要是利用两个外部训练集。第一个训练集用来重建初始的高分辨率图像IOR。对初始的高分辨率图像IOR中的图像块在第二个训练集查找相似的高分辨率图像块，利用找到的高分辨率图像块之间的几何对偶性重建出第二个高分辨率图像LmidSR。最后使用迭代反投影加强高分辨率图像IOR和ImidSR之间连贯性，得到最终的高分辨率图像ISR。

目录

摘要

1绪论

1．1图像超分辨率算法的研究背景与意义

1．2国内外研究现状

1．3本文的研究内容

1．4本文的章节安排

2图像超分辨率算法的概述

2．1基于插值的图像超分辨率算法

2．2基于重建的图像超分辨率算法

2．3基于学习的图像超分辨率算法

2．3．1基于邻域嵌入的图像超分辨率算法

2．3．2基于稀疏表示的图像超分辨率算法

2．3．3基于锚点回归的图像超分辨率算法

2．3．4基于深度学习的图像超分辨率算法

2．4超分辨率图像的评价指标

2．4．1峰值信噪比

2．4．2结构相似性

2．5本章小结

3基于自身样例和稀疏表示的图像超分辨率算法的研究

3．1引言

3．2两种方法的回顾

3．3所提出的方法

3．4实验结果

3．5本章小结

4基于迭代反投影和非局部特征加强的图像超分辨率算法的研究

4．1引言

4．2所提出的方法

4．2．1收集高低训练集

4．2．2自适应选择子字典

4．2．3训练线性映射函数

4．2．4重建高分辨率图像

4．2．5非局部相似加强

4．3实验结果

4．4本章小结

5基于锚点回归和邻域嵌入图像超分辨率算法的研究

5．1引言

5．2所提出的方法

5．2．1训练投影矩阵

5．2．2重建初始高分辨率图像

5．2．3重建第二个高分辨率图像

5．2．4输出最终的高分辨率图像

5．3实验结果

5．4本章小结

6总结与展望

6．1论文工作总结

6．2今后工作展望

参考文献

攻读硕士学位期间取得的研究成果

致谢

声明