一种基于小波变换域压缩感知的超分辨率图像复原方法

摘要

本发明公开了一种基于小波变换域压缩感知的超分辨率图像复原方法，解决了现有基于压缩感知超分辨率图像复原技术的缺点与不足。该基于小波变换域压缩感知的超分辨率图像复原方法包括训练过程和复原过程，通过结合小波变换和压缩感知的特点，对小波域细节子带进行压缩感知，直接实现细节子带的超分辨率复原，进而结合原始低分辨率图像实现高分辨率图像复原，从而为超分辨率图像复原提供了更有力的技术支持。

说明书

技术领域

本发明涉及图像复原技术领域，具体的说，是涉及一种基于小波变换域压缩感知的超分辨率图像复原方法。

背景技术

超分辨率图像复原是指用信号处理的方法从低分辨率图像重建高分辨率图像的技术。超分辨率图像复原技术可改善由于图像离散化、退化引起的分辨率下降，弥补原有图像分辨的不足，突破图像获取手段分辨率的极限，发掘现有图像数据深层信息的潜力。在医学诊断、模式识别、视频监控、生物鉴别、高清晰电视成像、遥感图像解译、高空对地观测等领域有着广泛的应用。

现有的超分辨图像复原技术大体可分为三类：基于插值的方法、基于重构的方法和基于学习的方法。

基于插值的方法针对单幅图像，通过设计具有局部平滑性的插值核函数来估计高分辨图像网格上的未知像素值，从而达到提高分辨率的目的，如双线性插值、双三次插值等。基于插值的方法是早期研究的一类主要方法，优点在于简单、快速，便于实时应用；其缺点在于不能有效恢复低分辨图像中丢失的高频信息，容易导致图像模糊，满足不了实际应用。

基于重构的方法针对自来同一场景但彼此之间存在亚像素位移的多幅低分辨图像，在考虑多种图像降质因素的基础上建立图像降质模型，然后利用信号处理方法求解降质模型逆过程，即从低分辨率图像序列估计出高分辨图像。因为利用了多幅低分辨图像的互补信息以及降质过程的先验知识，从而可获得更好质量的高分辨复原图像，其缺点在于放大倍数比较大时，超分辨图像的质量不能令人满意，会出现图像细节信息丢失，边缘模糊等情况。

基于学习的方法借助机器学习，通过加入一些先验约束来学习低分辨与高分辨图像之间的某种映射关系，预测低分辨图像中丢失的高频细节信息，从而生成超分辨图像。这类方法由于其现有和潜在的诸多优点，近年来受到了专家和学者的广泛关注。其中最近几年出现的基于压缩感知的超分辨率复原是目前公认的一种具有较好前景的方法。该方法利用图像的稀疏特性，认为低分辨率图像具有与高分辨图像相同的稀疏描述，通过训练获得低分辨率图像和高分辨率图像的超完备字典，然后从低分辨率字典中查找图像的稀疏描述，并由此稀疏描述从高分辨率字典中重构高分辨率图像。然而，通过模拟仿真我们发现，这种方法应用于实际图像时存在完备集字典中原子个数居高不下以及图像稀疏描述的稀疏度较高的缺陷。这两个缺陷将进一步导致训练时间长，复原过程计算复杂度高，复原高分辨率图像质量不稳定等问题。究其原因，主要有两个方面，一是该方法直接在空间域进行稀疏描述，从而导致图像稀疏描述的稀疏度较高。二是对所有图像块一视同仁，没有考虑不同类别图像块的特点，从而导致训练所得完备字典原子数居高不下，且对复杂图像复原结果欠佳等问题。

发明内容

本发明的目的在于解决现有技术所存在的问题，提供了一种实现方便、基于小波变换域压缩感知的超分辨率图像复原方法。

为了实现上述目的，本发明采用以下技术方案：

一种基于小波变换域压缩感知的超分辨率图像复原方法，包括以下步骤：

(1)训练：

(101)收集若干高分辨率图像；

(102)对每幅高分辨率图像进行下采样，获得对应的低分辨率图像；

(103)对每对高分辨率/低分辨率图像进行一级小波变换，得到高分辨率/低分辨率图像的HL，LH，HH细节子带图像；

(104)从各类细节子带图像中随机采样若干高分辨率/低分辨率样本块对，并建立相应的训练样本集对：

(105)利用各类细节子带图像的训练样本集对，根据压缩感知理论，训练各类细节子带图像对应的高分辨率字典和低分辨率字典对：

(2)复原：

(201)输入低分辨率图像；

(202)对输入的低分辨率图像进行一级小波变换，得到其HL，LH，HH细节子带图像

(203)将步骤(202)获得的细节子带图像划分为N×N大小的不重叠块；

(204)据压缩感知理论，利用所述步骤(105)获得的低分辨率字典优化求解每块的稀疏描述；

(205)根据压缩感知理论，由每块的稀疏描述复原其对应的M×M大小的高分辨率细节块；

(206)由高分辨率细节块构建大小与所述步骤(201)中原始低分辨率图像相同的高分辨HL，LH，HH细节子带图像；

(207)将所述步骤(201)中的低分辨率图像作为LL子带，结合所述步骤(206)得到的三个高分辨率HL，LH，HH细节子带，做一级小波反变换，获得高分辨率复原图像。

进一步的，所述步骤(102)中下采样的行列采样间隔均为2。即低分辨率图像的行列数分别为高分辨率图像的1/2.

进一步的，所述步骤(103)中小波变换选用Daubechies系列小波基中的一种，且所述步骤(202)中小波变换和所述步骤(207)中小波反变换采用与所述步骤(102)中小波变换一样的小波基。

进一步的，所述步骤(104)的具体方法如下：对每一对高分辨率图像和低分辨率图像，从其对应的细节子带对中随机采样若干M×M大小的高分辨样本块和N×N大小的低分辨率样本块，将高分辨样本块和低分辨率样本块一维化后，放入对应的高分辨率子带训练集和低分辨率子带训练集中。

进一步的，所述步骤(105)中，通过交替固定Dc和Z来求解公式(1)所描述优化问题来实现各类细节子带图像的低分辨字典D_l和高分辨字典D_h的训练：

$\underset{\{D_l,D_h,Z)}{min}{||X_c-D_{c}Z||}_2^2+\lambda (\frac{1}{N^2}+\frac{1}{M^2}{||Z||}_1---\left(1\right)$

其中，

式中，X_h表示细节子带图像的高分辨率样本块集合，Y_l表示细节子带图像的低分辨率样本块集合，λ为常数，Z为高分辨和低分辨子带图像块共同对应的稀疏描述集，该优化过程需要做三次，分别针对HL，LH，HH细节子带集。

进一步的，所述步骤(203)中，若细节子带图像的高或宽不是N的整数倍，则采用边界拓展法将细节子带图像的宽高扩展到N的整数倍。

进一步的，所述步骤(204)中，对细节子带图像B^XX的每一N×N大小的块y^XX，利用低分辨字典采用线性规划方法解公式(2)所描述优化问题获得α的最优解，即y^XX的稀疏描述α^XX：

$\underset{\alpha }{min}{||D_l^{XX}\alpha -y^{XX}||}_2^2+\lambda {||\alpha ||}_1---\left(2\right)$

其中，XX∈{HL,LH,HH}。

式中，表示某类低分辨字典，y^XX代表低分辨某类细节子带图像的N×N大小块，λ为常数，α为子带图像块的稀疏描述。

进一步的，所述步骤(205)中，每一N×N大小的块y^XX的稀疏描述α^XX，采用公式(3)获得其对应的M×M大小的高分辨细节子带图像块x^XX。

$x^{XX}=D_h^{XX}{\alpha }^{XX}---\left(3\right)$

其中，XX∈{HL,LH,HH}。

式中，表示某类高分辨字典。

进一步的，所述步骤(206)中，在高分辨细节子带图像的构建过程中，M×M大小的高分辨细节子带图像块x^XX的放置位置与其对应的N×N大小的块y^XX相同。

进一步的，所述高分辨细节子带图像块x^XX的尺寸M为y^XX尺寸N的2倍。

与现有技术相比，本发明具有以下有益效果：

本发明克服了目前基于压缩感知的超分辨率图像复原技术的缺点与不足，通过结合小波变换和压缩感知的特点，对小波变换域细节子带进行压缩感知，直接实现细节子带的超分辨率复原，进而结合低分辨率图像实现高分辨率图像复原，从而为超分辨率图像复原提供了更有力的技术支持。

附图说明

图1为本发明用于超分辨率图像复原的训练过程方法流程图。

图2为本发明用于超分辨率图像复原的复原过程方法流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况，本文中术语“/和”是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况，另外，本文中字符“/”，一般表示前后关联对象是一种“或”关系。

实施例

如图1-2所示，本实施例提供了一种基于小波变换域压缩感知的超分辨率复原方法，该方法结合小波变换和压缩感知的特点，对小波变换域细节子带进行压缩感知，直接实现细节子带的超分辨率复原，进而结合低分辨率图像实现高分辨率图像复原。

基于小波变换域压缩感知的超分辨率复原方法主要包括两个过程：训练过程和复原过程。下面，对各过程进行详细说明：

一、训练过程

(101)收集若干高分辨率图像；图像的收集可以来自网页，也可来自专业图像库。

(102)对每幅高分辨率图像进行下采样，获得对应的低分辨率图像；相应的高分辨率图像和其对应的低分辨率图像可以构成一对高分辨率/低分辨率图像；在本实施例中，下采样的行列采样间隔均为2，即低分辨率图像的行列数分别为高分辨率图像的1/2。

(103)对每对高分辨率/低分辨率图像进行一级小波变换，得到高分辨率/低分辨率图像的HL，LH，HH细节子带图像；其中，小波变换选用Daubechies系列小波基中的一种。小波变换是一种现有的变换分析方法，它继承和发展了短时傅立叶变换局部化的思想，同时又克服了窗口大小不随频率变化等缺点，能够提供一个随频率改变的“时间-频率”窗口，是进行信号时频分析和处理的理想工具。它的主要特点是通过变换能够充分突出问题某些方面的特征，能对时间(空间)频率的局部化分析，通过伸缩平移运算对信号(函数)逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求。

(104)从各类细节子带图像中随机采样若干高分辨率/低分辨率样本块对，并建立相应的训练样本集对：小波变换后得到的细节子带图像类型有：HL，LH，HH，在本步骤中，即对每一类的细节子带图像进行随机采样，并建立对应的样本集；具体的说：对每一对高分辨率图像和低分辨率图像，从其对应的细节子带对中随机采样若干M×M大小的高分辨样本块和N×N大小的低分辨率样本块，将高分辨样本块和低分辨率样本块一维化后，放入对应的高分辨率子带训练集和低分辨率子带训练集中。以HL细节子带为例，具体为：对每一对高分辨和低分辨图像，从其对应的HL细节子带对中随机采样若干M×M大小的高分辨样本块和N×N大小的低分辨率样本块，将他们一维化后放入对应的高分辨率子带训练集和低分辨率子带训练集中；训练样本集的大小一般为5000-10000。低分辨细节样本块的尺寸N一般为6-10。高分辨细节样本块的尺寸M通常为N的两倍。

(105)利用各类细节子带图像的训练样本集对，根据压缩感知理论，训练各类细节子带图像对应的高分辨率字典和低分辨率字典对：其中，低分辨字典为高分辨字典为压缩感知理论，也称压缩采样、压缩传感，它通过开发信号的稀疏特性，在远小于Nyquist采样率的条件下，用随机采样获取信号的离散样本，然后通过非线性重建算法完美的重建信号。在本步骤中，通过交替固定D_c和Z求解公式(1)所描述优化问题来实现各类细节子带图像的低分辨字典D_l和高分辨字典D_h的训练：

$\underset{\{D_l,D_h,Z)}{min}{||X_c-D_{c}Z||}_2^2+\lambda (\frac{1}{N^2}+\frac{1}{M^2}{||Z||}_1---\left(1\right)$

其中，

式中，X_h表示细节子带图像的高分辨率样本块集合，Y_l表示细节子带图像的低分辨率样本块集合，λ为常数，Z为高分辨和低分辨子带图像块共同对应的稀疏描述集合。

以HL细节子带为例，具体为：求解下列公式所描述优化问题来实现其低分辨字典和高分辨字典的训练：

$\underset{\{D_l^{HL},D_h^{HL},Z)}{min}{||X_c^{HL}-D_c^{HL}Z||}_2^2+\lambda (\frac{1}{N^2}+\frac{1}{M^2}){||Z||}_1$

其中，

高分辨率字典/低分辨率字典的尺寸，即原子的个数选择需要折中考虑计算复杂度和图像复原质量，一般为256-1024。

完成训练过程后，需要基于训练结果，完成复原过程，具体如下：

二、复原过程

(201)输入一幅低分辨率图像；该低分辨率图像为原始输入图像。

(202)对输入的低分辨率图像进行一级小波变换，得到其HL，LH，HH细节子带图像{B^HL，B^LH，B^HH}；在本步骤中，小波变换所采用的小基波与步骤(103)中的小基波完全一致。

(203)将步骤(202)获得的细节子带图像划分为N×N大小的不重叠块；本步骤中，在块划分过程中，块的大小与步骤(104)采用的N完全一致，如果细节子带图像的高或宽不是N的整数倍，用边界拓展法如补零、反折或边界拷贝中的一种将细节子带图像的宽高扩展到N的整数倍。

(204)据压缩感知理论，利用所述步骤(105)获得的低分辨率字典优化求解每块的稀疏描述；在本步骤中，对细节子带图像B^XX的每一N×N大小的块y^XX，利用低分辨字典采用线性规划方法解公式(2)所描述优化问题获得α的最优解，即y^XX的稀疏描述α^XX：

$\underset{\alpha }{min}{||D_l^{XX}\alpha -y^{XX}||}_2^2+\lambda {||\alpha ||}_1---\left(2\right)$

其中，XX∈{HL,LH,HH}。

式中，表示某类低分辨字典，y^XX代表低分辨某类细节子带图像的N×N大小块，λ为常数，α为子带图像块的稀疏描述。

(205)根据压缩感知理论，由每块的稀疏描述复原其对应的M×M大小的高分辨率细节块；在本步骤中，对每一N×N大小的块y^XX的稀疏描述α^XX，采用公式(3)获得其对应的M×M大小的高分辨细节子带图像块x^XX。

$x^{XX}=D_h^{XX}{\alpha }^{XX}---\left(3\right)$

其中，XX∈{HL,LH,HH}；

本实施例中，高分辨细节子带图像块x^XX的尺寸M为y^XX尺寸N的2倍。

(206)由高分辨率细节块构建大小与所述步骤(201)中原始低分辨率图像相同的高分辨HL，LH，HH细节子带图像；在高分辨细节子带图像的构建过程中，M×M大小的高分辨细节子带图像块x^XX的放置位置与其对应的N×N大小的块y^XX相同。

(207)将所述步骤(201)中的原始低分辨率图像作为LL子带，结合所述步骤(206)得到的三个高分辨率HL，LH，HH细节子带，做一级小波反变换，获得高分辨率复原图像。本步骤中，小波反变换采用与步骤(103)中小波变换完全一致的小波基。

按照上述实施例，便可很好地实现本发明。值得说明的是，基于上述设计原理的前提下，为解决同样的技术问题，即使在本发明所公开的结构或方法基础上做出的一些无实质性的改动或润色，所采用的技术方案的实质仍然与本发明一样，故其也应当在本发明的保护范围内。