一种基于分类字典库的超分辨率图像重构方法及装置

摘要

本申请提供一种基于分类字典库的超分辨率图像重构装置，该装置可以从训练图像中选取第一局部块以及降采样后对应的第二局部块，提取相应特征，组合得到一组字典组，再对多组字典组按照LBS和SES的计算值作为分类标记进行分类并进行预训练，得到包含多个带分类标记的字典组的分类字典库。在重构图像时，同样提取待重构图像上局部块的局部特征，并将局部块的LBS和SES分类与分类字典库中各字典的LBS和SES分类相匹对，即可以快速获取到匹对的字典，最后利用匹对的字典对该待重构图像进行图像重构。从而，可以在恢复图像的高频信息的同时，提升图像的超分辨率重构的效率。

说明书

技术领域

本发明涉及图像超分辨率技术领域，具体涉及一种基于分类字典库的超分辨率图像重构方法及装置。

背景技术

超分辨率也被称为上采样、图像放大，是一种通过低分辨率的图像来恢复高分辨率的清晰图像的处理技术。超分辨率是图像和视频处理领域的基础问题之一，在医学图像处理、图像识别、数码照片处理、高清电视等领域有着非常广泛的应用前景。>

早期的超分辨率技术主要分为基于重建的方法和基于插值的方法。基于核的插值是其中一类经典的超分辨方法，例如：双线性插值、样条曲线插值和曲线插值等。但是这类算法是通过已知的离散数据生成连续的数据，通过这类算法处理后的图片仍然会出现模糊、锯齿等效应，无法恢复在低分辨率图像中所丢失的高频细节信息。近年来，大量的基于边缘的超分辨率算法被提出，改善了传统插值算法的不自然效应，同时提高了边缘的视觉质量。但是，这一类聚焦于改善边缘的算法仍然不能恢复高频纹理细节。为了解决纹理模糊问题，一些字典学习类方法也被相继提出，通过训练低分辨率对应的高分辨率字典，来恢复低分辨率图像中丢失的细节信息。但是该类方法中，将低分辨率图像的中各个局部块逐个在字典中进行匹配，非常耗时，图像重构效率低下。>

发明内容

本发明实施例提供一种基于分类字典库的超分辨率图像重构方法，包括：从训练图像中选取若干个第一局部块，以及，从降采样后的所述训练图像上提取与所述第一局部块一一对应的第二局部块，所述第二局部块由其所在训练图像上的至少四个相邻像素点组成； 提取所述第一局部块的局部特征，作为第一字典，以及提取所述与所述第一局部块一一对应的第二局部块的局部特征，作为第二字典，所述第一字典与所述第二字典一一映射构成一组字典组；计算所述第二局部块的局部二值结构和锐利边缘结构，得到的计算结果作为所述第二局部块对应的字典组的分类标记；对若干组所述字典组进行预训练，得到分类字典库，所述分类字典库中的每一字典组携带有对应的分类标记；计算待重构图像上的第三局部块的局部二值结构和锐利边缘结构，得到所述第三局部块的分类标记，所述第三局部块由其所在的待重构图像上的至少四个相邻像素点组成；将所述待重构图像中的第三局部块的分类标记与所述分类字典库中的各个字典组的分类标记进行比较，提取分类标记相同的字典组作为所述第三局部块的匹对字典组；利用所述匹对字典组对所述第三局部块进行图像重构，得到重构的第四局部块，将所述待重构图像中的所有第四局部块组合得到重构的图像。

本发明实施例提供一种基于分类字典库的超分辨率图像重构装置，包括：选取单元，用于从训练图像中选取若干个第一局部块，以及，从降采样后的所述训练图像上提取与所述第一局部块一一对应的第二局部块，所述第二局部块由其所在训练图像上的至少四个相邻像素点组成；第一提取单元，用于提取所述选取单元选取的所述第一局部块的局部特征，作为第一字典；第二提取单元，用于提取所述选取单元选取的所述与所述第一局部块一一对应的第二局部块的局部特征，作为第二字典，所述第一字典与所述第二字典一一映射构成一组字典组；第一计算单元，用于计算所述选取单元选取的所述第二局部块的局部二值结构和锐利边缘结构，作为所述第二局部块对应的字典组的分类标记；预训练单元，用于对对经过所述第一提取单元和所述第二提取单元提取的若干组所述字典组进行预训练，得到分类字典库，所述分类字典库中的每一字典组携带有所述第一计算单元计算所得的对应的分类标记；第二计算单元，用于计算待重构图像上的第三局部块的局部二值结构和锐利边缘结构，得到所述第三局部块的分类标记，所述第三局部块由其所在的待重构图像上的至少四个相邻像素点组成；匹对单元，用于将所述第二计算单元计算得到的所述待重构图像中的第三局部块的分类标记与经过所述预训练单元训练得到的所述分类字典库中的各个字典组的分类标记进行比较，提取分类标记相同的字典组作为所述第三局部块的匹对字典组；重构单元，用于利用所述匹对单元匹对得到的所述匹对字典组对所述第三局部块进行图像重构，得到重构的第四局部块，将所述待重构图像中的所有第四局部块组合得到重构的图像。

从以上技术方案可以看出，本发明实施例具有以下优点：

本申请提供的基于分类字典库的超分辨率图像重构方法及装置，可以从训练图像中选取第一局部块以及降采样后对应的第二局部块，提取相应特征，组合得到一组字典组，再对多组字典组按照LBS和SES的计算值作为分类标记进行分类并进行预训练，得到包含多个带分类标记的字典组的分类字典库。在重构图像时，同样提取待重构图像上局部块的局部特征，并将局部块的LBS和SES分类与分类字典库中各字典的LBS和SES分类相匹对，即可以快速获取到匹对的字典，最后利用匹对的字典对该待重构图像进行图像重构。从而，可以在恢复图像的高频信息的同时，提升图像的超分辨率重构的效率。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是依据本发明实施例一的方法流程图；

图2a-2c为本申请一种实施例中局部块分类示意图；

图3是依据本发明实施例二的装置结构示意图。

具体实施方式

实施例一：

依据本发明的一种实施方式，提供一种基于分类字典库的超分辨率图像重构方法，参考图1，该方法可以包括以下步骤：

101、从训练图像中选取第一局部块以及降采样后对应的第二局部块。

其中，值得指出的是，本领域技术人员应该知道，可以为后续训练分类字典库预先准备图像集合，图像集合中可以包括多张训练图像。在选取训练图像时，应当选择高分辨率的图像，所述高分辨率的图像指的是清晰的带有高频信息的图像。

本实施例步骤具体可以是：从包含若干个训练图像的训练图像集中选取若干个第一局部块，以及，从降采样后的所述训练图像上提取与所述第一局部块对应的第二局部块。

每个局部块的选取举例如下：选取一个训练图像上任意3×3大小的第一局部块。其中，多个不同的第一局部块可以从一张训练图像上选取得到，也可以从几张不同的训练图像上选取得到，本申请实施例对此不作具体限定。

第一局部块是从清晰的高分辨率图像上选取的局部块，由于经过欠采样处理，第二局部块是从第一局部块所在的高分辨率图像所对应的低分辨率图像上选取的局部块。

102、提取第一局部块的局部特征以及第二局部块的局部特征，分别得到第一字典和第二字典。

其中，值得指出的是，提取第一局部块的局部特征和提取第二局部块的局部特征的执行顺序可以是同时，也可以是任一先后顺序，本申请实施例对此不作限定。将所述第一字典与所述第二字典一一映射构成一字典组，以便后续用于重构低分辨率的局部块。

一个优选的实施例中，第一字典的具体获取过程可以是：将第一局部块中每个像素点的灰度值与该第一局部块的灰度值的均值相减，得到该第一局部块的残差值，将该残差值作为第一局部块对应的第一字典。

一个优选的实施例中，第二字典的具体获取过程可以是：计算所述第二局部块的局部灰度差异值、一阶梯度值以及二阶梯度值，计算所得的结果作为所述第二局部块对应的第二字典。

103、计算第二局部结构的局部二值结构和锐利边缘结构。

其中，计算第二局部结构的局部二值结构和锐利边缘结构，得到的计算结果作为第局部结构对应的字典组的分类标记。

第一字典及第二字典构成一一映射关系，组成一字典组。通过使用局部二值结构（LBS，Local Binary Structure）和锐利边缘结构（SES，Sharp Edge Structure）对第二局部块的局部特征进行分类，可以把字典组样本划分为不同类别。

104、对若干组字典组进行预训练，得到分类字典库。

其中，得到的分类字典库中的每一字典组携带有对应的分类标记。

一个优选的实施例，可以利用K均值聚类算法对若干组字典组进行预训练，得到欠完备的分类字典库。

一个优选的实施例，利用稀疏编码算法对若干组字典组进行预训练，得到过完备的分类字典库。

105、计算待重构图像上的第三局部块的局部二值结构和锐利边缘结构。

其中，第三局部块由其所在的待重构图像上的至少四个相邻像素点组成，待重构图像为低分辨率图像，为了得到其对应的清晰的高分辨率图像，需要恢复待重构图像上的高频信息。

计算待重构图像上的第三局部块的局部二值结构和锐利边缘结构，得到第三局部块的分类标记。

106、提取与第三局部块的分类标记相同的字典组作为该第三局部块的匹对字典组。

将所述待重构图像中的第三局部块的分类标记与所述分类字典库中的各个字典组的分类标记进行比较，提取分类标记相同的字典组作为所述第三局部块的匹对字典组。

步骤106具体可以是：使用所述LBS和SES对待重构图像中的第三局部块进行分类，提取与第三局部块分类标记相同的字典组作为所述第三局部块的匹对字典组。

为了恢复待重构图像上的高频信息，需要利用训练得到的分类字典库中的字典组对待重构图像进行重构。本申请实施例中，由于训练字典库前，分别计算了每组字典组中第二字典的LBS 和SES，因此在匹配的过程中，可以利用待重构图像的第三局部块的LBS 和SES，快速匹配出对应的分类字典组，从而提高了图像重构的效率，并且可以恢复低分辨率的待重构图像的高频信息。

107、利用匹对字典组对第三局部块进行图像重构，得到重构的第四局部块。

将所述待重构图像中的所有第四局部块组合得到重构的图像。

本申请实施例提供的基于分类字典库的超分辨率图像重构方法，从训练图像中选取第一局部块以及降采样后对应的第二局部块，提取第一局部块及第二局部块的局部特征，组合得到一组字典组，计算第二局部块的LBS和SES并进行分类，再对多组带分类标记的字典组按分类类别进行预训练，得到包含多个字典组的分类字典库。在重构图像时，同样计算重建图像上局部块的LBS和SES分类，即可以快速获取到匹对的字典组，最后利用所匹对的字典组对该待重构图像进行图像重构。从而，可以在恢复图像的高频信息的同时，提高图像的超分辨率重构的效率。>

下面以一具体例子对本申请实施例一中所描述的LBS和SES的计算过程及分类字典原理进一步进行阐述。>

如图2a、2b和2c所示，A、B、C、D是局部相邻的四个像素点，图中，像素点的高度反应了像素点的灰度值大小。如图2a所示，A、B、C、D四个像素点组成一块平坦局部区域，因此灰度值大小相等。如图2b所示，像素点A和B的灰度值比像素点C和D的灰度值高。本实施例定义LBS-Geometry（LBS_G）区分这种几何结构上的不同， LBS-Geometry（LBS_G）的计算方式如公式（1）：

……（1）

其中，g_p表示局部的第p个像素点的灰度值>mean是A、B、C、D四个像素点构成的局部的像素值的均值。本实施例中以4个像素点为例进行举例，在其它实施例中，像素点的数量可以为其它数值，例如N个，N>

如图2b、2c所示的局部块，由于灰度差异程度不同，二者仍然属于不同的局部模式，因此本实施例定义LBS-Difference（LBS_D）来表示局部灰度差异程度，可以得到公式（2）：

……（2）

其中d_global是整幅图像上全部的局部灰度差异的均值。

结合LBS_G和LBS_D便组成了完整的局部二值结构描述，如公式（3）所示：

……（3）

同时，本实施例中定义锐利边缘结构SES：

…………（4）

其中，t为预先设置有灰度阈值，在具体实施例中，t设置为一相对较大的阈值，用于区分锐利边缘。

本实施例中，分类字典库的训练可以采用K均值聚类的方式，得到欠完备分类字典库，或者，分类字典库的训练可以采用稀疏编码的方式，得到过完备分类字典库。

本申请实施例中，使用K均值聚类的方式训练字典库时，从选取一定数量（例如十万个）的字典基组，使用K均值聚类算法聚类出若干个类别中心，用这些类别中心作为分类字典库。使用K均值聚类的方式训练字典库可以建立维数低的欠完备字典库。

下面对本申请实施例一中的步骤107利用匹对字典基对每个第三局部块进行图像重构的过程进行举例描述：

一个优选的实施例中，待重构图像中第三局部块y重构后的高分辨率第四局部块x可以利用以下公式计算得到：

x≈D_h(y)α>

其中， D_h(y)是和第三局部块y有相同的LBS和SES（即相同的分类标记）的第一字典，α是表达系数。

在使用过完备字典库对第三局部块y进行重构时，系数α满足稀疏性，使用与y匹对的第二字典D_l(y)来计算稀疏表达系数α，然后将计算得到的表达系数α代入式（5）中来计算对应的第四局部块x，因此最优α的获取可以转化为以下最优化问题：>

…………（6）

其中ε为趋于0的极小值，F是局部特征提取操作，在本实施例提供的分类字典中，取的特征是局部灰度差异结合一阶梯度值、二阶梯度值所得到的结果。由于α足够稀疏，因此使用L1范数来代替式（6）的L0范数，优化目标函数变为：

………………（7）

其中，λ是一个调节系数稀疏性和重构相似性的系数，最优的稀疏表达系数α可以通过解上述Lasso问题获得，然后代入式（5）即可重构出y对应的高分辨率第四局部块x。

在使用欠完备字典对第三局部块y进行重构时，α不满足足够稀疏性，使用k近邻算法在D_l(y)字典中找出最接近y的k个字典基，再用对应的k个第一字典的线性组合来重建x。

图像中每个低分辨率的第三局部块y都重建其清晰的高分辨率的第四图像块x后，就得到了最终的清晰还原图像，即可得到清晰的重构图像。

实施例二：

依据本申请的一种实施方式，提供一种基于分类字典库的超分辨率图像重构装置，参考图3，该装置可以包括：

选取单元20，用于从训练图像中选取若干个第一局部块，以及，从降采样后的所述训练图像上提取与所述第一局部块一一对应的第二局部块，所述第二局部块由其所在训练图像上的至少四个相邻像素点组成。

第一提取单元21，用于提取选取单元20选取的所述第一局部块的局部特征，作为第一字典。

第二提取单元22，用于提取选取单元20选取的所述与所述第一局部块一一对应的第二局部块的局部特征，作为第二字典，所述第一字典与所述第二字典一一映射构成一组字典组。

第一计算单元23，用于计算选取单元20选取的所述第二局部块的局部二值结构和锐利边缘结构，作为所述第二局部块对应的字典组的分类标记。

预训练单元24，用于对经过第一提取单元21和第二提取单元22提取的若干组所述字典组进行预训练，得到分类字典库，所述分类字典库中的每一字典组携带有第一计算单元23计算所得的对应的分类标记。

第二计算单元25，计算待重构图像上的第三局部块的局部二值结构和锐利边缘结构，得到所述第三局部块的分类标记，所述第三局部块由其所在的待重构图像上的至少四个相邻像素点组成。

匹对单元26，用于将第二计算单元25计算得到的所述待重构图像中的第三局部块的分类标记与经过预训练单元24训练得到的所述分类字典库中的各个字典组的分类标记进行比较，提取分类标记相同的字典组作为所述第三局部块的匹对字典组。

重构单元27，用于利用匹对单元26匹对得到的所述匹对字典组对所述第三局部块进行图像重构，得到重构的第四局部块，将所述待重构图像中的所有第四局部块组合得到重构的图像。

一个优选的实施例中，第一提取单元21具体用于：将第一局部块中每个像素点的灰度值与所述第一局部块的灰度值均值相减，得到所述第一局部块的残差值，作为所述第一局部块对应的第一字典。

一个优选的实施例中，第二提取单元22具体用于：计算第二局部块的局部灰度差异值、一阶梯度值以及二阶梯度值，计算所得的结果作为所述第二局部块对应的第二字典。

一个优选的实施例中，重构单元27具体用于：利用以下公式计算得到所述第三局部块重构后的第四局部块x：

其中，y为待重构的所述第三局部块，D_h(y)为和第三局部块有相同的分类标记的字典组的第一字典，α是表达系数。

一个优选的实施例中，预训练单元24具体用于：利用K均值聚类算法对若干组所述字典组进行预训练，得到欠完备字典的数据库。

一个优选的实施例中，预训练单元24具体用于：利用稀疏编码算法对若干组所述字典组进行预训练，得到过完备字典的数据库。

本申请实施例提供一种基于分类字典库的超分辨率图像重构装置，该装置可以从训练图像中选取第一局部块以及降采样后对应的第二局部块，提取相应特征，组合得到一组字典组，再对多组字典组按照LBS和SES的计算值作为分类标记进行分类并进行预训练，得到包含多个带分类标记的字典组的分类字典库。在重构图像时，同样提取待重构图像上局部块的局部特征，并将局部块的LBS和SES分类与分类字典库中各字典的LBS和SES分类相匹对，即可以快速获取到匹对的字典，最后利用匹对的字典对该待重构图像进行图像重构。从而，可以在恢复图像的高频信息的同时，提升图像的超分辨率重构的效率。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等。

以上所述仅为本发明的较佳实施例，应当理解，这些实施例仅用以解释本发明，并不用于限定本发明。对于本领域的一般技术人员，依据本发明的思想，可以对上述具体实施方式进行变化。