一种针对实时视频流的图像超分辨率重建方法、装置

摘要

本发明公开了一种针对实时视频流的图像超分辨率重建方法、装置，其中方法包括：获取视频帧图像，并提取视频帧图像的亮度通道图像、蓝色通道图像和红色通道图像；将提取到的关联视频帧图像的亮度通道图像作为图像超分辨率重建模型的输入，模型输出预测到的关联视频帧图像的高分辨率图像；将关联视频帧图像的高分辨率图像与提取的关联同张视频帧图像的蓝色通道图像和红色通道图像进行图像合并，然后将合并图像转换为RGB颜色空间下的超分辨率图像。本发明提供的图像超分辨率重建方法原理简单，重建速度快，经实验表明，能够完全适用对视频流的图像超分辨率重建，而且重建的超分辨率图像清晰、视觉感佳。

说明书

技术领域

本发明涉及图像重建技术领域，具体涉及一种针对实时视频流的图像超分辨率重建方法、装置。

背景技术

图像超分辨率(Super Resolution，SR)重建旨在通过输入一幅或多幅低分辨率图像重建出包含丰富细节的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。通过超分辨率重建我们可以让单张或多张不清晰的图片变得清晰。

目前，对于图像超分辨率重建技术的研究多集中在针对单图像的超分辨率重建(Signal Image Super Resolution，SISR)，即利用一幅图像中包含的丰富信息以及从样本图像中的视觉先验，识别重要的视觉线索，以填充图像细节。传统的SISR方法是基于经验算法实现，容易遗忘大量的图像高频信息且在图像重建过程中需要一定量的人为干预，重建效果也不够理想，与实际应用要求有着较大差距。

为了克服传统SISR方法存在的缺陷，近些年，不少学者将深度学习技术引入到图像超分辨率重建中，比如某学者提出的超分辨率卷积神经网络使用三层卷积网络首次将深度学习运用到图像超分辨率重建中，网络以端到端的方式学习从LR(低分辨率图像)到HR(高分辨率图像)的映射，不需要传统SISR方法中的任何工程特性，并且获得了比传统方法更先进的性能。

但传统的SISR方法重建图像耗时较长，无法适用对视频流的实时图像超分辨率重建需求。现有的基于深度学习的图像超分辨率重建方法大多存在重建图像模糊、噪声量大、视觉感差等问题，而且重建过程复杂，同样难以适应视频流的实时图像超分辨率重建需求。

发明内容

本发明以实现对视频流的实时图像超分辨率重建为目的，提供了一种针对实时视频流的图像超分辨率重建方法、装置。

为达此目的，本发明采用以下技术方案：

提供一种针对实时视频流的图像超分辨率重建方法，具体包括如下步骤：

1)对作为训练样本的原始高分辨率图像X进行图像预处理，得到所述原始高分辨率图像X对应的亮度通道图像X

2)将每张所述亮度通道图像X

3)将所述训练集中的所述多通道图像Y

4)根据关联同张所述原始高分辨率图像X的所述亮度通道图像X

5)重复步骤1)-3)，直至所述神经网络的预测损失值小于一预设阈值后，完成对神经网络模型的迭代训练，最终训练形成一图像超分辨率重建模型；

6)获取视频帧图像，并提取所述视频帧图像的所述亮度通道图像X

7)将提取到的关联所述视频帧图像的所述亮度通道图像X

8)将关联所述视频帧图像的所述高分辨率图像

作为本发明的一种优选方案，步骤1)中，对作为训练样本的所述原始高分辨率图像X进行图像预处理的方法步骤具体包括：

1.1)将作为训练样本的所述原始高分辨率图像X从RGB颜色空间转换到YCbCr颜色空间，并提取YCbCr颜色空间下的所述原始高分辨率图像X的所述亮度通道图像X

1.2)对提取到的所述亮度通道图像X

1.3)对所述低分辨率图像X

1.4)对锐化前的所述低分辨率图像X

1.5)将12张所述插值图像组合构成为所述低分辨率图像X

作为本发明的一种优选方案，步骤4)中，以MSE均方误差为损失函数计算所述神经网络的预测损失，所述损失函数通过以下公式表达：

上式中，

X

i表示所述训练集中的第i张所述多通道图像Y

N表示所述训练集中的所述多通道图像Y

本发明还提供了一种针对实时视频流的图像超分辨率重建装置，所述装置包括：

视频帧图像获取模块，用于从视频流中获取视频帧图像；

图像转换模块，连接视频帧图像获取模块，用于将所述视频帧图像从RGB颜色空间转换为YCbCr颜色空间；

图像提取模块，连接所述图像转换模块，用于提取YCbCr颜色空间下的所述视频帧图像的亮度通道图像X

图像输入模块，连接所述图像提取模块，用于将关联所述视频帧图像的所述亮度通道图像X

高分辨率图像预测模块，连接所述图像输入模块，用于通过所述图像超分辨率重建模型对输入的所述亮度通道图像X

超分辨率图像重构模块，分别连接所述高分辨率图像预测模块和所述图像提取模块，用于将预测输出的所述高分辨率图像

作为本发明的一种优选方案，所述装置还包括：

模型训练模块，用于训练形成所述图像超分辨率重建模型，所述模型训练模块中具体包括：

样本图像获取单元，用于获取作为模型训练样本的原始高分辨率图像X；

样本图像预处理单元，连接所述样本图像获取单元，用于对作为训练样本的各所述原始高分辨率图像X进行图像预处理，得到各所述原始高分辨率图像X对应的所述亮度通道图像X

训练集生成单元，连接所述样本图像预处理单元，用于将每张所述亮度通道图像X

训练样本输入单元，连接所述训练集生成单元，用于将所述训练集中的模型训练数据输入到一神经网络中；

模型训练单元，连接所述训练样本输入单元，用于以所述训练集中的数据为模型训练样本，迭代训练形成所述图像超分辨率重建模型。

作为本发明的一种优选方案，所述模型训练模块中的所述样本图像预处理单元中包括：

图像空间转换子单元，用于将作为训练样本的所述原始高分辨率图像X从RGB颜色空间转换到YCbCr颜色空间；

图像提取子单元，连接所述图像空间转换子单元，用于提取YCbCr颜色空间下的所述原始高分辨率图像X的所述亮度通道图像X

低分辨率图像生成子单元，连接所述图像提取子单元，用于对提取到的所述亮度通道图像X

图像锐化子单元，连接所述低分辨率图像生成子单元，用于对所述低分辨率图像X

图像插值子单元，分别连接所述低分辨率图像生成子单元和所述图像锐化子单元，用于对锐化前的所述低分辨率图像X

多通道图像形成子单元，连接所述图像插值子单元，用于将12张所述插值图像组合构成为所述低分辨率图像X

本发明通过从原始低分辨率图像中提取出亮度通道图像，并对亮度通道图像进行高分辨率图像重建，并将重建的高分辨率图像与从原始低分辨率图像中提取的除亮度通道图像外的其他通道图像合并，最终形成为超分辨率图像。本发明提供的图像超分辨率重建方法原理简单，重建速度快，经实验表明，能够完全适用对视频流的图像超分辨率重建，而且重建的超分辨率图像清晰、视觉感佳。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的针对实时视频流的图像超分辨率重建方法的步骤图；

图2是训练图像超分辨率重建面模型的方法步骤图；

图3是对原始高分辨率图像进行图像预处理的方法步骤图；

图4是本发明一实施例提供的针对实时视频流的图像超分辨率重建装置的结构示意图；

图5是所述图像超分辨率重建装置中的模型训练模块的内部结构示意图；

图6是所述图像超分辨率重建装置中的图像预处理模块的内部结构示意图；

图7是训练图像超分辨率重建模型的神经网络的网络结构示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明一实施例提供的针对实时视频流的图像超分辨率重建方法，如图1所示，具体包括如下步骤：

步骤1)实时获取视频帧图像；

步骤2)提取视频帧图像的亮度通道图像X

步骤3)将提取到的关联所述视频帧图像的亮度通道图像X

步骤4)将关联同张视频帧图像的高分辨率图像

步骤3)中，如图2所示，图像超分辨率重建模型通过以下方法步骤训练而得：

步骤3.1)对作为训练样本的原始高分辨率图像X进行图像预处理，得到原始高分辨率图像X对应的亮度通道图像X

步骤3.2)将亮度通道图像X

步骤3.3)将训练集中的多通道图像Y

步骤3.4)根据关联同张原始高分辨率图像X的亮度通道图像X

步骤3.5)重复步骤3.3)-3.4)，直至神经网络的预测损失值小于一预设阈值后，完成对神经网络模型的迭代训练，最终训练形成图像超分辨率重建模型。

步骤3.1)中，如图3所示，对作为训练样本的原始高分辨率图像X进行图像预处理的方法步骤具体包括：

步骤3.11)将作为训练样本的原始高分辨率图像X从RGB颜色空间转换到YCbCr颜色空间，并提取YCbCr颜色空间下的原始高分辨率图像X的亮度通道图像X

步骤3.12)对提取到的亮度通道图像X

步骤3.13)对低分辨率图像X

步骤3.14)对锐化前的低分辨率图像X

步骤3.15)将12张插值图像组合构成为低分辨率图像X

步骤3.4)中，以MSE均方误差为损失函数计算神经网络的预测损失，该损失函数可通过以下公式表达：

上式中，

X

i表示训练集中的第i张多通道图像Y

N表示训练集中的多通道图像Y

本发明还提供了一种针对实时视频流的图像超分辨率重建装置，如图4所示，该装置包括：

视频帧图像获取模块，用于从视频流中获取视频帧图像；

图像转换模块，连接视频帧图像获取模块，用于将视频帧图像从RGB颜色空间转换为YCbCr颜色空间；

图像提取模块，连接图像转换模块，用于提取YCbCr颜色空间下的视频帧图像的亮度通道图像X

图像输入模块，连接图像提取模块，用于将关联视频帧图像的亮度通道图像X

高分辨率图像预测模块，连接图像输入模块，用于通过图像超分辨率重建模型对输入的亮度通道图像X

超分辨率图像重构模块，分别连接高分辨率图像预测模块和图像提取模块，用于将预测输出的高分辨率图像

为了训练形成图像超分辨率重建模型，优选地，如图像超分辨率重建装置中还包括：

模型训练模块，用于训练形成图像超分辨率模型；具体地，如图5所示，模型训练模块中包括：

样本图像获取单元，用于获取作为模型训练样本的原始高分辨率图像X；

样本图像预处理单元，连接样本图像获取单元，用于对作为训练样本的各原始高分辨率图像X进行图像预处理，得到原始高分辨率图像X对应的亮度通道图像X

训练集生成单元，连接样本图像预处理单元，用于将每张亮度通道图像X

训练样本输入单元，连接训练集生成单元，用于将训练集中的模型训练数据输入到一神经网络中；

模型训练单元，连接训练样本输入单元，用于以训练集中的数据为模型训练样本，迭代训练形成图像超分辨率重建模型。

更加具体地，如图6所示，模型训练模块中的样本图像预处理单元中包括：

图像空间转换子单元，用于将作为训练样本的原始高分辨率图像X从RGB颜色空间转换到YCbCr颜色空间；

图像提取子单元，连接图像空间转换子单元，用于提取YCbCr颜色空间下的原始高分辨率图像X的亮度通道图像X

低分辨率图像生成子单元，连接图像提取子单元，用于对提取到的亮度通道图像X

图像锐化子单元，连接低分辨率图像生成子单元，用于对低分辨率图像X

图像插值子单元，分别连接低分辨率图像生成子单元和连接图像锐化子单元，用于对锐化前的低分辨率图像X

多通道图像形成子单元，连接图像插值子单元，用于将12张插值图像组合构成为低分辨率图像X

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。