一种基于对抗神经网络的红外图像超分辨率方法

摘要

本发明公开了一种基于对抗神经网络的红外图像的超分辨率方法，应用于嵌入式设备，包括步骤A1，获取多个低分辨率的初始红外图像，输入至生成网络中得到对应的高分辨率图像；步骤A2，将高分辨率图像输入至判别网络中，对高分辨率图像进行判别；步骤A3，将高分辨率图像和初始红外图像一起输入至判别网络中，分别对高分辨率图像和初始红外图像进行判别；循环执行步骤A1‑A3，使得生成网络和判别网络同时符合各自的训练条件，从而完成训练过程；将低分辨率红外图像输入至训练完成的生成网络中输出高分辨率红外图像。有益效果在于，本方法公开的超分辨率方法的结构特别针对嵌入式设备而设计，使得图像质量上轮廓分明，图像更清晰。

说明书

技术领域

本发明涉及一种图像超分辨率技术领域，尤其涉及一种基于对抗神经网 络的红外图像超分辨率方法。

背景技术

红外成像技术是一种应用广泛的高新技术。一切物体都可以辐射红外线， 因此利用探测仪测量目标本身与背景间的红外线差并且通过光电转换，可以 得到红外图像。红外图像所包含的信息、特征分布、信噪比、清晰度等和可 见光图像有所区别，红外成像技术在民用、军事等领域都有诸多应用。红外 成像具有穿透烟雾能力强，探测距离远等很多优点。但是红外成像相对于可 见光图像属于低分辨率图片，当我们对红外图片进行图片分析、目标检测的 时候，由于红外图片携带的场景细节信息较少，目标轮廓不清晰，所以识别 效果很差，特别是中远距离下的目标识别率更低。

现有的提升图像分辨率最直接有效的办法就是提升成像设备的成像能 力，但是如果单独增加器件的像素密度不增大尺寸，会严重影响到成像质量， 如果调高红外探测器分辨率，成本高，经济效益低，不利于推广，因此，图 像的超分辨算法应运而生。超分辨指的是从原有的一个或者多个低分辨率图 像中生成一个或者多个的高分辨率图像。重建的目标是通过增加图像中单位 面积的像素数量，使生成的高清图像比给定的图像拥有更多精细而真实的细 节。近年来，随着深度学习技术的巨大突破，应用AI算法于超分辨领域已 成为主流。通过基于神经网络的优越的重建效果与理想的重建速率，不需要 进行硬件的升级，图像质量就有极大的提高。

嵌入式设备相比上位机具有专用性很强，高实时性，系统精简安全，价 格便宜等一系列优点，在车载嵌入式设备上进行红外图像实时超分辨率，是 当前超分辨率算法应用的一大方向。如何既能保证红外图像的画质得到极大 提高，又能够使得超分辨算法在嵌入式设备上达到实时性，是当下自动驾驶 重要的研究方向之一。当前的嵌入式超分辨算法要么效果差，速度快；要么 效果好，速度慢，并不能满足自动驾驶发展的需求。开发一种综合实时性和 准确性的适用于嵌入式设备的应用于红外图像的超分辨算法是当务之急。

发明内容

本发明针对现有技术中在嵌入式设备上使用深度学习算法，存在学习模 型参数较多、计算量较大、使用功耗较高等缺陷，提供了一种实时红外图像 超分辨率实现方法。

为了解决上述技术问题，本发明通过以下技术方案实现：

一种基于对抗神经网络的红外图像的超分辨率方法，应用于嵌入式设备， 其特征在于，所述对抗神经网络包括生成网络和判别网络，所述判别网络的 输入端连接所述生成网络的输出端，所述判别网络的输出端连接所述生成网 络的反馈端；

所述超分辨率方法包括一训练过程，包括：

步骤A1，获取多个初始红外图像，降低所述初始红外图像的分辨率后形 成一低分辨率图像，输入至所述生成网络中，以对所述低分辨率图像的特征 图进行扩展和拼接，从而形成并输出对应于所述低分辨率图像的一高分辨率 图像；

步骤A2，将所述高分辨率图像输入至所述判别网络中，对所述高分辨率 图像进行判别，并生成一第一判别结果反馈至所述生成网络，所述第一判别 结果用于表示所述高分辨率图像与所述初始红外图像之间的第一相差值；

步骤A3，将所述高分辨率图像和所述初始红外图像一起输入至所述判别 网络中，分别对所述高分辨率图像和所述初始红外图像进行判别，并生成一 第二判别结果反馈至所述判别网络，所述第二判别结果包括前后输入的所述 高分辨率图像之间的第二相差值以及前后输入的所述初始红外图像之间的第 三相差值；

所述步骤A1-A3，以同时对所述生成网络和所述判别网络进行训练，使 得所述生成网络和所述判别网络同时符合各自的训练条件，从而完成所述训 练过程；

所述超分辨率方法还包括一超分辨率过程，所述超分辨率过程于所述训 练过程完成后执行，并包括：

步骤B1，将需要进行超分辨率处理的低分辨率红外图像输入至训练完成 的所述生成网络中；

步骤B2，所述生成网络进行处理后输出超分辨率后的高分辨率红外图 像。

优选的，所述步骤A1包括：

步骤A11，将所述低分辨率图像的特征图进行扩大处理，得到一扩大后 的第一特征图；

步骤A12，将所述低分辨率图像进行通道扩展并重新拼接处理，得到一 对应于所述第一特征图且同倍数扩大的第二特征图；

步骤A13，将所述第一特征图和所述第二特征图进行拼接处理，得到所 述低分辨率图像的高分辨率图像。

优选的，所述步骤A12包括：

步骤A121，将所述低分辨率图像重复卷积激活操作两次，并得到所述低 分辨率图像的一扩展特征图；

步骤A122，将所述扩展特征图进行一次卷积操作，以对所述扩展特征图 的通道数进行3倍扩展，以形成多通道扩展特征图；

步骤A123，将所述多通道扩展特征图进行拆分，以每3个相邻通道作为 一个单位，分别对每个所述单位的扩展特征图进行重复多次稠密卷积处理， 以分别得到对应于每个所述单位的高分辨率的扩展特征图；

步骤A124，分别将每个所述扩展特征图进行上采样处理，以分别对每个 所述扩展特征图进行多倍扩大，再拼接所有所述扩展特征图得到一总扩展特 征图；

步骤A125，对所述总扩展特征图进行上采样处理，得到所述第二特征图。

优选的，所述步骤A2包括：

步骤A21，将所述高分辨率图像进行四次卷积激活操作，并通过十次残 差计算，提取所述高分辨率图像的图片特征；

步骤A22，将所述高分辨率图像的图片特征进行分类操作，并对分类操 作后的所述图片特征进行判别操作，并输出所述第一判别结果用于表示所述 高分辨率图像为真图像的一概率值交叉熵。

优选的，所述步骤A3包括：

步骤A31，将所述高分辨率图像和所述初始红外图像分别进行四次卷积 激活操作，并通过十次残差计算，分别提取所述高分辨率图像和所述初始红 外图像的的图片特征；

步骤A32，将所述高分辨率图像的图片特征和所述初始红外图像的图片 特征分别进行分类操作，并对分类操作后的所述图片特征以所述初始红外图 像为基准进行判别操作，并输出所述第二判别结果用于表示所述高分辨率图 像为假图像的一概率值。

优选的，所述分类操作具体为利用一节点数为1024的全连接层对所述图 片特征进行分类；以及

所述判别操作具体为利用一节点数为2的全连接层对所述图片特征进行 判别。

优选的，关联于所述生成网络的所述训练条件为针对所述生成网络设置 一第一损失函数；

所述第一损失函数具体为：

其中，

y

n为所述初始红外图像的像素总数；

W为所述初始红外图像的长度；

H为所述初始红外图像的宽度；

I

I

φ为所述初始红外图像或所述高分辨率图像训练完成的某一层的特征 图；

G(z)为所述高分辨率图像；

log(1-D(G(z)))为所述第一判别结果。

优选的，关联于所述判别网络的所述训练条件为针对所述判别网络设置 一第二损失函数；

所述第二损失函数具体为：

其中，

D(x)为所述初始红外图像；

E

Z为所述低分辨率图像；

G(z)为所述高分辨率图像的训练样本；

D(G(z))为所述第二判别结果。

优选的，所述训练过程完成后，将所述对抗神经网络转化为一网络模型， 并对所述网络模型进行量化操作，随后开始执行所述步骤B1，以将获取的多 个所述低分辨率红外图像输入至经过量化操作后的所述生成网络。

优选的，关联于所述网络模型的所述量化操作为针对所述网络模型设置 一非对称量化公式；

所述非对称量化公式具体为：

其中，

x

x

q

zp

n为所述生成网络预设的所述量化数据的字节数。

本发明的技术方案的有益效果在于，公开的超分辨率方法的结构特别针 对嵌入式设备而设计，实现最高的MAC利用率，使得NPU的性能最佳，相 对于传统的线性插值、双三次插值等图像算法，使得在图像质量上轮廓分明， 图像更清晰，非常适合在嵌入式设备上运行，并且速度很快，可以实时部署。

附图说明

图1为本发明超分辨率方法实施例的训练过程的流程图；

图2为本发明超分辨率方法实施例的超分辨率过程的流程图；

图3为本发明超分辨率方法实施例的步骤A1的流程图；

图4为本发明超分辨率方法实施例的步骤A12的流程图；

图5为本发明超分辨率方法实施例的步骤A2的流程图；

图6为本发明超分辨率方法实施例的步骤A3的流程图；

图7为本发明超分辨率方法实施例的生成网络的结构示意图；

图8为本发明超分辨率方法实施例的判别网络的结构示意图；

图9A-9B为本发明超分辨率方法实施例的在4倍放大下的视觉效果对比 图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作 出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特 征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的 限定。

本发明公开的一种基于对抗神经网络的红外图像的超分辨率方法，应用 于嵌入式设备，其特征在于，对抗神经网络包括生成网络和判别网络，判别 网络的输入端连接生成网络的输出端，判别网络的输出端连接生成网络的反 馈端；

如图1所示，超分辨率方法包括一训练过程，包括：

步骤A1，获取多个初始红外图像，降低初始红外图像的分辨率后形成一 低分辨率图像，输入至生成网络中，以对低分辨率图像的特征图进行扩展和 拼接，从而形成并输出对应于低分辨率图像的一高分辨率图像；

步骤A2，将高分辨率图像输入至判别网络中，对高分辨率图像进行判别， 并生成一第一判别结果反馈至生成网络，第一判别结果用于表示所述高分辨 率图像与所述初始红外图像之间的第一相差值；

步骤A3，将高分辨率图像和初始红外图像一起输入至判别网络中，以初 始红外图像为基准，对高分辨率图像进行判别，并生成一第二判别结果反馈 至判别网络，第二判别结果表示高分辨率图像是否为假图像；

步骤A1-A3，以同时对生成网络和判别网络进行训练，使得生成网络和 判别网络同时符合各自的训练条件，从而完成训练过程；

如图2所示，超分辨率方法还包括一超分辨率过程，超分辨率过程于训 练过程完成后执行，并包括：

步骤B1，将需要进行超分辨率处理的低分辨率红外图像输入至训练完成 的生成网络中；

步骤B2，生成网络进行处理后输出超分辨率后的高分辨率红外图像。

在本实施例中，设计一种适用于嵌入式设备，以本技术方案的所有实施 例以采用的是瑞芯微RK3399Pro平台为国产嵌入式平台为例，能最大限度利 用其嵌入式平台的神经网络处理器的处理红外视频、图像类的多媒体数据。

在本实施例中，通过瑞芯微RK3399Pro平台在不同场景下采集分辨率为 4H*4W的红外视频，将这些视频的帧作为标签，对每一帧进行双三次插值降 采样为1/4分辨率作为训练用的低分辨率图像；采集分辨率为H*W的红外视 频，将其作为测试图像。

该平台包含的对抗神经网络模型，包含生成网络(结构如图6所示)和 判别网络(结构如图7所示)的超分辨算法，可使图像超分辨率提升2～N倍， 不局限于更高倍数，如160*128的图像提升到640*512的图像，160*128的 图像提升到1280*1024的图像等，只不过不同的提升网络需要对每种提升倍 数进行针对性的训练，在本技术方案的所有实施例以图像超分辨率提升4倍 为例，进行详细说明。

进一步地，基于对抗神经网络的红外图像的超分辨率方法，该方法由两 个在零和博弈的框架下互相竞争的两个部件组成，一个是生成器，包含的是 生成网络的超分辨算法，一个是判别器，包含的是判别网络的超分辨算法， 判别器的输入端连接生成器的输出端，也就是说生成器生成的高分辨率红外 图像输入至判别器的输入端；判别器的输出端连接生成器的反馈端，也就是 说判别器对高分辨率图像进行真假图像的判别，并将判别结果反馈至生成器。 生成器和判别器在损失函数的约束条件下迭代，最终得到合适的超分辨生成 网络。生成器和判别器的结构主要包含卷积层，激活层，残差层，稠密卷积 模块，BN层，pixelshuffle上采样，最邻近插值，通道合并等结构。

在一种优选的实施例中，如图3、图7所示，步骤A1包括：

步骤A11，将低分辨率图像的特征图进行扩大处理，得到一扩大后的第 一特征图；

步骤A12，将低分辨率图像进行通道扩展并重新拼接处理，得到一对应 于第一特征图且同倍数扩大的第二特征图；

步骤A13，将第一特征图和第二特征图进行拼接处理，得到低分辨率图 像的高分辨率图像。

在本实施例中，获取一张通道数为3的低分辨率红外图像，将该通道数 扩展成9，并对该扩展特征图按照通道数9进行拆分，以每三个通道作为一 个单位对每个单位的扩展特征图进行特征提取，再将每个单位的扩展特征图 拼接为第二特征图。

生成网络将一开始获取的通道数为3的低分辨率图像通过最邻近插值 法扩大4倍得到的第一特征图，然后将第一特征图和第二特征图进行拼接， 经过3*3的卷积核，使通道数又变为3，得到最终的输出一张初始低分辨率 红外图像的扩大4倍的高分辨率图像。

在一种优选的实施例中，如图4、图7所示，步骤A12包括：

步骤A121，将低分辨率图像重复卷积激活操作两次，并得到低分辨率图 像的一扩展特征图；

步骤A122，将扩展特征图进行一次卷积操作，以对扩展特征图的通道数 按照进行3倍扩展，以形成多通道扩展特征图；

步骤A123，将多通道扩展特征图进行拆分，以每3个相邻通道作为一个 单位，分别对每个所述单位的扩展特征图进行重复多次稠密卷积处理，以分 别得到对应于每个单位的高分辨率的扩展特征图；

步骤A124，分别将每个扩展特征图进行上采样处理，以分别对每个扩展 特征图进行多倍扩大，再拼接所有扩展特征图得到一总扩展特征图；

步骤A125，对所述总扩展特征图进行上采样处理，得到所述第二特征图。

在本实施例中，将通道数为3的低分辨率红外图像输入到一个3*3卷积 层中，再进入激活层，得到非线性浅层特征图，重复以上步骤两次；

然后将非线性浅层特征图经过3*3的卷积核，将通道维度扩展为3倍， 即通道数为9；

再将非线性浅层特征图按通道维度拆分为3块特征图，每块的通道维度 为3，分别对每一块进行由5个5*5卷积层和5个激活层组成的稠密卷积模 块进行特征提取，再对每块进行pixelshuffle上采样处理，每块特征图的高和 宽扩大2倍，最后将每块特征图按通道再次拼接为一个特征图。

进一步地，采用的5个核心大小为5*5卷积层进行卷积和使用leaky_relu 激活函数的激活层，能提取到每块特征图的深层特征。

进一步地，稠密卷积模块之间使用的是残差连接，重复此稠密卷积模块 5次，能使该生成网络学到更深层的图像特征。

在一种优选的实施例中，如图5、图8所示，步骤A2包括：

步骤A21，将高分辨率图像进行四次卷积激活操作，并通过十次残差计 算，提取高分辨率图像的图片特征；

步骤A22，将高分辨率图像的图片特征进行分类操作，并对分类操作后 的图片特征进行判别操作，并输出第一判别结果用于表示高分辨率图像为真 图像的概率值交叉熵。

在本实施例中，将扩大4倍的高分辨率图像进行卷积、激活操作，也就 是说先输入到在一个3*3卷积层，再进入到使用leaky_relu激活函数的激活 层，重复此步骤四次；

然后进行包含卷积，BN，激活的残差层操作，也就是说残差层包括一个 3*3卷积层，一个BN层和一个使用relu函数的激活层，并重复此步骤十次；

通过上述步骤提取的高分辨率图像的图片特征再经过两次全连接层，第 一个全连接层将高分辨率图像的图片特征进行分类操作；第二个全连接层对 第一层全连接层分类的数据的进行判别并最终输出高分辨率图像为真图像的 概率值交叉熵。

在一种优选的实施例中，如图6、图8所示，所述步骤A3包括：

步骤A31，将高分辨率图像和初始红外图像进行四次卷积激活操作，并 通过十次残差计算，分别提取高分辨率图像的图片特征和初始红外图像的图 片特征；

步骤A32，将高分辨率图像的图片特征进行分类操作，并对分类操作后 的图片特征以初始红外图像为基准进行判别操作，并输出第二判别结果用于 表示高分辨率图像为假图像的一概率值。

在本实施例中，将扩大4倍的高分辨率图像进行卷积、激活操作，也就 是说先输入到在一个3*3卷积层，再进入到使用leaky_relu激活函数的激活 层，重复此步骤四次；

然后进行包含卷积，BN，激活的残差层操作，也就是说残差层包括一个 3*3卷积层，一个BN层和一个使用relu函数的激活层，并重复此步骤十次；

通过上述步骤提取的高分辨率图像的图片特征和初始红外图像的图片特 征再经过两次全连接层，第一个全连接层提取高分辨率图像的图片特征和初 始红外图像的图片特征；第二个全连接层对高分辨率图像的图片特征和初始 红外图像的图片特征进行分类。在一种优选的实施例中，分类操作具体为利 用一节点数为1024的全连接层对图片特征进行分类；以及

判别操作具体为利用一节点数为2的全连接层对图片特征进行判别。

在本实施例中，第一层全连接层节点数为1024，对提取高分辨率图像的 图片特征节点数1024进行分类；而利用节点数为2的第二层全连接层输出的 就是判别真假图片的概率。

关联于生成网络的训练条件为针对生成网络设置一第一损失函数；

第一损失函数具体为：

其中，

y

n为初始红外图像的像素总数；

W为初始红外图像的长度；

H为初始红外图像的宽度；

I

I

φ为初始红外图像或高分辨率图像训练完成的某一层的特征图；

G(z)为高分辨率图像；

log(1-D(G(z)))为第一判别结果。

在本实施例中，第一损失函数包括MSE损失函数、VGG损失函数和GAN 损失函数组合使用。

具体的，MSE损失函数为

具体的，VGG损失函数为

具体的，GAN损失函数为

具体的，第一损失函数的的损失值

在一种优选的实施例中，关联于判别网络的训练条件为针对判别网络设 置一第二损失函数；

第二损失函数具体为：

其中，

D(x)为初始红外图像；

E

Z为低分辨率图像；

G(z)为高分辨率图像的训练样本；

log(D(x))+log(1-D(G(z)))为所述第二判别结果。

在本实施例中，第二损失函数包括真图片交叉熵损失函数和假图片交叉 熵损失函数。

在一种优选的实施例中，训练过程完成后，采用一量化数据对生成网络 进行量化，随后开始执行步骤B1，以将获取的多个低分辨率红外图像输入至 经过量化操作后的生成网络。

在本实施例中，瑞芯微RK3399Pro嵌入式平台选用瑞芯微系列的嵌入式 板子，推导框架选用RKNN1.4.0。在PC上进行训练，当损失降低到合适范 围后结束训练，调用RKNNapi将该对抗神经网络模型转化为rknn模型，并 根据模型的内容进行针对性的量化算法，通过量化算法不但极大地缩减了模 型的大小，而且保证了该神经网络模型的准确率，将量化后的神经网络模型 在瑞芯微系列的RK3399Pro平台上部署即可推导结果。

进一步地，本算法部署平台并不限于RK3399pro，如RV1109等系列平 台都可以。

在一种优选的实施例中，关联于网络模型的量化操作为针对网络模型设 置一非对称量化公式；

非对称量化公式具体为：

其中，

x

x

q

zp

n为生成网络预设的量化数据的字节数。

在本实施例中，非对称量化公式通过收缩倍数q

本实施例中要提升分辨率的低分辨率红外图像如图9A所示，对应于图 9A所示高分辨率图像如图9B所示，对424张低分辨率测试图像进行测试， 本方法得到的高分辨图像的信噪比PSNR都达到较好的质量。

综上所述，设计一种适用于嵌入式设备的包含生成网络(结构如图1所 示)和判别网络(结构如图2所示)的，基于对抗神经网络的红外图像超分 辨率方法可使图像分辨率提升2～N倍。在PC上对包括该红外图像超分辨率 方法的网络模型进行训练，生成网络和判别网络根据各自的损失函数进行不 停的更新和迭代，最终使生成网络生成的高分辨率红外图像的效果越来越好。 当损失降低到合适范围后结束训练，并根据该网络模型的内容进行针对性的 量化算法。经测试对于输入分辨率为160*128的红外图像，本方法在使用非 对称量化公式优化方法的情况下生成4倍分辨率(640*512)图像的速度达到 平均40.13ms/帧，可以达到实时效果。且得到的超分辨图像的信噪比PSNR 都达到较好的质量。使用该非对称量化公式不但极大地缩减了模型的大小， 而且保证了模型的准确率，将量化后的模型在瑞芯微系列的RK3399Pro平台 上部署即可推导结果。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及 保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书 及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含 在本发明的保护范围内。