全知型视频超分辨率网络、视频超分辨率重建方法及系统

摘要

本发明公开了一种全知型视频超分辨率网络、视频超分辨率重建方法及系统，全知型视频超分辨率网络，由先驱网络和后继网络两个子网络组成；本发明首先选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取图像作为高分辨率学习目标，将其下采样r倍，得到低分辨率图像，作为网络的输入；然后根据全知型视频超分辨率框架的类型，将低分辨率帧依前向(局部全知型)或是后向(全局全知型)输入先驱网络，生成所有低分辨率帧对应的隐状态和高分辨率结构信息；接着将低分辨率帧，以及步骤2中得到的隐状态依前向输入后继网络，进一步生成隐状态和高分辨率细节信息；最后将高分辨率结构信息和细节信息相加，得到最终重建的高分辨率视频帧。

说明书

技术领域

本发明属于数字图像处理技术领域，涉及一种全知型视频超分辨率网络、视频超分辨率重建方法及系统。

背景技术

近年来，随着科技的发展，视频已经成为人们生活中越来越重要的信息载体。然而，受到硬件设备和流量带宽的限制，高分辨率的视频普及程度仍然有限。视频超分辨率技术能从低分辨率的视频重建出对应的高分辨率视频，广泛应用于视频监控、卫星遥感、视频会议等领域。

现存的国际领先的视频超分辨率方法大多专注于设计更加复杂的网络结构，以更好地拟合低分辨率空间到高分辨率空间的映射关系，却忽略了视频超分辨率框架的设计。然而，框架是视频超分辨率算法的基石，对于同样的一个网络模型，较差的框架不能完全挖掘出该模型的潜力，而一个好的框架则能充分发挥出它的性能。

现有的视频超分辨率网络框架可以概括为三种：迭代型网络框架，循环型网络框架，以及混合型网络框架。迭代型网络框架只考虑将低分辨率视频帧作为处理对象，根据给定的中心帧，它利用其周围的视频帧(通常取前后各1到3帧)来生成中心高分辨率视频帧，并以一种滑动窗口的方式迭代地处理整个视频序列。循环型网络框架采用过去和当前的低分辨率帧，以及过去的超分辨率结果作为信息来源，然而却忽视了未来的低分辨率帧。混合型网络框架则整合了这二者的对象信息，但仍然没有全面囊括蕴含在视频序列中的信息来源。

发明内容

为了解决上述技术问题，本发明提供了一种全知型视频超分辨率网络、视频超分辨率重建方法及系统。核心思想在于将过去、现在及未来的低分辨率视频帧以及超分过程中产生的中间结果(隐状态)作为信息来源，以充分挖掘蕴含在视频序列中的时空域相关信息。

本发明提供的一种全知型视频超分辨率网络，由先驱网络和后继网络两个子网络组成；

根据先驱网络和后继网络的处理方向，全知型视频超分辨率网络分为局部全知型视频超分辨率网络和全局全知型视频超分辨率网络；

所述局部全知型视频超分辨率网络的先驱网络和后继网络的处理方向是相同的，均为前向；所述局部全知型视频超分辨率网络的先驱网络的处理过程为：

其中，

所述全局全知型视频超分辨率网络的先驱网络和后继网络的处理方向是相反的，其中先驱网络的方向是后向，后继网络则是前向；全局全知型视频超分辨率网络的先驱网络的处理过程为：

所述后继网络的处理过程为：

其中

本发明的方法所采用的技术方案是：一种视频超分辨率重建方法，包括以下步骤：

步骤1：选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取图像作为高分辨率学习目标，将其下采样r倍，得到低分辨率图像，作为全知型视频超分辨率网络的输入；

步骤2：若全知型视频超分辨率网络为局部全知型视频超分辨率网络，则将低分辨率帧依前向输入先驱网络，生成所有低分辨率帧对应的隐状态和高分辨率结构信息；

若全知型视频超分辨率网络为全局全知型视频超分辨率网络，则将低分辨率帧依后向输入先驱网络，生成所有低分辨率帧对应的隐状态和高分辨率结构信息；

步骤3：将低分辨率帧，以及步骤2中得到的隐状态依前向输入后继网络，进一步生成隐状态和高分辨率细节信息；

步骤4：将步骤2和步骤3中生成的高分辨率结构信息和细节信息相加，得到最终重建的高分辨率视频帧。

本发明的系统所采用的技术方案是：一种视频超分辨率重建系统，包括以下模块：

模块1，用于选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取图像作为高分辨率学习目标，将其下采样r倍，得到低分辨率图像，作为全知型视频超分辨率网络的输入；

模块2，用于若全知型视频超分辨率网络为局部全知型视频超分辨率网络，则将低分辨率帧依前向输入先驱网络，生成所有低分辨率帧对应的隐状态和高分辨率结构信息；

若全知型视频超分辨率网络为全局全知型视频超分辨率网络，则将低分辨率帧依后向输入先驱网络，生成所有低分辨率帧对应的隐状态和高分辨率结构信息；

模块3，用于将低分辨率帧，以及模块2中得到的隐状态依前向输入后继网络，进一步生成隐状态和高分辨率细节信息；

模块4，用于将模块2和模块3中生成的高分辨率结构信息和细节信息相加，得到最终重建的高分辨率视频帧。

本发明先使用先驱网络对视频帧进行一步粗处理，生成低分辨率视频帧对应的隐状态和高分辨率结构信息。然后用后继网络继承先驱网络生成的隐状态，进一步生成每一低分辨率视频帧对应的隐状态和高分辨率细节信息。最后将高分辨率结构信息和高分辨率细节信息相加，得到最终重建的高分辨率视频帧。

附图说明

图1为本发明实施例的全知型视频超分辨率网络框架图。

图2为本发明实施例的方法流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种全知型视频超分辨率网络，由先驱网络和后继网络两个子网络组成；

根据先驱网络和后继网络的处理方向，全知型视频超分辨率网络分为局部全知型视频超分辨率网络和全局全知型视频超分辨率网络；

局部全知型视频超分辨率网络的先驱网络和后继网络的处理方向是相同的，均为前向；局部全知型视频超分辨率网络的先驱网络的处理过程为：

其中，

全局全知型视频超分辨率网络的先驱网络和后继网络的处理方向是相反的，其中先驱网络的方向是后向，后继网络则是前向；全局全知型视频超分辨率网络的先驱网络的处理过程为：

后继网络的处理过程为：

其中

需要说明的是，本发明设计了一种全知型视频超分辨率网络，它包含先驱网络和后继网络两个子网络。但是，本发明未设计先驱网络和后继网络的具体网络结构，因为任意结构的网络均可作为先驱网络或后继网络，融入本发明设计的全知型视频超分辨率网络，只要其输入输出形式满足公式(1)、(2)、(3)即可。

请见图2，本发明提供的一种视频超分辨率重建方法，包括以下步骤：

步骤1：选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取图像作为高分辨率学习目标，将其下采样r倍，得到低分辨率图像，作为全知型视频超分辨率网络的输入；

步骤2：若全知型视频超分辨率网络为局部全知型视频超分辨率网络，则将低分辨率帧依前向输入先驱网络，生成所有低分辨率帧对应的隐状态和高分辨率结构信息；

若全知型视频超分辨率网络为全局全知型视频超分辨率网络，则将低分辨率帧依后向输入先驱网络，生成所有低分辨率帧对应的隐状态和高分辨率结构信息；

本发明先采用一种先驱网络，先驱网络Net

步骤3：将低分辨率帧，以及步骤2中得到的隐状态依前向输入后继网络，进一步生成隐状态和高分辨率细节信息；

由于先驱网络生成了所有低分辨率视频帧

步骤4：将步骤2和步骤3中生成的高分辨率结构信息和细节信息相加，得到最终重建的高分辨率视频帧。

先驱网络先粗化地处理低分辨率视频帧，生成的高分辨率视频帧

最终的超分辨率视频帧输出为：

其中，

本实施例还构建损失函数分别约束先驱网络和整体框架，优化网络模型的性能。

使用一种L1损失函数的变体，限制最终重建的高分辨率视频帧

本实施例构建的损失函数为：

式中，

本发明能够充分利用蕴含在视频序列中的帧内空间相关性和帧间时间相关性，在生成高保真度视频的同时保持较快的速度。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。