图像视频超分辨率与超清晰度重建系统及方法

摘要

本发明揭示了一种图像视频超分辨率与超清晰度重建系统及方法，所述重建系统包括特征提取模块、超分辨率与超清晰度重建模块及至少一特征处理模块；特征提取模块用以提取待处理图像、视频的设定特征层；超分辨率与超清晰度重建模块用以进行特征采样和特征提取，获得重建后的超分辨率、超清晰度图像视频；各特定特征处理模块用以根据不同的计算机视觉任务设定获得待处理图像视频对应的特征信息输出。本发明可根据不同的计算机视觉任务的并行执行多个特定特征处理模块以获取多种特定的特征信息输出，最终结合超分辨率与超清晰度重建模块形成准确的高分辨率、高清晰度图像，从而有效的提升后续计算机视觉任务的性能。

说明书

技术领域

本发明属于图像、视频处理技术领域，涉及一种图像、视频处理系统，尤其涉及一种应用于特定计算机视觉任务的图像视频超分辨率与超清晰度重建系统及方法。

背景技术

深度神经网络是一种复杂的数学模型，输入数据通过深度神经网络获得相应的输出数据，通过输出数据与标记数据的差异构建损失函数，损失函数对深度神经网络中的参数计算梯度，通过梯度反向传播，更新深度神经网络中的参数，通过不断更新参数，致使输出数据与标记数据间的差异不断减小。其中输入数据与标记数据构成深度神经网络训练所需要的训练数据，深度神经网络的性能跟神经网络的结构和训练数据有关。深度神经网络在图像、语音、自然语言处理等领域都已取得优于传统方法的性能，得到广泛应用。

图像、视频超分辨率重建是指从观测到的低分辨率图像中重建出对应的高分辨率图像、视频。随着深度学习技术的快速发展，基于深度神经网络的图像、视频超分辨率重建方法是目前性能最优的图像、视频超分辨率重建方法。

现有的基于深度神经网络的图像、视频超分辨率重建系统通常包含两大模块：特征提取模块21和超分辨率图像重建模块31，获得重建的超分辨率图像视频41，在训练时，计算重建的超分辨率图像视频41与待处理图像视频11对应高分辨率图像视频间的图像视频损失函数51，基于图像视频损失函数51进行图像视频训练梯度反向传播，更新特征提取模块21和超分辨率图像重建模块31的参数，使特征提取模块21能够提取到待处理图像视频11的图像视频信息，整体如图1所示。现有基于深度神经网络的图像视频超分辨率重建方法在图像视频重建后获得了良好的视觉效果，但存在着重建后的图像视频可信度低的问题。

上述现有的图像视频超分辨率重建从本质上是一个不适定问题，即对于原始的低分辨率和低清晰度图像视频，使用现有方法存在多个高分辨率、高清晰图像与之对应，该不适定问题会导致重建后的超分辨率图像视频信息的改变，致使重建后的超分辨率图像视频可信度较低，无法被用于计算机视觉任务(文字识别、人脸识别，ADAS、姿态识别等等)中。

有鉴于此，如今迫切需要设计一种新的图像、视频的重建方式，以便克服现有图像视频重建方式存在的上述至少部分缺陷。

发明内容

本发明提供一种图像视频超分辨率与超清晰度重建系统及方法，可围绕不同的计算机视觉任务，并可配置并融合多个特征，最终在确保重建图像、视频的可信度的前提下提高图像、视频分辨率和清晰度，进而能被计算机视觉任务所使用，提高现有计算机视觉任务的实际使用性能。

为解决上述技术问题，根据本发明的一个方面，采用如下技术方案：

一种图像视频超分辨率与超清晰度重建系统，所述重建系统包括：

特征提取模块，用以提取待处理图像视频对应的设定特征层；

超分辨率与超清晰度重建模块，连接所述特征提取模块，用以进行特征采样及特征提取，获得重建后的超分辨率图像；以及

至少一特定特征处理模块，各特定特征处理模块分别连接所述特征提取模块，用以对所述特征层进行特征处理，根据不同的计算机视觉任务设定获得待处理图像视频对应的特征信息输出。

作为本发明的一种实施方式，所述系统进一步包括：

图像视频损失函数获取模块，用以根据所述超分辨率与超清晰度重建模块获取的超分辨率、超清晰度图像视频计算图像视频损失函数；

至少一特征信息损失函数获取模块，各特征信息损失函数获取模块连接对应的特定特征处理模块，用以根据所述特定特征处理模块获取的特征信息输出计算对应的特征信息损失函数；

损失函数融合模块，用以将所述图像视频损失函数获取模块获取的图像视频损失函数、各特征信息损失函数获取模块获取的特征信息损失函数进行融合，获取融合损失函数；利用融合损失函数进行反向传播，以进行图像视频超分辨率与超清晰度重建网络的训练。

作为本发明的一种实施方式，根据不同的计算机视觉任务需求进行设计对应的至少一特定特征处理模块，以对所述特征层进行特定特征处理，获得与计算机视觉任务需求相关的待处理图像视频的特定特征信息。

作为本发明的一种实施方式，各特征信息损失函数获取模块用以通过计算特征信息输出与期望特征信息的差异获取特征信息损失函数。

作为本发明的一种实施方式，所述特征提取模块用以获取待处理图像视频的高级特征层，所述高级特征层包含待处理图像视频的深层特征信息；

所述超分辨率与超清晰度重建模块用以将所述高级特征层进行深度神经网络的特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率、超清晰度图像视频；

所述特定特征处理模块用以将所述高级特征层进行深度神经网络的特征处理，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为特征信息输出；

所述图像视频损失函数获取模块用以计算图像损失函数，具体包含：将重建后的超分辨率、超清晰度图像视频与待处理图像视频对应的高分辨率、高清晰度图像视频计算L

所述图像视频损失函数获取模块还用以将计算得到的图像视频损失函数通过反向传播至所述特征提取模块；使所述特征提取模块提取的高级特征层含有丰富的图像视频信息，从而使得超分辨率与超清晰度重建模块重建后的超分辨率、超清晰图像视频具有更好的视觉效果；

所述特征信息损失函数获取模块用以计算特征信息的损失函数，通过计算特征信息输出与期望特征信息的差异获取特征信息损失函数；

所述特征信息损失函数获取模块还用以将计算得到的特征信息损失函数反向传播至所述特征提取模块，使所述特征提取模块提取的特征层含有丰富的特定特征信息，从而帮助超分辨率与超清晰度重建模块重建后的超分辨率、超清晰度图像视频具有更高的可信度；

所述损失函数融合模块将所述图像视频损失函数、特征信息损失函数进行加权求和，获得融合损失函数；所述损失函数融合模块还用以将融合损失函数反向传播至图像视频损失函数获取模块、特征信息损失函数获取模块。

根据本发明的一个方面，采用如下技术方案：一种图像视频超分辨率与超清晰度重建方法，所述重建方法包括：

特征提取模块提取待处理图像视频对应的设定特征层；

超分辨率与超清晰度重建模块进行特征采样及特征提取，获得重建后的超分辨率图像；以及

至少一特定特征处理模块对所述特征层进行特征处理，根据不同的计算机视觉任务设定获得待处理图像视频对应的特征信息输出。

作为本发明的一种实施方式，所述重建方法进一步包括：

图像视频损失函数获取模块根据所述超分辨率与超清晰度重建模块获取的超分辨率、超清晰度图像视频计算图像视频损失函数；

至少一特征信息损失函数获取模块根据所述特定特征处理模块获取的特征信息输出计算对应的特征信息损失函数；

损失函数融合模块将所述图像视频损失函数获取模块获取的图像视频损失函数、各特征信息损失函数获取模块获取的特征信息损失函数进行融合，获取融合损失函数；利用融合损失函数进行反向传播，以进行图像视频超分辨率与超清晰度重建网络的训练。

作为本发明的一种实施方式，根据不同的计算机视觉任务需求进行设计对应的至少一特定特征处理模块，以对所述特征层进行特定特征处理，获得与计算机视觉任务需求相关的待处理图像视频的特定特征信息。

作为本发明的一种实施方式，各特征信息损失函数获取模块通过计算特征信息输出与期望特征信息的差异获取特征信息损失函数。

作为本发明的一种实施方式，所述特征提取模块获取待处理图像视频的高级特征层，所述高级特征层包含待处理图像视频的深层特征信息；

所述超分辨率与超清晰度重建模块将所述高级特征层进行深度神经网络的特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率、超清晰度图像视频；

所述特定特征处理模块将所述高级特征层进行深度神经网络的特征处理，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为特征信息输出；

所述图像视频损失函数获取模块计算图像损失函数，具体包含：将重建后的超分辨率、超清晰度图像视频与待处理图像视频对应的高分辨率、高清晰度图像视频计算L

所述图像视频损失函数获取模块还将计算得到的图像视频损失函数通过反向传播至所述特征提取模块；使所述特征提取模块提取的高级特征层含有丰富的图像视频信息，从而使得超分辨率与超清晰度重建模块重建后的超分辨率、超清晰图像视频具有更好的视觉效果；

所述特征信息损失函数获取模块计算特征信息的损失函数，通过计算特征信息输出与期望特征信息的差异获取特征信息损失函数；

所述特征信息损失函数获取模块还将计算得到的特征信息损失函数反向传播至所述特征提取模块，使所述特征提取模块提取的特征层含有丰富的特定特征信息，从而帮助超分辨率与超清晰度重建模块重建后的超分辨率、超清晰度图像视频具有更高的可信度；

所述损失函数融合模块将所述图像视频损失函数、特征信息损失函数进行加权求和，获得融合损失函数；所述损失函数融合模块还用以将融合损失函数反向传播至图像视频损失函数获取模块、特征信息损失函数获取模块。

本发明的有益效果在于：本发明提出的图像视频超分辨率与超清晰度重建系统及方法，可围绕不同的计算机视觉任务，并可配置并融合多个特征，最终在确保重建图像视频的可信度的前提下提高图像视频分辨率和清晰度，进而能被计算机视觉任务所使用，提高现有计算机视觉任务的实际使用性能。

附图说明

图1为现有图像视频超分辨率重建系统的组成示意图。

图2为本发明一实施例中图像视频超分辨率与超清晰度重建系统的组成示意图。

图3为本发明一实施例中图像视频超分辨率与超清晰度重建系统的组成示意图。

图4为本发明一实施例中图像视频超分辨率与超清晰度重建系统的组成示意图。

图5为本发明一实施例中图像视频超分辨率与超清晰度重建系统的组成示意图。

图6为本发明一实施例中图像视频超分辨率与超清晰度重建系统的组成示意图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。

该部分的描述只针对几个典型的实施例，本发明并不仅局限于实施例描述的范围。相同或相近的现有技术手段与实施例中的一些技术特征进行相互替换也在本发明描述和保护的范围内。

说明书中各个实施例中的步骤的表述只是为了方便说明，本申请的实现方式不受步骤实现的顺序限制。说明书中的“连接”既包含直接连接，也包含间接连接。

说明书中，“图像视频”指图像，或者视频，或者图像及视频。

本发明揭示了一种图像视频超分辨率与超清晰度重建系统，图2、图3为本发明一实施例中图像视频超分辨率与超清晰度重建系统的组成示意图；请参阅图2、图3，所述重建系统可以为可配置的多特征融合的重建系统。所述重建系统包括：特征提取模块100、超分辨率与超清晰度重建模块200及至少一特定特征处理模块300。

特征提取模块100用以提取待处理图像视频对应的设定特征层；超分辨率与超清晰度重建模块200连接所述特征提取模块100，用以进行特征采样及特征提取，获得重建后的超分辨率、超清晰度图像视频；各特定特征处理模块300分别连接所述特征提取模块100，用以对所述特征层进行特征处理，根据不同的计算机视觉任务设定获得待处理图像视频对应的特征信息输出。

图4为本发明一实施例中图像视频超分辨率与超清晰度重建系统的组成示意图；请参阅图4，在本发明的一实施例中，所述系统进一步包括：图像视频损失函数获取模块400、至少一特征信息损失函数获取模块500及损失函数融合模块600。

图像视频损失函数获取模块400用以根据所述超分辨率与超清晰度图像重建模块200获取的超分辨率、超清晰度图像视频计算图像视频损失函数；各特征信息损失函数获取模块500连接对应的特定特征处理模块300，用以根据所述特定特征处理模块获取的特征信息输出计算对应的特征信息损失函数。损失函数融合模块600用以将所述图像视频损失函数获取模块400获取的图像视频损失函数、各特征信息损失函数获取模块500获取的特征信息损失函数进行融合，获取融合损失函数；利用融合损失函数进行反向传播，以进行图像视频超分辨率与超清晰度重建网络的训练。

在本发明的一实施例中，本发明重建系统可以根据不同的计算机视觉任务需求进行设计对应的至少一特定特征处理模块300，以对所述特征层进行特定特征处理，获得与计算机视觉任务需求相关的待处理图像视频的特定特征信息。各特征信息损失函数获取模块500用以通过计算特征信息输出与期望特征信息的差异获取特征信息损失函数。

根据不同的计算机任务，本发明重建系统的特征处理模块、特征信息输出、特征信息损失函数获取模块的设定是不同的；其特征处理的个数也是不一样的。本发明重建系统应用多特征来确保超分辨率、超清晰度重建后的准确性；对于不同的计算机视觉任务的要求，选取的特征不同，特征的个数也不同。但无论有多少特征，其对单个特征的处理方式是类似的。同时，无论有多少个特征，每个特征都会产生一个特征信息损失函数，所有的特征信息损失函数与图像视频损失函数进行融合可以得到一个“总的”损失函数。“总的”损失函数在算法训练的过程中进行反向传播，最终影响、优化特征提取模块，继而大幅度提高超分辨率、超清晰度重建模块的重建效果可信度。

在本发明的一实施例中，所述特征提取模块100用以获取待处理图像视频的高级特征层，所述高级特征层包含待处理图像视频的深层特征信息。所述超分辨率与超清晰度重建模块200用以将所述高级特征层进行深度神经网络的特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率、超清晰度图像视频。所述特定特征处理模块300用以将所述高级特征层进行深度神经网络的特征处理，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为特征信息输出。

所述图像视频损失函数获取模块400用以计算图像损失函数，具体包含：将重建后的超分辨率、超清晰度图像视频与待处理图像视频对应的高分辨率、高清晰度图像视频计算L

所述特征信息损失函数获取模块500用以计算特征信息的损失函数，通过计算特征信息输出与期望特征信息的差异获取特征信息损失函数。所述特征信息损失函数获取模块500还用以将计算得到的特征信息损失函数反向传播至所述特征提取模块，使所述特征提取模块提取的特征层含有丰富的特定特征信息，从而帮助超分辨率与超清晰度重建模块重建后的超分辨率、超清晰度图像视频具有更高的可信度。

所述损失函数融合模块600将所述图像视频损失函数、特征信息损失函数进行加权求和，获得融合损失函数；所述损失函数融合模块还用以将融合损失函数反向传播至图像视频损失函数获取模块、特征信息损失函数获取模块。

图5为本发明一实施例中图像视频超分辨率与超清晰度重建系统的组成示意图；请参阅图5，在本发明的一实施例中，至少一特征处理模块300包括语义分割模块310，所述语义分割模块310用以对所述特征层进行特征提取，获得待处理图像对应的语义分割图。至少一特定信息损失函数获取模块500包括语义分割损失函数获取模块510，所述语义分割损失函数获取模块510用以根据所述语义分割模块310获取的语义分割图计算语义分割损失函数。所述损失函数融合模块600用以将所述图像视频损失函数获取模块400获取的图像损失函数、所述语义分割损失函数获取模块510获取的语义分割损失函数进行融合，获取融合损失函数；利用融合损失函数进行多任务图像超分辨率重建网络的训练。

在一实施例中，所述特征提取模块100用以获取待处理图像视频的高级特征层，所述高级特征层包含待处理图像视频的深层特征信息。所述超分辨率与超清晰度重建模块200用以将所述高级特征层进行深度神经网络的特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率、超清晰度图像视频。所述语义分割模块310用以将所述高级特征层进行深度神经网络的特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为待处理图像的语义分割图。

所述图像视频损失函数获取模块400用以计算图像损失函数，具体包含：将重建后的超分辨率、超清晰度图像视频与待处理图像视频对应的高分辨率、高清晰度图像视频计算L

所述语义分割损失函数获取模块510用以计算语义分割损失函数，具体包括：将利用语义分割模块获取的待处理图像的语义分割图与对应的语义分割标注图计算多类别交叉熵损失函数，使语义分割模块获取的语义分割图更加准确。所述语义分割损失函数获取模块510用以将计算得到的语义分割损失函数通过语义分割训练梯度反向传播至所述特征提取模块，使所述特征提取模块提取的特征层含有丰富的语义信息，从而帮助超分辨率与超清晰度重建模块重建后的超分辨率图像像素值更加准确，提高重建后的超分辨率图像的清晰度。

所述损失函数融合模块600将所述图像损失函数、语义分割损失函数进行加权求和，获得融合损失函数；所述损失函数融合模块600还用以将融合损失函数反向传播至图像视频损失函数获取模块400、语义分割损失函数获取模块510。

图6为本发明一实施例中图像视频超分辨率与超清晰度重建系统的组成示意图；请参阅图6，在本发明的一实施例中，至少一特征处理模块300包括文字识别模块320，所述文字识别模块320对所述特征层进行下采样，对下采样后的特征层进行时序特征提取，对提取的时序特征进行文字识别，获得待处理文字图像中的文字内容。至少一特定信息损失函数获取模块500包括文字损失函数获取模块520，所述文字损失函数获取模块520根据所述文字识别模块320获取的文字内容计算文字损失函数。损失函数融合模块600将所述图像视频损失函数获取模块400获取的图像损失函数、所述文字损失函数获取模块520获取的文字损失函数进行融合，获取融合损失函数；利用融合损失函数进行多任务文字图像超分辨率重建网络的训练。在一实施例中，所述重建系统还可以包括超分辨率梯度图重建模块700。

具体地，在本发明的一实施例中，特征提取模块100用以提取待处理图像对应的设定特征层；超分辨率与超清晰度重建模块200用以将所述特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像；文字识别模块320用以对所述特征层进行下采样，对下采样后的特征层进行时序特征提取，对提取的时序特征进行文字识别，获得待处理文字图像中的文字内容；超分辨率梯度图重建模块700用以对所述特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率梯度图。

在本发明的一实施例中，所述特征提取模块100用以获取待处理文字图像的高级特征层，所述高级特征层包含待处理文字图像的深层特征信息。在一实施例中，可将待处理文字图像输入ESRGAN生成网络中的特征提取模块，从而获取高级特征层。

所述超分辨率与超清晰度重建模块200用以将所述特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率文字图像。

所述文字识别模块320用以将所述高级特征层进行包含池化层的深度神经网络的下采样，使得下采样后的特征层高度为设定值1；将下采样后的特征层送入双向LSTM网络进行时序特征的提取，获得待处理文字图像时序特征的输出；将时序特征通过全连接层和softmax函数进一步提出特征，最后一层的特征确定为待处理文字图像的文字内容。

所述超分辨率梯度图重建模块700用以将所述高级特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率梯度图。

如图6所示，在本发明的一实施例中，所述重建系统包括图像视频损失函数获取模块400、文字损失函数获取模块520、梯度损失函数获取模块800及损失函数融合模块600。

所述图像视频损失函数获取模块400用以根据所述超分辨率与超清晰度重建模块获取的超分辨率文字图像计算图像损失函数；文字损失函数获取模块520用以根据所述文字识别模块获取的文字内容计算文字损失函数；梯度损失函数获取模块800用以根据所述超分辨率梯度图重建模块获取的超分辨率梯度图计算梯度损失函数。损失函数融合模块600用以将所述图像视频损失函数获取模块400获取的图像损失函数、所述文字损失函数获取模块520获取的文字损失函数、所述梯度损失函数获取模块800获取的梯度损失函数三种损失函数进行融合，获取融合损失函数；利用融合损失函数进行多任务文字图像超分辨率重建网络的训练。

在本发明的一实施例中，所述图像视频损失函数获取模块400用以计算图像损失函数，具体包含：将重建后的超分辨率文字图像与待处理文字图像对应的高分辨率文字图像计算L

所述文字损失函数获取模块520用以计算文字损失函数，具体包括：将利用文字识别模块获取的待处理文字图像的文字内容与对应的标注文字内容计算CTC损失，使文字识别模块识别的文字内容更加正确。

所述梯度损失函数获取模块800用以计算梯度损失函数，具体包括：将所述待处理文字图像对应的高分辨率文字图像通过Sobel算子计算梯度图，获取目标梯度图；将所述的目标梯度图与重建后的超分辨率梯度图计算L

所述损失函数融合模块600将所述图像损失函数、文字损失函数、梯度损失函数三种损失函数进行加权求和，获得融合损失函数。

所述图像视频损失函数获取模块400用以将计算得到的图像损失函数通过图像训练梯度反向传播至所述特征提取模块；使所述特征特征提取模块提取的高级特征层含有丰富的图像信息，从而使得超分辨率重建模块重建后的超分辨率文字图像更加逼真。

所述文字损失函数获取模块520用以将计算得到的文字损失函数通过文字训练梯度反向传播至所述特征提取模块，使所述特征提取模块提取的特征层含有丰富的文字信息，从而帮助超分辨率与超清晰度重建模块重建后的超分辨率文字图像文字内容更加准备，提高重建后的超分辨率文字图像的可信度。

所述梯度损失函数获取模块800用以将计算得到的梯度损失函数通过梯度训练梯度反向传播至所述特征提取模块，使所述特征提取模块提取的高级特征层含有丰富的梯度信息，从而帮助超分辨率与超清晰度重建模块重建后的超分辨率文字图像、文字边缘更加清晰，提高重建后的超分辨率文字图像的清晰度。

所述损失函数融合模块600还用以将融合损失函数反向传播至图像视频损失函数获取模块400、文字损失函数获取模块520及梯度损失函数获取模块800。

在本发明的一种使用场景中，本发明可以降低分辨率的文字图像重建为超分辨率的文字图像，解决现有基于深度神经网络的图像超分辨率重建方法应用于文字图像重建时，重建后的超分辨率文字图像文字边缘模糊、文字内容可信度低的问题，为文字图像的语义分析等高层任务提供清晰可信的图像。

在本发明用于文字图像识别场景中，本发明与现有的基于深度神经网络的图像超分辨率重建方法相比，具有以下两个优势：

(1)重建后的超分辨率文字图像文字边缘清晰：

本发明提供的多任务文字图像超分辨率重建方法，在超分辨率与超清晰度重建模块的基础上并行添加超分辨率梯度图重建模块，计算梯度损失函数，在网络参数更新时，通过梯度训练梯度反向传播，使特征提取模块提取的高级特征层含有丰富的梯度信息，从而使超分辨率与超清晰度重建模块重建的超分辨率文字图像文字边缘更加清晰。

(2)重建后的超分辨率文字图像文字内容可信度高：

本发明提出的多任务文字图像超分辨率重建方法，在超分辨率与超清晰度重建模块的基础上并行添加文字识别模块，计算文字损失函数，在网络参数更新时，通过文字训练梯度反向传播，使特征提取模块提取的高级特征层含有丰富的文字信息，从而使超分辨率与超清晰度重建模块重建的超分辨率文字图像文字内容正确、可信度高。

本发明还揭示一种图像视频超分辨率与超清晰度重建方法，所述重建方法包括：

特征提取模块提取待处理图像视频对应的设定特征层；

超分辨率与超清晰度重建模块进行特征采样及特征提取，获得重建后的超分辨率、超清晰度图像视频；

至少一特定特征处理模块对所述特征层进行特征处理，根据不同的计算机视觉任务设定获得待处理图像视频对应的特征信息输出。

在本发明的一实施例中，所述重建方法进一步包括：

图像视频损失函数获取模块根据所述超分辨率与超清晰度重建模块获取的超分辨率、超清晰度图像视频计算图像视频损失函数；

至少一特征信息损失函数获取模块根据所述特定特征处理模块获取的特征信息输出计算对应的特征信息损失函数；

损失函数融合模块将所述图像视频损失函数获取模块获取的图像视频损失函数、各特征信息损失函数获取模块获取的特征信息损失函数进行融合，获取融合损失函数；利用融合损失函数进行反向传播，以进行图像视频超分辨率与超清晰度重建网络的训练。

在本发明的一实施例中，根据不同的计算机视觉任务需求进行设计对应的至少一特定特征处理模块，以对所述特征层进行特定特征处理，获得与计算机视觉任务需求相关的待处理图像视频的特定特征信息。各特征信息损失函数获取模块通过计算特征信息输出与期望特征信息的差异获取特征信息损失函数。

在本发明的一实施例中，所述特征提取模块获取待处理图像视频的高级特征层，所述高级特征层包含待处理图像视频的深层特征信息。所述超分辨率与超清晰度重建模块将所述高级特征层进行深度神经网络的特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率、超清晰度图像视频。所述特定特征处理模块将所述高级特征层进行深度神经网络的特征处理，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为特征信息输出。

所述图像视频损失函数获取模块计算图像损失函数，具体包含：将重建后的超分辨率、超清晰度图像视频与待处理图像视频对应的高分辨率、高清晰度图像视频计算L

所述特征信息损失函数获取模块计算特征信息的损失函数，通过计算特征信息输出与期望特征信息的差异获取特征信息损失函数。所述特征信息损失函数获取模块还将计算得到的特征信息损失函数反向传播至所述特征提取模块，使所述特征提取模块提取的特征层含有丰富的特定特征信息，从而帮助超分辨率与超清晰度重建模块重建后的超分辨率、超清晰度图像视频具有更高的可信度。

所述损失函数融合模块将所述图像视频损失函数、特征信息损失函数进行加权求和，获得融合损失函数；所述损失函数融合模块还用以将融合损失函数反向传播至图像视频损失函数获取模块、特征信息损失函数获取模块。

在本发明的一实施例中，至少一特征处理模块300包括语义分割模块310，语义分割模块310可以用来完成语义分割；语义分割模块310可以与语义分割损失函数获取模块510配合工作。在本发明的另一实施例中，至少一特征处理模块300包括文字识别模块320，文字识别模块320可以用来完成文字识别；文字识别模块320可以与文字损失函数获取模块520配合工作。此外，至少一特征处理模块300还可以包括超分辨率梯度图重建模块700，超分辨率梯度图重建模块700可以与梯度损失函数获取模块800配合工作。

当然，在本发明的一实施例中，至少一特征处理模块300可以同时包括语义分割模块310、文字识别模块320(还可以是其他模块，如用于完成人脸识别、高级驾驶辅助系统ADAS、姿态识别等处理过程的模块)，各过程可以并行处理。

综上所述，本发明提出的图像视频超分辨率与超清晰度重建系统及方法，可围绕不同的计算机视觉任务，并可配置并融合多个特征，最终在确保重建图像、视频的可信度的前提下提高图像、视频分辨率和清晰度，进而能被计算机视觉任务所使用，提高现有计算机视觉任务的实际使用性能。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施；例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本申请的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中；例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现；例如，作为与处理器配合从而执行各个步骤或功能的电路。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。实施例中所涉及的效果或优点可因多种因素干扰而可能不能在实施例中体现，对于效果或优点的描述不用于对实施例进行限制。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。