基于知识蒸馏的神经网络的数据压缩恢复方法及系统

摘要

本公开涉及神经网络技术领域，具体而言，本公开涉及基于知识蒸馏的神经网络的数据压缩恢复方法及系统。所述方法包括：将原数据输入到知识蒸馏网络进行训练；将所述原数据经过压缩得到的压缩数据输入到目标网络中；通过所述知识蒸馏网络对已输入所述压缩数据的所述目标网络进行分析训练；将训练好的目标网络数据输出，得到恢复后的分析结果。所述系统包括：数据压缩模块，用于生成压缩数据；知识蒸馏模块，用于将所述数据压缩模块传入的数据提取为高质量特征流；推理模块，用于部署恢复后的分析结果。本公开的方法与系统可以减少图片、视频或音频数据因压缩所带来的损失，且能大幅提升目标网络的性能，得到准确率大幅提升的分析结果。

说明书

技术领域

本公开涉及神经网络技术领域，更为具体来说，本公开涉及基于知识蒸馏的神经网络的数据压缩恢复方法及系统。

背景技术

随着人工神经网络的蓬勃发展，各种神经网络模型得到了越来越广泛的应用。而很多神经网络采用的数据都是经过有损压缩的，有损压缩给数据信号带来了难以恢复的损失。这种损失不但影响了人类对数据的感知，同时也降低了各类神经网络的性能。

有很多复原技术致力于从信号层面上恢复这类损失。以图片压缩为例，图片压缩伪影去除，是一类旨在尽可能地恢复有损压缩给图片带来的损失，以满足人类观看和各种视觉分析任务需求的技术。现有的方法旨在恢复图片的信号值，但是我们发现这种恢复信号值的方法对神经网络没有明显的帮助。

知识蒸馏是一种模型压缩方法，由于其简单，有效，在工业界被广泛应用，但有损压缩会降低目标网络的性能。

因此，本申请提出一种改进的方法及系统，以至少部分地解决上述技术问题。

发明内容

为实现上述技术目的，本公开提供了基于知识蒸馏的神经网络的数据压缩恢复方法，包括：

将原数据输入到知识蒸馏网络进行训练；

将所述原数据经过压缩得到的压缩数据输入到目标网络中；

通过所述知识蒸馏网络对已输入所述压缩数据的所述目标网络进行分析训练；

将训练好的目标网络数据输出，得到恢复后的分析结果。

具体地，所述知识蒸馏网络可为教师网络，所述教师网络为表示知识教师网络或为信号知识教师网络。

进一步地，所述表示知识教师网络对原数据训练的方法为：

θ

其中，θ

进一步地，所述信号知识教师网络对原数据训练的方法为：

其中，F

进一步地，所述表示知识教师网络对已输入所述压缩数据的所述目标网络进行训练时，约束所述目标网络从压缩数据提取的特征表示与表示知识教师网络提取的高质量特征表示的差异，具体方法为：

其中，M

优选地，所述目标网络为卷积神经网络、循环神经网络和/或胶囊网络。

优选地，所述原数据为图片数据、视频数据和/或音频数据，所述压缩数据为图片压缩数据、视频压缩数据和/或音频压缩数据。

本公开提供了一种基于知识蒸馏的神经网络的数据压缩恢复系统，包括：

数据压缩模块，用于获取原数据，并将所述原数据进行压缩后生成压缩数据；

知识蒸馏模块，用于将所述数据压缩模块传入的数据提取为高质量特征流；

推理模块，用于部署从所述知识蒸馏模块中输出的恢复后的分析结果。

具体地，所述知识蒸馏模块包括知识蒸馏网络和目标网络，所述知识蒸馏网络对已输入所述压缩数据的所述目标网络进行分析训练。

具体地，所述知识蒸馏网络为表示知识教师网络或为信号知识教师网络。

本公开的有益效果为：

本公开提出了基于知识蒸馏的神经网络的数据压缩恢复方法及系统，所述方法与所述系统可以减少图片、视频或音频数据因压缩所带来的损失，且能大幅提升目标网络的性能，得到准确率大幅提升的分析结果。

附图说明

图1示出了本公开的实施例1的流程示意图；

图2示出了本公开的实施例2的结构示意图；

图3示出了本公开的实施例3的过程示意图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解的是，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。对于本领域技术人员来说显而易见的是，本公开可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本公开发生混淆，对于本领域公知的一些技术特征未进行描述。

应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本公开的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。

现在，将参照附图更详细地描述根据本公开的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的，其中为了清楚表达的目的，可能放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

实施例1：

本公开提供了一种基于知识蒸馏的神经网络的数据压缩恢复方法，如图1所示，包括：

将原数据输入到知识蒸馏网络进行训练；

将原数据经过压缩得到的压缩数据输入到目标网络中；

通过知识蒸馏网络对已输入所述压缩数据的所述目标网络进行分析训练；

将训练好的目标网络数据输出，得到恢复后的分析结果。

具体地，知识蒸馏网络可为教师网络，教师网络为表示知识教师网络或为信号知识教师网络。

进一步地，表示知识教师网络对原数据训练的方法为：

θ

其中，θ

进一步地，信号知识教师网络对原数据训练的方法为：

其中，F

进一步地，表示知识教师网络对已输入所述压缩数据的所述目标网络进行分析训练时，约束所述目标网络从压缩数据提取的特征表示与表示知识教师网络提取的高质量特征表示的差异，具体方法为：

其中，M

优选地，目标网络为卷积神经网络、循环神经网络和/或胶囊网络。

优选地，原数据为图片数据、视频数据和/或音频数据，压缩数据为图片压缩数据、视频压缩数据和/或音频压缩数据。

实施例2：

本公开提供了一种基于知识蒸馏的神经网络的数据压缩恢复系统，如图2所示，包括：

数据压缩模块，用于获取原数据，并将所述原数据进行压缩后生成压缩数据；

知识蒸馏模块，用于将所述数据压缩模块传入的数据提取为高质量特征流；

推理模块，用于部署从所述知识蒸馏模块中输出的恢复后的分析结果。具体地，所述知识蒸馏模块包括知识蒸馏网络和目标网络，所述知识蒸馏网络对已输入所述压缩数据的所述目标网络进行训练。

具体地，所述知识蒸馏网络可为教师网络，所述教师网络为表示知识教师网络或为信号知识教师网络。

进一步地，将原数据输入到知识蒸馏模块的知识蒸馏网络进行训练，将数据压缩模块中所述原数据经过压缩得到的压缩数据输入到知识蒸馏模块的目标网络中，通过知识蒸馏模块中所述知识蒸馏网络对已输入压缩数据的目标网络进行分析训练，将训练好的目标网络数据输出到推理模块，用于部署任务。

具体地，所述表示知识教师网络对原数据训练的方法为：

θ

其中，θ

进一步地，所述信号知识教师网络对原数据训练的方法为：

其中，F

进一步地，表示知识教师网络对已输入所述压缩数据的目标网络进行分析训练时，约束所述目标网络从压缩数据提取的特征表示与表示知识教师网络提取的高质量特征表示的差异，具体方法为：

其中，M

优选地，所述目标网络为卷积神经网络、循环神经网络和/或胶囊网络。

优选地，所述原数据为图片数据、视频数据和/或音频数据，所述压缩数据为图片压缩数据、视频压缩数据和/或音频压缩数据。

实施例3：

本公开提供了一种基于知识蒸馏的神经网络的数据压缩恢复系统，包括数据压缩模块、知识蒸馏模块和推理模块，其中，如图3所示，知识蒸馏模块包括表示知识教师网络和目标网络，表示知识教师网络至目标网络实现了表示知识蒸馏的过程。

具体地，将原数据输入到知识蒸馏模块的表示知识教师网络进行训练，将数据压缩模块中所述原数据经过压缩得到的压缩数据输入到知识蒸馏模块的目标网络中，通过知识蒸馏模块中表示知识教师网络对已输入所述压缩数据的所述目标网络进行训练，最后将训练好的目标网络数据输出到推理模块，用于部署任务。

具体地，所述表示知识教师网络对原数据训练方法为：

θ

其中，θ

进一步地，表示知识教师网络对已输入所述压缩数据的目标网络进行分析训练时，约束所述目标网络从压缩数据提取的特征表示与表示知识教师网络提取的高质量特征表示的差异，具体方法为：

其中，M

优选地，所述目标网络为卷积神经网络、循环神经网络和/或胶囊网络。

优选地，所述原数据为图片数据、视频数据和/或音频数据，所述压缩数据为图片压缩数据、视频压缩数据和/或音频压缩数据。

实施例4：

本公开提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行基于知识蒸馏的神经网络的数据压缩恢复方法的步骤：将原数据输入到知识蒸馏网络进行训练；将所述原数据经过压缩得到的压缩数据输入到目标网络中；通过所述知识蒸馏网络对已输入所述压缩数据的所述目标网络进行分析训练；将训练好的目标网络数据输出，得到恢复后的分析结果。

实施例5：

本公开还提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行基于知识蒸馏的神经网络的数据压缩恢复方法的步骤：将原数据输入到知识蒸馏网络进行训练；将所述原数据经过压缩得到的压缩数据输入到目标网络中；通过所述知识蒸馏网络对已输入所述压缩数据的所述目标网络进行分析训练；将训练好的目标网络数据输出，得到恢复后的分析结果。

对本公开实施例提供的基于知识蒸馏的神经网络的数据压缩恢复方法及系统，可依赖于计算机程序实现。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。本公开实施例中的基于知识蒸馏的神经网络的数据压缩恢复设备及介质包括但不限于：个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中用户终端可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digitalassistant，PDA)、5G网络或未来演进网络中的终端设备等。

以上对本公开的实施例进行了描述。但是，这仅仅是为了说明的目的，而并非为了限制本公开的范围。本公开的范围由所附权利要求及其等价物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。