基于U-Transformer多层次特征重构的异常检测方法及系统

摘要

本发明提供了一种基于U‑Transformer多层次特征重构的异常检测方法及系统，包括如下步骤：模型建立步骤：建立U‑Transformer模型；推断步骤：通过U‑Transformer模型对样本进行异常检测。本发明完全使用正常样本进行训练，提取多尺度的特征信息，并通过从局部到整体的多层次特征重构的方式进行异常检测；在有部分异常样本参与训练的时候，U‑Transformer模型的异常检测能力将会得到进一步的提升，有利于提高特征重构的异常检测的效果。

说明书

技术领域

本发明涉及特征重构的异常检测的技术领域，具体地，涉及一种基于U-Transformer多层次特征重构的异常检测方法及系统。

背景技术

在实际的工业质检中，异常样本极度稀缺，常用的异常检测方法是通过剪辑神经网络的自编码器的特征重构。

利用卷积神经网络的自编码器的特征重构方法的异常检测方法包括以下几个：

[1]Bergmann P,Fauser M,Sattlegger D,et al.MVTec AD—A ComprehensiveReal-World Dataset for Unsupervised Anomaly Detection[C]//2019 IEEE/CVFConference on Computer Vision and Pattern Recognition(CVPR).IEEE,2020.。

[2]Dehaene D,Frigo O,Combrexelle S,et al.Iterative energy-basedprojection on a normal data manifold for anomaly localization.2020.。

[3]Zhou K,Xiao Y,Yang J,et al.Encoding Structure-Texture Relationwith P-Net for Anomaly Detection in Retinal Images[J].2020.。

上述文件的缺点为：直接对于像素进行重构，语义信息的层次不深，正常与异常样本的区分度不高。使用基于卷积神经网络的自编码器，单输入-单输出结构，容易学习得到简单的横等映射。仅具有局部特征，能够捕捉临近位置的依赖关系。

针对上述中的相关技术，发明人认为特征重构的异常检测的效果较差。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于U-Transformer多层次特征重构的异常检测方法及系统。

根据本发明提供的一种基于U-Transformer多层次特征重构的异常检测方法，其特征在于，包括如下步骤：

模型建立步骤：建立U-Transformer模型；

推断步骤：通过所述U-Transformer模型对样本进行异常检测。

优选的，所述模型建立步骤包括如下步骤：

特征提取步骤：预训练特征提取器，通过所述特征提取器提取出多尺度特征；

网络结构步骤：建立U-Transformer模型，通过所述U-Transformer模型对提取的所述多尺度特征进行重构；

训练步骤：对所述U-Transformer模型进行训练更新。

优选的，所述推断步骤包括：通过提取的所述多尺度特征和重构的多尺度特征之间的差异度作为样本的异常评分。

优选的，所述网络结构步骤包括将所提取的所述多尺度特征分割成不同的图像块，并在图像块内划分出特征词序列，所述U-Transformer模型包括多个Transformer编码器和多个Transformer解码器，Transformer编码器和Transformer解码器一一对应，采用Transformer编码器对于图像块内的特征词序列进行编码；对于编码后的所述特征词序列取其下采样表征，作为图像块的特征词，根据不同数据集的不同特性，Transformer编码器对于图像块内的特征词序列进行编码将会重复不同的层次；采用相同数量的所述Transformer解码器，利用不同层次的特征编码，将多层次的问询词序列重构为特征；对应的所述Transformer编码器和Transformer解码器之间连接有跳层连接层；最后得到了一个重构的特征词序列，对重构的特征词序列进行形状重组和上采样，得到重构的多尺度特征。

优选的，所述跳层连接层上加入了降维-升维层，即在进行跳层连接的时候，对于输入先降维再升维。

优选的，所述训练步骤包括如下步骤：

完全正样本步骤：训练集全部由正常样本组成，采用回归损失函数，使得重构特征图去靠近特征提取器所提取的特征图，从而对于U-Transformer模型网络的参数进行更新；当U-Transformer模型能够重构特征提取器所提取的多尺度特征图的时候，说明U-Transformer模型能够对于正常样本的特征分布进行建模；

存在部分负样本步骤：训练集存在部分负样本，建立兼容少量异常样本的损失函数；重构损失函数L可以被表示为“拉近-推离”损失函数；

其中，u表示空间点的索引；N为空间点的总个数；y(u)为像素级别的标签，s(u)表示重构特征和特征提取器提取的特征之间的差异；L的第一项将正常样本的重构特征拉近到原始特征，即s(u)越小，第一项就越小；第二项将异常区域的重构特征推离原始特征，即s(u)越大，第二项就越小；第一项表示

第二项表示

根据本发明提供的一种基于U-Transformer多层次特征重构的异常检测系统，包括如下模块：

模型建立模块：建立U-Transformer模型；

推断模块：通过所述U-Transformer模型对样本进行异常检测。

优选的，所述模型建立模块包括如下模块：

特征提取模块：预训练特征提取器，通过所述特征提取器提取出多尺度特征；

网络结构模块：建立U-Transformer模型，通过所述U-Transformer模型对提取的所述多尺度特征进行重构；

训练模块：对所述U-Transformer模型进行训练更新。

优选的，所述推断模块包括：通过提取的所述多尺度特征和重构的多尺度特征之间的差异度作为样本的异常评分。

优选的，所述网络结构模块包括将所提取的所述多尺度特征分割成不同的图像块，并在图像块内划分出特征词序列，所述U-Transformer模型包括多个Transformer编码器和多个Transformer解码器，Transformer编码器和Transformer解码器一一对应，采用Transformer编码器对于图像块内的特征词序列进行编码；对于编码后的所述特征词序列取其下采样表征，作为图像块的特征词，根据不同数据集的不同特性，Transformer编码器对于图像块内的特征词序列进行编码将会重复不同的层次；采用相同数量的所述Transformer解码器，利用不同层次的特征编码，将多层次的问询词序列重构为特征；对应的所述Transformer编码器和Transformer解码器之间连接有跳层连接层；最后得到了一个重构的特征词序列，对重构的特征词序列进行形状重组和上采样，得到重构的多尺度特征。

与现有技术相比，本发明具有如下的有益效果：

1、本发明建立了U-Transformer模型，用于对预训练的特征提取器所提取的多尺度特征进行重构，能够仅仅利用正常样本建立深度学习模型，从而对于可能出现的、在正常样本的分布之外的异常样本进行检测；

2、本专利可以兼容完全正常样本、存在部分异常样本等情况，解决了完全正样本异常检测到半监督异常检测的兼容问题；

3、本发明基于特征提取器的多尺度特征重构，能够捕捉更深层次的语义信息，有利于检测不同类型的异常；本发明使用U-Transformer模型，利用多尺度的特征编码，并设计了从局部到整体的多层次重构模型，将多层次的问询词序列重构为重构特征，多输入-单输出结构，避免学习得到简单的横等映射，本发明U-Transformer模型具有逐渐扩大的局部自注意力机制，能够捕捉到空间位置上的长距离的依赖关系，且其计算复杂度相比于原始的Transformer有很大的降低。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明U-Transformer模型的结构图；

图2为本发明的训练逻辑图；

图3为本发明的推断逻辑图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明实施例公开了一种基于U-Transformer多层次特征重构的异常检测方法及系统，如图1和图2所示，包括如下步骤：模型建立步骤：建立U-Transformer模型。模型建立步骤包括如下步骤：

特征提取步骤：预训练特征提取器，通过特征提取器提取出多尺度特征。预训练一个特征提取器。在较大规模的公开数据集(公开数据集比如是Imagenet)上，进行通用视觉任务(通用视觉任务比如是分类、检测和分割)的训练。训练完成后，舍弃模型的任务头部，仅仅保留特征提取器部。较为著名的特征提取器包括ResNet系列和EfficientNet。之后，利用该特征提取器提取训练集中的正常样本的特征。一般来讲，特征提取器具有很多个层，不同层输出的特征具有不同大小的感受野，因此对于不同尺度的异常的感知力也是不同的。将不同层的特征进行融合，形成多尺度特征，以便于对不同的异常进行检测。

网络结构步骤：建立U-Transformer模型，通过U-Transformer模型对提取的多尺度特征进行重构。网络结构步骤包括将所提取的多尺度特征分割成不同的图像块，并在图像块内划分出特征词序列，U-Transformer模型包括多个Transformer编码器和多个Transformer解码器，Transformer编码器和Transformer解码器一一对应，采用Transformer编码器对于图像块内的特征词序列进行编码。对于编码后的特征词序列取其下采样表征，作为图像块的特征词，根据不同数据集的不同特性，Transformer编码器对于图像块内的特征词序列进行编码将会重复不同的层次。采用相同数量的Transformer解码器，利用不同层次的特征编码，将多层次的问询词序列重构为特征。对应的Transformer编码器和Transformer解码器之间连接有跳层连接层。跳层连接层上加入了降维-升维层，即在进行跳层连接的时候，对于输入先降维再升维。最后得到了一个重构的特征词序列，对重构的特征词序列进行形状重组和上采样，得到重构的多尺度特征。

将所提取的多尺度特征分割成不同的图像块，并在每一个图像块内划分出一系列的特征词序列，并采用一个Transformer编码器对于一个图像块内的特征词序列进行编码。对于编码后的特征词序列，取其下采样表征，作为这个图像块的一个特征词，不同的图像块之间再次构成了一个特征词序列。同样采用一个Transformer编码器对于这一个特征次词序列进行编码。根据不同数据集的不同特性，这样的编码将会重复不同的层次。之后，采用相同数量的Transformer解码器，利用不同层次的特征编码，将多层次的问询词序列重构为特征。为了在解码的时候更多地利用低层次特征编码的信息，在对应的Transformer编码器和Transformer解码器之间加上了跳层连接层。为了更多地平衡不同层次的信息，也为了去除冗余信息，防止模型仅仅利用低层次信息进行较为粗糙的重构，在每一个跳层连接层上加入了降维-升维层，即在进行跳层连接的时候，对于输入先降维再升维。最终，得到了一个重构的特征词序列，对于该特征词序列进行形状重组和上采样，即可得到重构的多尺度特征。特征提取器提取的多尺度特征和重构的多尺度特征之间的差异可以作为最终的异常评分图。我们将所提出的模型称为U-Transformer模型。

训练步骤：对U-Transformer模型进行训练更新。训练步骤包括如下步骤：

完全正样本步骤：训练集全部由正常样本组成，采用回归损失函数，使得重构特征图去靠近特征提取器所提取的特征图，从而对于U-Transformer模型网络的参数进行更新；当U-Transformer模型能够重构特征提取器所提取的多尺度特征图的时候，说明U-Transformer模型能够对于正常样本的特征分布进行建模。训练集全部由正常样本组成，我们可以采用MSE，Smooth L1等回归损失函数，使得重构特征图去靠近特征提取器所提取的特征图，从而对于U-Transformer网络的参数进行更新。当U-Transformer能够很好地重构特征提取器所提取的多尺度特征图的时候，说明U-Transformer能够很好地对于正常样本的特征分布进行建模。

存在部分负样本步骤：训练集存在部分负样本，建立兼容少量异常样本的损失函数；重构损失函数L可以被表示为“拉近-推离”损失函数；

其中，u表示空间点的索引；N为空间点的总个数；y(u)为像素级别的标签，s(u)表示重构特征和特征提取器提取的特征之间的差异；L的第一项将正常样本的重构特征拉近到原始特征，即s(u)越小，第一项就越小；第二项将异常区域的重构特征推离原始特征，即s(u)越大，第二项就越小；第一项表示

第二项表示

在有部分异常样本参与训练的时候，采用这个“拉近-推离”损失函数，模型的异常检测能力将会得到进一步的提升。

如图1和图3所示，推断步骤：通过U-Transformer模型对样本进行异常检测。通过提取的多尺度特征和重构的多尺度特征之间的差异度作为样本的异常评分。在推断阶段，输入一个样本，所提取的多尺度特征和Transformer重构的多尺度特征之间的差异度，可以作为该样本的异常评分。另外，由于特征重构是对于特征图的每一个特征都进行的，所得到的是像素级的异常检测结果。值得一提的是，在原始的Transformer中，所采用的是全局自注意力机制，其计算复杂度与图像的尺寸成4次方关系，即O(n

本发明提出了一种新的深度学习模型：U-Transformer模型，其完全使用正常样本进行训练，提取多尺度的特征信息，并通过从局部到整体的多层次特征重构的方式进行异常检测。在有部分异常样本参与训练的时候，U-Transformer模型的异常检测能力将会得到进一步的提升。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。