一种基于多头注意力机制的轴承故障诊断方法及系统

摘要

本公开公开的一种基于多头注意力机制的轴承故障诊断方法及系统，包括：获取轴承的振动加速度信号；对振动加速度信号进行小波包变换，获得不同频率段信号；对不同频率段信号进行分组，获得多组频率段信号；将多组频率段信号输入训练好的轴承故障诊断模型中，获得轴承故障诊断结果；其中，轴承故障诊断模型包括多个并行的多头注意力网络，将多组频率段信号分别输入对应的多头注意力网络中，多头注意力网络的输出经全连接层连接后进行轴承故障判断。实现了对轴承故障的准确诊断。

说明书

技术领域

本发明涉及故障诊断技术领域，尤其涉及一种基于多头注意力机制的轴承故障诊断方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

轴承是旋转机械中最重要的组件，它的主要功能是支撑机械旋转体并降低运动过程中的摩擦系数，但由于轴承在工作过程中转速高、结构复杂和超负荷运行导致轴承是旋转机械中的易损零部件之一，据多项研究表明，轴承故障是旋转机械故障的主要来源，因此，一种有效的状态检测和故障诊断方法具有十分重要的意义，这也是故障诊断中最具挑战性的任务之一。

在传统的数据驱动的故障诊断方法中，需要提取大量的统计参数，并将这些统计参数输入到机器学习算法中，例如K均值算法、随机森林、朴素贝叶斯模型、支持向量机和多层感知机。为了获得准确的诊断性能，这些高维统计参数的分布对于在诊断中要考虑的每个条件(即类别)是可区分的。但是，如果数据的分布对于不具备可区分的条件，那么就很难实现高精度的故障诊断。由于结构复杂，传输路径长，工作条件可变以及背景噪声强，这些分布很容易重叠，从而导致诊断准确性低。

近年来基于深度学习的各种故障诊断方法非常流行，深度学习可以使用的特征提取器不断把原始信号中的特征提取出来，低层特征是原始信号的基本细节，而高层特征则更抽象，这些高阶特征可以更好地用于分类或者预测。深度学习这种多层非线性变换的表示学习可以解决传统浅层机器学习算法的局限性。

目前广泛应用深度学习算法有深度自编码器(Deep Auto Encoder，DAN)、卷积神经网络(Convolutional Neural Network，CNN)、循环神经网络(Recurrent NeuralNetwork，RNN)和长短时记忆网络(Long Short-Term Memory，LSTM)。深度自编码器可以对权重进行无监督的预训练，这可以减轻后续对深层网络进行有监督的训练的难度，但是当输入是原始振动信号或其时频表示时，需要训练的参数非常多，耗用大量的计算资源。卷积神经网络可以通过使用局部感受野和权重分配策略进行优化的方式来减少需要训练的参数数量，有效地减轻训练过程中的计算负担，但卷积神经网络的平移不变性和池化层的存在会导致许多非常有价值的空间信息丢失，同时也会忽略局部与整体之间的关联。循环神经网络在训练中容易发生梯度爆炸和梯度消失，这导致训练时梯度不能在较长序列中一直传递下去，从而使循环神经网络无法捕捉到长距离的影响，虽然长短时记忆网络在一定程度上解决了循环神经网络的梯度消失和梯度爆炸问题，但其内部结构复杂，如果时间跨度很大，并且网络也很深，那么计算量也很大，需要花费大量的训练时间，而且这些深层神经网络易受非敏感整的影响，从而影响轴承故障诊断的准确率。

发明内容

本公开为了解决上述问题，提出了一种基于多头注意力机制的轴承故障诊断方法及系统，实现了对轴承故障的准确诊断。

为实现上述目的，本公开采用如下技术方案：

第一方面，提出了一种基于多头注意力机制的轴承故障诊断方法，包括：

获取轴承的振动加速度信号；

对振动加速度信号进行小波包变换，获得不同频率段信号；

对不同频率段信号进行分组，获得多组频率段信号；

将多组频率段信号输入训练好的轴承故障诊断模型中，获得轴承故障诊断结果；

其中，轴承故障诊断模型包括多个并行的多头注意力网络，将多组频率段信号分别输入对应的多头注意力网络中，多头注意力网络的输出经全连接层连接后进行轴承故障判断。

第二方面，提出了一种基于多头注意力机制的轴承故障诊断系统，包括：

信号获取模块，用于获取轴承的振动加速度信号；

小波包变换模块，用于对振动加速度信号进行小波包变换，获得不同频率段信号；

信号分组模块，用于对不同频率段信号进行分组，获得多组频率段信号；

轴承故障诊断模块，用于将多组频率段信号输入训练好的轴承故障诊断模型中，获得轴承故障诊断结果；

其中，轴承故障诊断模型包括多个并行的多头注意力网络，将多组频率段信号分别输入对应的多头注意力网络中，多头注意力网络的输出经全连接层连接后进行轴承故障判断。

第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于多头注意力机制的轴承故障诊断方法所述的步骤。

第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于多头注意力机制的轴承故障诊断方法所述的步骤。

与现有技术相比，本公开的有益效果为：

1、本公开将轴承的振动加速度信号通过小波包变换后输入到由多个多头注意力网络并行的轴承故障诊断模型中进行故障诊断，通过使用多个独立的多头注意力网络对信号不同频段信息进行特征提取，能够有效地建立在高维空间中不同故障类型的特征与原始信号不同频段所包含的信息之间的联系，提高故障诊断的准确率。

2、本公开使用的小波包变换更好地对高频、非平稳的振动加速度信号进行分析；使用的多头注意力机制能够实现不同特征的加权表达，使分类的特征更具表达能力，同时该网络需要训练的参数相较于其它深度学习方法少很多，提高了训练速度，在提高故障诊断准确率的基础上，也提高了故障诊断的速度。

3、本公开使用多个独立的多头注意力网络对信号不同频段信息进行特征提取的方法，不仅提高了故障诊断精度，而且还能很好地分析在高维空间中不同故障类型的特征与原始信号不同频段所包含的信息之间的关系。同时，多个网络并行处理的方式也节省了大量的计算时间。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本公开实施例1公开的轴承故障诊断模型；

图2为本公开实施例1公开的多头注意力网络结构图；

图3为本公开实施例1公开的多头注意力层结构图；

图4为本公开实施例1中涉及的试验台结构图；

图5为本公开实施例1中涉及的振动加速度信号原始波形图；

图6为本公开实施例1中涉及的振动加速度信号通过小波包变换后第五级各节点的波形图。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。

本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。

实施例1

为了实现对轴承故障的准确诊断，在该实施例中公开了一种基于多头注意力机制的轴承故障诊断方法，包括：

获取轴承的振动加速度信号；

对振动加速度信号进行小波包变换，获得不同频率段信号；

对不同频率段信号进行分组，获得多组频率段信号；

将多组频率段信号输入训练好的轴承故障诊断模型中，获得轴承故障诊断结果；

其中，轴承故障诊断模型包括多个并行的多头注意力网络，将多组频率段信号分别输入对应的多头注意力网络中，多头注意力网络的输出经全连接层连接后进行轴承故障判断。

进一步的，全连接层与Softmax函数连接，通过Softmax函数对全连接层的输出进行计算，获得轴承故障类型。

进一步的，将获得的不同频率段信号按照频率大小进行排列，将排列后的信号进行分组，获得多组频率段信号。

进一步的，多头注意力网络包括多个相同的由多头注意力层和前馈连接层组成的层。

进一步的，多头注意力层为输入分配不同的权重，对分配不同权重后获得的数据进行矩阵变换，将矩阵变换后数据输入多个平行的注意力层中，将每个平行注意力层的输出再次进行矩阵变换获得多头注意力层的输出。

进一步的，前馈连接层包括两个相连接的Linear层。

进一步的，获取已有的轴承振动加速度信号；

对获得的已有的轴承振动加速度信号按照负载和故障类型进行分类；

对每类数据进行分段，并从每段数据中提取多个数据点；

为每个数据点构建与故障类型对应的标签，获得训练样本；

通过训练样本对轴承故障诊断模型进行训练，获得训练好的轴承故障诊断模型。

对本实施例公开的一种基于多头注意力机制的轴承故障诊断方法进行详细说明。

一种基于多头注意力机制的轴承故障诊断方法，包括：

S1：获取轴承的振动加速度信号。

S2：对振动加速度信号进行小波包变换，获得不同频率段信号。

在具体实施时，对振动加速度信号进行小波包变换，小波包分解级数越高，信号在时域和频域的分辨率就越高，包含的信息也就越多。本实施例使用Meyer小波函数对S1获得的振动加速度信号进行小波包变换，对分解到第k层的信号重构，得到2

在二进小波包变换中，各级小波包相邻级数的尺度函数和小波函数之间具有递推关系，记小波包变换中的父小波为

其中：

即是：

其中：

离散小波变换在逐级分解时，由尺度函数所张成的空间为：

其中V

由小波函数所张成的空间为：

其中W

W

由上式可知，分解级数越高，信号在时域和频域的分辨率就越高，包含的信息也就越多。本实施例使用Meyer小波函数依次对获取的振动加速度信号进行小波包变换，对分解到第五层的信号重构，得到32个不同频率段的数据。

S3：对不同频率段信号进行分组，获得多组频率段信号，具体为：将获得的不同频率段信号按照频率大小进行排列，将排列后的信号进行分组，获得多组频率段信号。

在具体实施时，将S2小波包变换后获得的32个不同频率段的数据组成的向量从低频到高频分为8组，得到了8个4×1024的矩阵。

S4：将多组频率段信号输入训练好的轴承故障诊断模型中，获得轴承故障诊断结果。

轴承故障诊断模型包括多个并行的多头注意力网络，多组频率段信号分别输入对应的多头注意力网络中，将多头注意力网络输出的数据展平，将展平后的行向量输入到全连接层，再使用Softmax函数对全连接层的输出计算得到每种故障类型的预测概率,取概率最大值为预测的轴承的故障类型。

Softmax函数表达式为：

其中：P(y＝j)表示第j个输出值的概率，x

多头注意力网络包括多个相同的由多头注意力层和前馈连接层组成的层。

多头注意力网络的具体结构如图2所示，包括第一归一化层和多个相同的由多头注意力层和前馈连接层组成的层。

S41：将振动加速度信号输入第一归一化层中进行归一化处理，归一化的函数表达式为：

其中：σ为输入矩阵X的标准差，

S42：将第一归一化层输出的数据输入多头注意力层中，从多头注意力层中输出的数据和第一归一化层输出的数据相加，构成第一个残差连接块，再将残差连接后的数据输入第二归一化层进行归一化处理。

S43：将第二归一化层输入到前馈连接层中，前馈连接层处理后的数据和第二归一化层输出的数据相加构成第二个残差连接块，将第二个残差连接块输出的数据输入第三归一化层中进行归一化处理，其中，前馈连接层包含了两个Linear层，第一层的输入维数为d

FFN(x)＝max(0,xW

其中：W

重复S42和S43步骤三次后，将数据输出，输出的数据为多头注意力网络输出。

多头注意力层为输入分配不同的权重，对分配不同权重后获得的数据进行矩阵变换，将矩阵变换后数据输入多个平行的注意力层中，将每个平行注意力层的输出再次进行矩阵变换获得多头注意力层的输出，如图3所示，具体为：

将多头注意力层的输入与三个初始化不同的权重矩阵Q

再将这h个Q

将这h个平行注意力层输出的n×d

MultiHead(Q,K,V)＝Contat(head

其中：head

对构建的轴承故障诊断模型进行训练，具体为：

采用如图4所示的实验台，轴承实验台主要由电动机、扭矩传感器、风扇端轴承、电机驱动端轴承和测功机组成。电机驱动端和风扇端的滚动轴承振动数据由安装在感应电机壳体上的加速度传感器获得，采样频率为12kHz和48kHz。将凯斯西储大学的轴承故障振动数据集的数据按不同的故障类型和负载进行分类，具体分为内圈故障、外圈故障和滚动体故障以及正常状态，采样频率为12kHz的电机驱动端轴承数据作为训练集。把数据集里的.mat文件中的_DE_time数据切分为100段，每段取1024个数据点，多余的数据舍弃，并构建与每段数据对应的故障标签(正常数据—0，内圈故障—1，外圈故障—2，滚轮体故障—3)，得到用于模型训练的训练样本。

使用Meyer小波函数依次对每一段进行小波包变换，对分解到第五层的信号重构，得到32个不同频率段的数据，将这32个不同频率段的数据组成的向量从低频到高频分为8组，得到了8个4×1024的矩阵。图5为原始振动加速度信号的波形图。图6为原始振动加速度信号通过小波包变换后第五级各节点重构的波形图，将分解得到的32个波形图从低频到高频分为8组，分别为A、B、C、D、E、F、G和H，每组包含4个波形图，分别为(a)、(b)、(c)和(d)。

将获得的8个4×1024的矩阵输入构建的轴承故障诊断模型中对模型进行训练，获得训练好的轴承故障诊断模型。

将多组频率段信号输入训练好的轴承故障诊断模型中，获得轴承故障诊断结果。

本公开使用的小波包变换更好地对高频、非平稳的振动加速度信号进行分析；使用的多头注意力机制能够实现不同特征的加权表达，使分类的特征更具表达能力，同时该网络需要训练的参数相较于其它深度学习方法少很多，提高了训练速度；使用多个独立的多头注意力网络对信号不同频段信息进行特征提取的方法，不仅提高了故障诊断精度，而且还能很好地分析在高维空间中不同故障类型的特征与原始信号不同频段所包含的信息之间的关系。同时，多个网络并行处理的方式也节省了大量的计算时间。与现有技术相比，不仅能够达到更高的准确率，而且还能更好地分析不同故障类型与不同频段信号之间的关系。

实施例2

在该实施例中，公开了一种基于多头注意力机制的轴承故障诊断系统，包括：

信号获取模块，用于获取轴承的振动加速度信号；

小波包变换模块，用于对振动加速度信号进行小波包变换，获得不同频率段信号；

信号分组模块，用于对不同频率段信号进行分组，获得多组频率段信号；

轴承故障诊断模块，用于将多组频率段信号输入训练好的轴承故障诊断模型中，获得轴承故障诊断结果；

其中，轴承故障诊断模型包括多个并行的多头注意力网络，将多组频率段信号分别输入对应的多头注意力网络中，多头注意力网络的输出经全连接层连接后进行轴承故障判断。

实施例3

在该实施例中，公开了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1公开的一种基于多头注意力机制的轴承故障诊断方法所述的步骤。

实施例4

在该实施例中，公开了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1公开的一种基于多头注意力机制的轴承故障诊断方法所述的步骤。

以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。