基于多任务学习的注意力机制的风电设备损伤预测方法

摘要

本发明提供一种基于多任务学习的注意力机制的风电设备损伤预测方法，包括以下步骤：采集待预测的风电设备在运状态的信号，分别获得时域信号和频域信号；分别输入时域信号和频域信号，通过多组卷积网络模型输出多组不同的能够表征设备当前损伤情况的抽象特征，并将多组抽象特征进行拼接融合，获得融合特征；分别输入融合特征，通过多个注意力机制进行多任务学习，获得多个不同的行为特征，并将多个不同的行为特征拼接融合获得融合后的注意力值；通过全连接层对融合后的注意力值进行线性变换，获得风电设备的预测结果，并根据预测结果评估设备的损伤状态。本发明通过结合多任务学习可以有效提高模型的特征学习效果。

说明书

技术领域

本发明涉及损伤预测技术领域，具体涉及一种基于多任务学习的注意力机制的风电设备损伤预测方法。

背景技术

风能是新能源发展的主要能源选择，风电设备对于捕获风能用于发电必不可少。但在风电设备工作过程中，其主要的部件包括齿轮、轴承、主轴等零件常常工作在高负载、变转速等工况下。如果缺乏必要的维护，这些零部件很容易出现损伤，并给风电企业造成不必要的经济损失甚至伤亡事故。在实际的运行情况下，通过对风电设备进行进行损伤预测可以有效评估设备的损伤状态，及时做出预警，避免悲剧发生。

对于风电设备的损伤预警主要可以分为三个阶段，即数据获取-退化评估-损伤预测。其中退化评估能够建立设备的健康因子，并且能够从收集的数据中提取设备的运行特征信息，从而可以有效的识别和量化设备的损伤状态。目前，主流的设备损伤评估的构建方法主要分为基于物理模型与基于数据驱动的方法。对于基于物理模型的方法，主要根据设备的内在物理机制、机械损伤以及专家经验建立设备的机械物理模型。然而由于整个系统和运行工况的复杂性，确定设备的整个退化过程十分困难。对于基于数据驱动的方法使用监测数据构建设备的损伤退化模型，该过程不需要过多的系统先验知识，因此被广泛地应用于设备损伤预测中。但是在实际应用过程中仍然存在很多缺陷，例如构建量化损伤状态的设备健康因子需要严重依赖特征选择。而选择特征的过程需要依靠人工来完成，该过程不仅要耗费大量时间，对专家知识也有较高要求。同时，基于人工选取特征的方法泛化性能差，难以有效应用到不同的设备损伤评估中。

发明内容

为解决上述问题，本发明提出了一种基于多任务学习的注意力机制模型，通过结合学习的多任务可以有效提高模型的特征学习效果。

为实现上述目的，本发明提供了如下的技术方案。

一种基于多任务学习的注意力机制的风电设备损伤预测方法，包括以下步骤：

采集待预测的风电设备在运状态的信号，分别获得时域信号和频域信号；

构建多组卷积网络模型；分别输入时域信号和频域信号，通过多组卷积网络模型输出多组不同的能够表征设备当前损伤情况的抽象特征，并将多组抽象特征进行拼接融合，获得融合特征；

构建多个相同的注意力机制；分别输入融合特征，通过多个注意力机制进行多任务学习，获得多个不同的行为特征，并将多个不同的行为特征拼接融合获得融合后的注意力值；

通过全连接层对融合后的注意力值进行线性变换，获得风电设备的预测结果，并根据预测结果评估设备的损伤状态。

优选地，还包括：

通过传感器采集待预测的风电设备在运状态的信号，并对风电设备在运状态的信号进行格式转换；

通过傅里叶变换生成时域振动加速度数据对应的频域数据。

优选地，还包括：

预测前对所有风电设备在运状态的信号进行统一的z-score归一化处理，使所有数据均位于[0,1]的区间范围内；

其中，所述z-score归一化的具体公式为：

式中，

优选地，所述卷积网络模型包括交替连接的卷积层、激活层和池化层，以及一个全连接层；所述通过多组卷积网络模型输出多组不同的能够表征设备当前损伤情况的抽象特征，包括以下步骤：

将信号数据输入卷积层，进行卷积运算：

式中，

经过卷积运算后产生的输出数据输入到激活层，激活函数对数据进行激活运算后输出到池化层；

其中，激活层运算过程为：

式中，

其中，使用修正线性单元函数作为激活函数，公式表示如下：

其偏导数为：

其中，当函数

在最后一个池化层输出后，提取的特征传入全连接层进行线性变换，由此获得卷积网络的最终输出特征；

其中，池化层的运算过程为：

式中，函数

其中，全连接层的运算过程为：

式中，

优选地，通过所述注意力机制获取行为特征，包括下步骤：

在注意力机制中，通过使用键值对来表示输入信息，对于维度为N的样本的输入信息表示为：

式中，

把输入信息看作是一个信息存储器，对于给定的查询向量

根据

式中，

使用soft-max函数对注意力得分进行数值转换，生成概率之和为1的注意力系数；同时又能够利用soft-max函数的特性突出重要特征的注意力系数权重：

式中，

根据生成的注意力系数对

优选地，所述卷积网络模型和注意力机制分别为两组，两组所述卷积网络模型的输入分别为时域信号和频域信号，用于学习不同的任务。

优选地，还包括：

构建风电设备信号的训练集；

分别将训练集的时域数据和频域数据输入到两组卷积模型中学习不同的抽象特征，通过两组注意力机制模块获得不同的学习任务；

根据输出的预测值与目标值的误差计算对应的损失值，并使用Adam优化器来更新网络参数，当训练过程满足迭代条件时终止训练，获得训练好的网络模型。

本发明的有益效果：

本发明提出一种基于多任务学习的注意力机制的风电设备损伤预测方法，引入了深度学习的方法，通过自主学习原始数据的抽象特征，可以有效避免因人工选取特征所带来的缺点。同时为了提高模型的学习效率，确保模型能快速学习到表征设备损伤状态的敏感特征，本发明提出了多任务学习的注意力机制结构，该结构能够聚焦反映设备状态的有效特征信息，并忽视无用信息。因此，在所提方法学习特征信息的过程中，能快速定位有价值信息，并快速学习，极大提高了模型的学习效率和效果。

附图说明

图1是本发明实施例的一种基于多任务学习的注意力机制的风电设备损伤预测方法的流程图；

图2是本发明实施例的一种基于多任务学习的注意力机制的风电设备损伤预测方法的为基于多任务学习的注意力机制网络结构；

图3是本发明实施例的一种基于多任务学习的注意力机制的风电设备损伤预测方法的数据样本生成示意图；

图4是本发明实施例的一种基于多任务学习的注意力机制的风电设备损伤预测方法的测试数据预测结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

本发明的一种基于多任务学习的注意力机制的风电设备损伤预测方法，如图1-4所示：

S1：采集待预测的风电设备在运状态的信号，分别获得时域信号和频域信号。对所有风电设备在运状态的信号进行统一的z-score归一化处理，使所有数据均位于[0,1]的区间范围内：

式中，

S2：构建多组卷积网络模型；分别输入时域信号和频域信号，通过多组卷积网络模型输出多组不同的能够表征设备当前损伤情况的抽象特征，并将多组抽象特征进行拼接融合，获得融合特征。

S3：构建多个相同的注意力机制；分别输入融合特征，通过多个注意力机制进行多任务学习，获得多个不同的行为特征，并将多个不同的行为特征拼接融合获得融合后的注意力值。

S4：通过全连接层对融合后的注意力值进行线性变换，获得风电设备的预测结果，并根据预测结果评估设备的损伤状态。

其中，模型训练包括以下步骤：

构建风电设备信号的训练集；

分别将训练集的时域数据和频域数据输入到两组卷积模型中学习不同的抽象特征，通过两组注意力机制模块获得不同的学习任务；

根据输出的预测值与目标值的误差计算对应的损失值，并使用Adam优化器来更新网络参数，当训练过程满足迭代条件时终止训练，获得训练好的网络模型。

具体的，基于多任务学习的注意力机制网络模型构建包括以下内容：

（1）构建卷积神经网络模型。标准的卷积神经网络结构包括卷积层、激活层、池化层和全连接层。本发明中使用的卷积网络包含两组交替连接的卷积层、激活层和池化层和一个全连接层组成。根据卷积网络数据流向，网络的输入数据首先从第一个卷积层输入，经过卷积运算后产生的输出数据输入到激活层，激活函数对数据进行激活运算后输出到池化层。如此往复，输入数据经过卷积网络的特征转换后生成的抽象特征能够表征设备当前的损伤情况。在最后一个池化层的输出后，提取的特征紧接着传入全连接层进行线性变换，由此获得卷积网络的最终输出特征。

将信号数据输入卷积层，进行卷积运算：

式中，

经过卷积运算后产生的输出数据输入到激活层，激活函数对数据进行激活运算后输出到池化层；

其中，激活层运算过程为：

式中，

其中，使用修正线性单元函数作为激活函数，公式表示如下：

其偏导数为：

其中，当函数

在最后一个池化层输出后，提取的特征传入全连接层进行线性变换，由此获得卷积网络的最终输出特征；

其中，池化层的运算过程为：

式中，函数

其中，全连接层的运算过程为：

式中，

（2）建立基于多任务学习的注意力机制。上述建立卷积网络模型用于对输入数据进行特征提取，为了提高网络模型对于特征学习的效果，将学习的重心聚焦于能够有效反映设备状态的部分，并尽可能忽视数据中的无效信息，本发明建立了基于多任务学习的注意力机制。该多任务学习的注意力机制通过使用多个相同的注意力机制学习到不同的行为，然后将不同的行为作为知识结合起来，并通过一个新的全连接线性投影进行线性变换，最终获得新的输出。该过程使用了多个相同的注意力机制来学习不同的任务，因此对于每个注意力机制，其原理可以表述如下：

在注意力机制中，通过使用键值对来表示输入信息，对于维度为N的样本的输入信息表示为：

式中，

把输入信息看作是一个信息存储器，对于给定的查询向量

根据

式中，

使用soft-max函数对注意力得分进行数值转换，生成概率之和为1的注意力系数；同时又能够利用soft-max函数的特性突出重要特征的注意力系数权重：

式中，

根据生成的注意力系数对

（3）结合卷积模型与多任务注意力机制。该过程针对多任务注意力机制，学习不同的行为特征，因此需要生成多组卷积网络模型，每组卷积网络用于学习不同的抽象特征。然后各组卷积网络输出特征进行特征拼接、融合。根据建立的多组注意力机制完成多任务学习，对学习的不同行为特征进行再次拼接融合。最后通过全连接层对融合后的注意力值进行线性变换，输出最后的预测结果。在本发明中，分别建立了两组卷积网络模型和两组注意力机制用于学习不同的任务。

本实施例中，针对本发明提出的基于多任务学习的注意力机制预测模型，搭建风电齿轮箱设备系统实验台。

通过该实验台采集齿轮运行过程中的退化数据，共采集10组齿轮运行的退化数据。图3为数据样本生成示意图。在每组数据中，每次采样数据包含2560个采样点，将数据转换为数组类型，并保存为.csv格式的文件，按照每次采样的顺序对保存的数据进行命名，如1.csv, 2.csv, 3.csv。将采集的多组齿轮箱加速退化数据按照7：3的划分比切分为训练集和测试集。对于每组采集的齿轮箱退化数据，均生成数据集

图4为两组实验测试齿轮的损伤预测结果，图4中的（A）为测试齿轮1测试结果，图4中的（B）为测试齿轮2的测试结果。在本发明应用的齿轮中，考虑在初期齿轮处于磨合阶段，因此假定齿轮没有损伤，根据采样时长，定义当前时刻到采样终止时刻的时间差作为齿轮的损伤状态。因此在图4中，预测的两组测试齿轮的损伤情况逐渐下降，根据预测曲线于实际理论曲线的吻合程度，可以有效验证本发明所提方法的有效性。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。