一种基于多模态机器学习的设备预测性维护的方法

摘要

本申请公开了一种基于多模态机器学习的设备预测性维护的方法。该方法包括：通过多模态图表示层对不同模态的特征信号进行特征关联，形成特征关联图；通过多模态融合编码器对特征关联图中的特征向量进行充分的特征融合，得到编码特征向量；将编码特征向量进行解码处理得到机器设备特征。

说明书

技术领域

本申请涉及人工智能领域，尤其涉及一种基于多模态机器学习的设备预测性维护的方法。

背景技术

机械设备状态监测与故障诊断技术是保障设备安全运行的基本措施之一，它能对设备故障的发展作出早期预报，对出现故障的原因、部位、危险程度等进行识别和评价，预报故障的发展趋势，迅速地查寻故障源，并针对具体情况迅速地排除故障，避免或减少事故的发生。

现有技术中，对机械设备的检测发展经历了三个阶段，在第一阶段的反应性维护，这样的维护虽然能保证器械使用时间最大化，但也会对产品的质量产生较大影响。在第二阶段的预防性维护中，频繁地检测耗时耗力，也会导致生产力的下降。

第三阶段的预测性维护很好的解决了前两个阶段的缺陷，利用机器学习技术能够很好的对机械设备进行状态监测与故障诊断。

发明内容

本发明提供了一种基于多模态机器学习的设备预测性维护的方法，解决了对设备频繁检测耗时耗力，效率低的技术问题。

一种基于多模态机器学习的设备预测性维护的方法，其特征在于，包括：

通过多模态图表示层对不同模态的特征信号进行特征关联，形成特征关联图；

通过多模态融合编码器对特征关联图中的特征向量进行充分的特征融合，得到编码特征向量；

将编码特征向量进行解码处理得到机器设备特征。

可选地，所述不同模态的特征信号具体包括：

设备的声音信号、振动信号、电流信号、电压信号。

可选地，所述特征关联图具体包括：

同一模态的特征节点；

不同模态的特征节点；

连接同一模态的特征节点的第一连接边；

连接不同模态的特征节点的第二连接边。

可选地，通过多模态图表示层对特征信号进行特征关联，形成特征关联图，具体包括：

通过所述多模态图表示层从每一个特征信号中提取特征节点，得到所述不同模态的特征信号对应的特征节点；通过所述多模态图表示层采用所述第一连接边对不同的特征节点进行同一模态内的特征节点之间的连接，且采用所述第二连接边对所述特征节点进行不同模态间的特征节点之间的连接，得到所述特征关联图。

可选地，利用小波变换对所述特征信号进行频域分解，获取不同频率段的信号，分析所述不同频率段的信号的时域和频域特征，选择其中最优特征。

可选地，分析所述不同频率段的信号的时域和频域特征，选择其中最优特征，具体包括：

分析所述时域特征和频域特征，利用预设的判断准则，对每一个特征进行评估，选择最优特征；所述判断准则包括单调性准则、可分性准则。

可选地，获取所述不同频率段的信号中的低频信号，对所述低频信号进行时域和频域的特征提取，并利用特征降维的方式保留表征设备磨损过程的主要特征；根据所述主要特征构造与设备剩余寿命相关的关联函数。

可选地，通过特征向量层从所述特征关联图中提取出所述特征向量。

可选地，通过多模态融合编码器对特征关联图中的特征向量进行充分的特征融合，得到编码特征向量，具体包括：

通过所述多个串联的编码模块对所述特征向量进行多次模态内融合和模态间融合，得到所述编码特征向量；其中，所述模态内融合是指在同一模态内的所述特征向量之间进行特征融合，所述模态间融合是指在不同模态的所述特征向量之间进行特征融合。

可选地，将编码特征向量进行解码处理得到机器设备特征，具体包括：

调用解码器对所述编码特征向量进行解码处理，所述解码器包括多个串联的解码模块，通过所述解码器中的所述解码模块对编码特征向量进行特征提取，根据提取到的特征构造与反映设备状态相关的关联函数，得到所述机器设备特征。

本发明提供了一种基于多模态机器学习的设备预测性维护的方法，能根据历史规律数据预测宕机的发生，在其真正发生之前予以维护避免失效的发生，其也不需要频繁的检测而是利用预测的剩余寿命时间给出最优的维护时刻。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种基于多模态机器学习的机械设备预测性维护方法流程示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例对本申请进行清楚、完整的描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在现有技术中，机械设备的监控管理策略大致经历了三个阶段的演变。第一个阶段为反应性维护，即工作到失效为止。这是最传统的维护策略，当检测到加工器械失效，即采取停机维修或更换。原则上来说，这种维护策略能保证加工器械的使用时间最大化。但是，由于其本质是一种被动性维护策略，机器设备在失效过程有可能产生对整个加工机械的损坏，或是使得产品质量产生较大影响。如果机械是冗余的并且失效产生的影响是不大的，该种策略可以实施。

第二个阶段为预防性维护，即为了尽快检测出设备是否失效，可以提前设定一个检测间隔，达到检测间隔时间即进行重复性检查。显然，这种策略比反应性维护要保守。一旦在某个检测过程中发现了早期失效特征，则进行停机维修或更换失效零部件。所以在此种策略下，检测的时间间隔设定变得尤为重要。过大的时间间隔可能导致失效时刻被错过，造成宕机的后果；而过小的时间间隔会导致频繁的检测及更换，产生大量的时间和人力财力成本。而且，对于某些高速运转设备，检测需要停机，频繁的检测也会使得停机时间大大增加，最终导致企业的生产率下降。

第三个阶段为预测性维护，亦被称为基于条件的维护，即基于监测信息采取维护策略。通过监测加工过程中的各种数据和参数变化，利用已经构建好的退化模型，对当前机器所处健康状态进行预测，当预测结果显示失效快要发生时，停机进行维护。相较于前两种维护策略，预测性维护具有明显的优势。一方面其能通过历史规律数据预测宕机的发生，在其真正发生之前予以维护避免失效的发生，另一方面其不需要频繁的检测而是利用预测的剩余寿命时间给出最优的维护时刻。

本发明采用多模态机器学习的算法，相较于单模态的表示学习负责将信息表示为计算机可以处理的数值向量或者进一步抽象为更高层的特征向量，而多模态表示学习是指通过利用多模态之间的互补性，剔除模态间的冗余性，从而学习到更好的特征表示。

本发明对机械设备的声音信号，振动信号，电流信号、电压信号使用多模态机器学习算法对特征进行融合提取，预测设备易损零件的使用寿命和故障预测对设备进行预测性维护。

本申请的方案可以解决上述问题，下面进行具体说明。

图1为本申请实施例提供的一种基于多模态机器学习的机械设备预测性维护方法流程示意图，可以包括以下步骤：

一种基于多模态机器学习的设备预测性维护的方法，其特征在于，包括：

通过多模态图表示层对不同模态的特征信号进行特征关联，形成特征关联图；通过多模态融合编码器对特征关联图中的特征向量进行充分的特征融合，得到编码特征向量；将编码特征向量进行解码处理得到机器设备特征。

在本申请的一种实施例中，多模态图表示层用于将不同模态的特征信号进行特征关联，采用第一连接边对不同特征节点进行同一模态内的特征节点之间的连接，且采用第二连接边对不同特征节点进行不同模态间的特征节点之间的连接，得到特征关联图。同一模态内的特征包括时域特征和频域特征，时域特征和频域特征是同一模态特征信号经过小波变换进行频域分解得到的不同频率段的信号分别计算得到的。通过特征向量层从特征关联图中提取出特征向量，例如用计算机设备从特征关联图中得到特征矩阵，根据特征矩阵获得特征向量。多模态融合编码器，用于对特征向量进行编码，得到编码特征向量，比如，通过多个串联编码模块对特征向量进行多次模态内融合和模态间融合，每一个编码模块均包括多个模态一一对应的多个模态内融合层和多个模态间融合层，这样足以将特征融合充分，得到编码特征向量。用解码器对编码特征向量进行解码处理，解码器通过多个串联的解码模块将编码特征向量中的特征进行提取，得到解码特征向量，根据解码特征向量获得特征信号对应的特征，根据特征构建关联函数，得到机器设备特征。

可选地，所述不同模态的特征信号具体包括：

设备的声音信号、振动信号、电流信号、电压信号。

在本申请的一种实施例中，设备的声音信号、振动信号、电流信号、电压信号所反映的特征，能清楚的反映出设备的损坏程度，以及使用寿命。根据频域分解得到不同频率段的信号，并对这些不同频率段的信号进行特征分析，分别计算其时域特征和频域特征，得利用得出的特征构建关联函数得出机器设备的特征。

可选地，所述特征关联图具体包括：

同一模态的特征节点；

不同模态的特征节点；

连接同一模态的特征节点的第一连接边；

连接不同模态的特征节点的第二连接边。

在本申请的一种实施例中，特征关联图包括同一模态的特征节点，比如根据声音信号的时域和频域特征获得的特征节点，根据振动信号的时域和频域特征获得的特征节点；不同模态的特征节点，比如声音信号与振动信号或者电流信号与电压信号之间属性相同的、能反映设备同一状态的信号；用于连接同一模态的特征节点的第一连接边，以及用于连接不同模态的特征节点的第二连接边。

可选地，通过多模态图表示层对特征信号进行特征关联，形成特征关联图，具体包括：

通过所述多模态图表示层从每一个特征信号中提取特征节点，得到所述不同模态的特征信号对应的特征节点；通过所述多模态图表示层采用所述第一连接边对不同的特征节点进行同一模态内的特征节点之间的连接，且采用所述第二连接边对所述特征节点进行不同模态间的特征节点之间的连接，得到所述特征关联图。

在本申请的一种实施例中，通过多模态图表示层对多个模态的特征信号进行特征关联，构建特征关联图，在特征关联图中采用第一连接边连接同一模态的特征节点、且采用第二连接边连接不同模态的特征节点，以特征关联图充分的表示出多个模态的特征信号之间的特征关联，继而通过多模态融合编码器对特征关联图中的特征向量进行充分的特征融合，得到编码后的编码特征向量，进而在对编码特征向量进行解码处理后得到更准确的设备特征。

可选地，利用小波变换对所述特征信号进行频域分解，获取不同频率段的信号，分析所述不同频率段的信号的时域和频域特征，选择其中最优特征。

小波变换是一种新的变换分析方法，它继承和发展了短时傅立叶变换局部化的思想，同时又克服了窗口大小不随频率变化等缺点，能够提供一个随频率改变的"时间-频率"窗口，是进行信号时频分析和处理的理想工具。它的主要特点是通过变换能够充分突出问题某些方面的特征，能对时间(空间)频率的局部化分析，通过伸缩平移运算对信号(函数)逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节。

在本申请的一种实施例中，对机械设备全寿命周期数据使用小波变换进行频域分解，然后对分解得到的不同频率段信号分别计算其时域、频域特征，利用给定的判断准则，包括单调性准则、可分性准则等对每一个特征进行评估，选择最优特征，以确定能够准确的反映设备的状态信息。

可选地，分析所述不同频率段的信号的时域和频域特征，选择其中最优特征，具体包括：

分析所述时域特征和频域特征，利用预设的判断准则，对每一个特征进行评估，选择最优特征；所述判断准则包括单调性准则、可分性准则。

在本申请的一种实施例中，特征信号的单调性反映信号的变化情况，利用设置的特定的准则来评估信号的特征，筛选出最能反映信号与设备关系最接近的特征，以用来对设备的状态进行判定。

可选地，获取所述不同频率段的信号中的低频信号，对所述低频信号进行时域和频域的特征提取，并利用特征降维的方式保留表征设备磨损过程的主要特征；根据所述主要特征构造与设备剩余寿命相关的关联函数。

在本申请的一种实施例中，特征信号进行小波变换得到不同频率段的信号，其中低频信号是最能反映机械磨损过程的信号，对此低频信号进行处理的到主要特征，根据主要特征构造与设备剩余寿命相关的关联函数。

可选地，通过特征向量层从所述特征关联图中提取出所述特征向量。

可选地，通过多模态融合编码器对特征关联图中的特征向量进行充分的特征融合，得到编码特征向量，具体包括：

通过所述多个串联的编码模块对所述特征向量进行多次模态内融合和模态间融合，得到所述编码特征向量；其中，所述模态内融合是指在同一模态内的所述特征向量之间进行特征融合，所述模态间融合是指在不同模态的所述特征向量之间进行特征融合。

在本申请的一种实施例中，特征向量层用于从特征关联图中提取出特征向量。上述编码特征向量的模态内和模态间融合可以通过以下步骤实现：将特征向量分别输入第1个编码模块中的多个模态内融合层，通过多个模态内融合层分别对特征向量进行相同模态内部的特征融合，得到编码特征向量。

可选地，将编码特征向量进行解码处理得到机器设备特征，具体包括：

调用解码器对所述编码特征向量进行解码处理，所述解码器包括多个串联的解码模块，通过所述解码器中的所述解码模块对编码特征向量进行特征提取，根据提取到的特征构造与反映设备状态相关的关联函数，得到所述机器设备特征。

在本申请的一种实施例中，多个串联的解码模块中每一个解码模块均包括不同层级，用于将编码特征向量进行解码得到相应特征，根据得到的特征构造与设备相关的关联函数，来反映设备的寿命等信息，以此来预测设备是否需要维护。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。