基于深度强化学习的流水线预测性维护决策

摘要

预测性维护是一种以设备工作状态为依据的维护决策方式,旨在降低维护成本的同时提高设备乃至生产系统的运作效率.针对考虑机器劣化过程的多机流水线,以产线性能评估为基础,分析系统运行过程中机器的维护时机,研究流水线预测性维护决策问题.首先,分析了机器故障和维护活动对系统状态转移过程的影响,基于马尔科夫链构建了流水线瞬态性能评估模型,揭示了机器故障和维护活动对生产过程影响的作用机理,量化了系统瞬态产出和在制品水平等性能指标.其次,综合考虑在制品库存成本、缺货惩罚成本和预测性维护成本,以最小化系统总成本为目标,基于马尔科夫决策过程建立了流水线预测性维护决策模型.利用所提的瞬态性能评估模型模拟流水线的实时运行过程,产生神经网络训练所需的数据,利用深度强化学习算法对问题进行近似求解,获得了有效的流水线预测性维护策略.仿真实验结果表明,所提预测性维护决策方法既保证了流水线产出,又降低了在制品库存和维护成本.