迈向盾构机自主最优掘进：一种基于深度强化学习的方法（英文）

摘要

目的：自主掘进作业是新一代智能隧道掘进机（TBM）发展的趋势。然而，现有技术局限于有监督机器学习和静态优化，其性能无法超越人工操作，也难以处理不断变化的地质条件和长期掘进性能指标。本文旨在解决盾构机掘进性能的动态优化问题，实现自主最优掘进。创新点：1.针对掘进过程的盾构机-环境交互作用动力学，提出了一种基于第一性原理分析和深度神经网络相结合的高精度混合建模方法，改善模型的可解释性并简化了特征选择过程；2.提出了一种适用于盾构机智能操作系统的无量纲多目标综合掘进性能指标；3.提出了一种深度学习与最优控制结合的盾构自主最优掘进方法，实现盾构掘进参数的智能决策与长期综合掘进性能的多目标动态优化。方法：1.通过理论推导，揭示掘进过程的多系统耦合作用关系，得到自主最优掘进系统设计的两个自由度（图8）;2.通过机理与数据联合驱动的混合建模，构建深度强化学习智能体的高精度训练环境；3.通过仿真模拟，利用施工现场数据，对自主最优掘进系统与人工操作的性能进行比较，验证所提方法的可行性和有效性（图11～13）。结论：1.人类司机在进行掘进参数决策时，掘进比速度和掘进比能耗的相对权重比接近6:4。2.不同的地质条件应采用不同的掘进参数决策策略：常规地质应采用k1值较高的自主最优掘进系统，而在掘进比速度明显降低的困难地质则应采用k2值较高的自主最优掘进系统。3.尽管训练深度强化学习智能体非常耗时，但与培训熟练的盾构司机相比仍具有巨大的优势。