多工序传送带给料加工站系统协同优化控制方法研究

摘要

在现实世界的一些生产制造企业中，存在一类由生产加工站作为加工主体的生产线，其中，加工站由传送带输送工件进行加工，这类系统称为传送带给料加工站(Conveyor-serviced production station，CSPS)。由于专业化、规模化的需求，生产线往往有多道工序，一道工序由多个CSPS组成，称为多工序CSPS系统。多工序CSPS系统中，每道工序拥有各自的一般站点，在相邻的上游工序和下游工序之间设置有柔性站点，所述柔性站点能够在上游工序与下游工序之间进行切换。若将每个加工站点视为可以学习的Agent，整个系统构成一个多Agent系统。多工序CSPS系统的优化目标是上层合理选择切换控制策略，下层合理选择每个站点前视距离控制策略，使得整个系统在无穷时段内处理率最大。　　论文根据系统运行特点，把系统分为切换控制和前视距离协同控制两层决策。首先，对于上层的柔性站点切换控制问题，运用性能势理论，构建一种适用于平均和折扣两种性能准则的Q学习算法进行策略优化，解决工序间控制问题；其次，对于下层的前视距离协同控制问题，运用Wolf-PHC多Agent学习算法，解决工序内协同问题。实验结果表明，通过引入柔性站点建立两层决策体系，整个系统的工件处理率明显提高，验证了算法的有效性。　　论文针对柔性站点切换控制状态空间的特点，采用CMAC神经网络逼近Q学习中的Q值，并给出了相应的在线Q学习算法，接着应用基于CMAC的Q学习算法解决上层的柔性站点切换控制问题。仿真实验结果表明基于CMAC的Q学习算法同样可以提高学习系统的优化性能，并且收敛速度更快，更加节省存储空间。

目录

文摘

英文文摘

致谢

插图清单

表格清单

第一章 绪论

1.1 多工序传送带给料加工站系统简介

1.2 研究现状

1.3 多Agent系统

1.4 多Agent强化学习

1.4.1 强化学习

1.4.2 多Agent强化学习

1.4 本文内 容及结构安排

第二章 多工序CSPS系统

2.1 单站点CSPS系统

2.1.1 CSPS系统描述

2.1.2 CSPS系统的控制模式

2.2 多工序CSPS系统

2.2.1 多工序CSPS系统的物理模型

2.2.2 多工序CSPS系统的运行机制及特点

2.2.3 多工序CSPS系统的数学模型

2.3 本 章小节

第三章 基于柔性站点的多工序CSPS系统的分层优化控制方法

3.1 多工序CSPS系统的代价函数定义

3.1.1 前视距离控制的代价函数定义

3.1.2 柔性站点切换控制的代价函数定义

3.2 系统优化算法

3.2.1 基于性能势的Q学习

3.2.2 Wolf-PHC学习算法

3.3 仿真实验与实验结果

3.3.1 仿真实验

3.3.2 实验结果

3.4 本章小节

第四章 基于CMAC的多工序CSPS系统优化控制方法

4.1 CMAC神经网络

4.1.1 CMAC神经网络简介

4.1.2 CMAC神经网络的结构与原理

4.2 基于CMAC神经网络的切换控制优化方法

4.3 实验结果

4.4 本章小结

第五章 总结

参考文献

攻读硕士学位期间主要科研工作和成果