基于强化学习的钢卷库物流运作优化

摘要

随着技术的进步，钢铁企业在降低成本、改进工艺和扩大销售等方面已较为成熟，在生产过程进一步挖掘利润的空间十分有限。在这种情况下，很多钢铁企业，尤其是一些大型钢铁集团已经把目光转移到了物流模式的改变上，并从不同的方向提高物流管理的水平。 钢卷库是钢铁企业物流管理的重要一环。传统靠人工经验排位的管理方式已经无法满足企业高效快速的生产要求和供货节奏。目前，大部分仓储管理系统在设计上的不完善，已暴露出比较明显的问题。由于系统没有优化功能，没有考虑到计划周期内钢卷在库内的存储状态对后续运作的影响，没有对计划进行优化等一系列问题，导致库内垛位利用率不高、倒垛量大，增加了很多物流运作成本。 本文研究钢卷库的物流运作优化问题，结合近年来在人工智能研究领域迅速崛起的强化学习方法，将强化学习中的一些方法应用到钢卷库的物流运作优化研究中。主要研究工作如下: 1)对国内外关于钢卷库运作优化、吊机最短路径问题和倒垛方式的研究现状进行了综述，分析了现有研究的不足;对本文采用的强化学习算法的理论基础进行了简介，对研究现状进行了综述。 2)针对钢卷库物流运作优化问题建立了一类动态规划模型，并按照不同的目标设计了考虑三种优先策略的启发式算法。 3)针对钢卷库物流运作优化问题构建了一类强化学习算法，利用Rollout算法对启发式方法进行了改进。 4)针对钢卷库物流运作优化问题，提出了一种变概率选择方式的基于Rollout算法的蒙特卡罗树搜索算法。 5)引用多个仿真算例，对以上模型和算法进行了验证研究，验证了模型的正确性和算法的有效性。

目录

声明

摘要

1．1研究背景及意义

1．2主要研究内容及技术路线

1．3论文总体结构

1．4本章小结

第2章研究综述及理论基础

2．1钢卷库物流优化问题简介

2．2研究综述

2．3强化学习理论基础

2．3．1强化学习的发展及其研究现状

2．3．2强化学习原理

2．3．3 Rollout算法

2．3．4蒙特卡洛树搜索

2．4本章小结

第3章钢卷库物流运作优化的启发式算法

3．1符号描述

3．2动态规化模型

3．3启发式算法

3．3．1近邻法

3．3．2最小倒垛次数法

3．3．3最小堆积数法

3．4实验分析

3．4．1案例设计

3．4．2实验环境与实验结果分析

3．5本章小结

第4章基于强化学习的Rollout算法

4．1基于强化学习的动态规划模型

4．2 Rollout算法

4．2．1 Rollout算法应用机制

4．2．2 Rollout算法的扩展

4．3基于Rollout算法的蒙特卡洛树搜索算法

4．4实验分析

4．4．1案例设计

4．4．2实验环境与实验结果分析

4．5本章小结

5．1总结

5．2展望

参考文献

致谢