基于强化学习的多机器人追捕问题研究

摘要

一种分段式强化学习方法来求解多机器人最优协作追捕策略。
　　第三，研究未知环境下多个追捕机器人形成追捕团队追捕多个逃跑者的最优协作追捕策略问题。首先通过有选择的循环搜索法对逃跑目标进行搜索，发现目标后，基于目标分解与分配的理论基础，通过整数规划模型求解各目标的追捕团队。接着根据任务规划的结果，让各协作团队同时分周期独立学习各自的最优行为决策，团队成员根据其他成员在此状态下将要采取的动作行为执行最佳的响应动作，多次重复对策后得到该协作团队的学习目的解。学习过程中由于不同协作团队之间的行为选择相互影响，对学习结果进行周期监督，通过变化学习率来保证学习的有效性。考虑上述方法对于追捕目标分解与分配是相对粗略的，整数规划问题实际求解过程本身也很复杂，创建追捕团队时没有考虑到追捕者之间完成捕获任务的能力互补等问题，提出一种未知环境下结合案例推理强化学习方法的多机器人协作追捕多个逃跑目标策略，创建追捕团队时充分考虑追捕者之间能力互补问题，追捕团队成员协作追捕过程中，追捕者的行为选择同时参照历史经验及实际追捕者与逃跑者所处的状态进行决策。试验结果表明，该算法能够明显提高复杂环境下多机器人协作追捕目标的效率。
　　第四，开发了多机器人协作追捕目标仿真平台，为深入研究多机器人追捕目标问题提供了一个标准的试验平台。该仿真系统采用模块化设计，便于对新的算法进行仿真研究，并通过各种试验对本文所提方法进行了验证。

目录

基于强化学习的多机器人追捕问题研究

RESEARCH OF MULTI-ROBOT PURSUIT PROBLEM BASED ON REINFORCEMENT LEARNING

摘 要

Abstract

目 录

Contents

第1章 绪 论

1.1 引言

1.2多机器人系统研究内容综述

1.2.1多机器人系统主要研究内容

1.2.2国内外多机器人系统研究现状

1.2.3 多机器人系统存在的问题

1.3 多机器人追捕逃跑问题综述

1.3.1多机器人追捕逃跑问题及主要研究内容

1.3.2多机器人追捕逃跑问题研究现状

1.3.3多机器人追捕逃跑问题研究思路

1.4 多机器人学习综述

1.4.1多机器人学习研究内容及研究现状

1.4.2多机器人学习存在的问题

1.4.3多机器人学习研究方向

1.5 本课题的研究意义和研究内容

1.5.1 课题背景及研究的目的和意义

1.5.2 本文的主要工作

第2章 基于强化学习的多机器人协调与协作

2.1 引言

2.2多机器人的协调与协作

2.2.1协调与协作问题概述

2.2.2协调与协作研究存在的问题

2.2.3多智能体协调与协作的研究平台

2.3利用强化学习方法解决多机器人协作与协调问题

2.4 强化学习

2.4.1强化学习相关理论及模型

2.4.2 强化学习系统的基本要素

2.4.3马尔可夫决策过程

2.5强化学习的主要算法

2.5.1探索策略

2.5.2瞬时差分算法

2.5.3 Sarsa算法

2.5.4 Q-学习算法

2.6 基于强化学习的多机器人追捕问题研究

2.6.1 基于强化学习求解多机器人协作追捕问题的思路

2.6.2 基于Q学习的多机器人强化学习算法

2.7小结

第3章 已知环境下基于强化学习的多机器人协作追捕问题研究

3.1 引言

3.2多机器人追捕问题

3.2.1问题描述

3.2.2 基于分区的主从式组织结构的追捕团队形成算法

3.2.3基于分区主从式组织结构的多机器人追捕算法

3.2.4仿真实验

3.2.5 算法评价

3.3 改进的多机器人追捕算法

3.3.1关联规则数据挖掘技术组建追捕团队

3.3.2基于分段式强化学习的多机器人追捕算法

3.3.3仿真实验

3.4本章小结

第4章 未知环境下基于强化学习的多机器人协作追捕问题研究

4.1 引言

4.2完成追捕任务的整体方案

4.2.1目标搜索

4.2.2确定追捕者之间的协作关系

4.2.3基于多团队强化学习方法多机器人协作追捕目标

4.2.4仿真实验

4.3 基于案例推理的强化学习在多机器人追捕问题中的应用

4.3.1构建系统案例库

4.3.2确定相应案例子集

4.3.3 基于案例推理的多机器人强化学习

4.3.4 系统案例库的更新

4.3.5 多agent学习过程

4.3.6 仿真试验

4.4本章小结

第5章 多机器人协作追捕问题仿真试验系统

5.1 引言

5.2仿真系统设计

5.2.1 总体设计

5.2.2 逃跑者

5.2.3 追捕者

5.2.4 传感器

5.3仿真实验系统

5.3.1 系统的主要功能

5.3.2 仿真试验演示

5.3.2.1 已知环境下多目标追捕

5.3.2.2 未知环境下多目标追捕

5.4 本章小结

结 论

参考文献

攻读博士学位期间发表的论文

哈尔滨工业大学博士学位论文原创性声明

致 谢

个人简历