多种机器学习方法在足球机器人系统中的应用

摘要

机器人足球比赛过程中,由于存在竞争的一方,实时跟踪对手的行为状态、分析对手的思维和意图是对抗活动的基本前提,建立对手模型很有必要.该论文以Agent的BDI模型为思维模型,在概率信念逻辑基础上,引入换位原理,给出了一种多智能体对手建模的新思路并将之应用到机器人足球比赛中.通过对敌对的足球机器人团队进行建模,对对方的行为进行合理预测,并且采取相应的行动以创造机会遏制对方的行动.该文提出的方法,还可以达到在动态开放环境下,特别是信息不完全的情况下实时推断机器人团队中其他同伴的思维状态,为团队协作提供支持.另外,对手建模的过程也是学习对手的过程,可以将从对手那里学习到的有效的策略加入到自己的知识信念库里,以丰富本方策略.足球机器人系统中,路径规划是高层决策和底层控制间的衔接部分,路径规划算法的性能在很大程度上影响机器人队员的性能.该论文将增强式学习算法和人工势场法相结合,提出状态评价函数和势场的对应关系,以及控制策略和势场力方向的对应关系,通过机器人的自适应学习,来形成优化的人工势场,使机器人能够以最短路径绕过障碍,到达目标.

目录

文摘

英文文摘

0前言

1足球机器人概述

1.1足球机器人提出的理论及应用背景

1.1.1机器人足球比赛是人工智能领域中的一个标准问题

1.1.2足球机器人相关理论的应用领域

1.1.3机器人足球比赛是推动信息领域产、学、研结合的重要途径

1.2足球机器人的提出

1.3 FIRA足球机器人简介

1.3.1微型机器人足球比赛

1.3.2小型足球机器人比赛

1.3.3仿真足球机器人比赛

1.4 Robocup足球机器人简介

1.4.1 Robocup实物组足球机器人比赛

1.4.2 Robocup仿真组足球机器人比赛

1.5足球机器人目前研究情况

2系统整体框架及主要研究内容

2.1仿真比赛程序框架

2.1.1服务器提供的功能

2.1.2客户程序提供的功能

2.1.3监视器程序提供的功能

2.2 Client程序开发过程

2.2.1程序总体流程

2.2.2设计步骤

2.2.3底层动作介绍

2.2.4高层算法简介

2.3足球机器人研究中的关键问题

2.3.1机器人足球智能对抗挑战

2.3.2机器人足球团队合作挑战

2.3.3机器人足球路径规划自学习挑战

2.3.4机器学习是足球机器人系统开发的关键技术

3对手建模研究

3.1意图预测已有研究成果

3.2Agent模型

3.2.1反应性Agent(reactive agent)

3.2.2慎思式Agent(deliberative agent)

3.3概率信念逻辑

3.4换位原理

3.5足球机器人系统中的对手建模模型

3.6试验结果及分析

3.6.1 Mirosot 2 Vs 2仿真实验

3.6.2 Mirosot 11 Vs 11仿真实验

3.7结语

4基于增强式学习和人工势场法的机器人避碰规划自学习

4.1人工势场方法

4.1.1人工势场法简介

4.1.2势函数的选取

4.1.3人工势场法的局限

4.2增强式学习方法

4.2.1马尔可夫决策过程(Markov Decision Process,简你为MDP)

4.2.2增强式学习(Reinforcement Learning)

4.2.3增强式学习的模型

4.2.4增强式学习的要素

4.2.5增强式学习的过程

4.3机器人足球系统中机器人路径规划策略的学习

4.3.1足球机器人路径规划的马尔可夫决策过程模型

4.3.2基于增强式学习与人工势场方法的路径规划

4.4计算机仿真实验结果

4.5结论

5总结与展望

致谢

参考文献

附录