基于深度强化学习的非玩家角色智能增强研究

摘要

人工智能是当前非常火热的研究领域，国家也将人工智能教育列入规划中，其中感知和决策是人工智能中非常重要的环节。得益于深度学习的迅速发展，深度强化学习(DRL)逐渐成为了该环节中关键的方法。深度强化学习通过深度神经网络感知高维信息，提取关键特征，再利用强化学习对这些特征输入作出相应的决策动作，在与环境的不断交互中改善自己的动作策略，目前，深度强化学习逐渐在多个行业崭露头角。其中游戏行业由于样本获取成本低、速度快，已经成为检验强化学习算法的基准（比如Atarl游戏系列）。本文目的在于利用DRL来协助生成游戏中非玩家角色(NPC)的智能行为策略(AI)。
　　本文基于深度Q学习网络(DQN)，根据NPC智能应用特点，针对性的改进了DQN框架，主要内容和贡献点如下:
　　1.将深度强化学习应用于游戏设计领域，尤其是NPC的AI设计行业。通过输入敌我双方的状态信息，自动生成行为策略。一方面通过不断采样学习可以提高智能性，另一方面自动生成行为策略也大大提升效率。
　　2.提出基于DQN的分布式DQN(DDQN)框架。将采样与学习解耦，算法与智能体解耦，多进程模式加速了游戏样本的采集与学习，对于实际应用有着重要意义。同时融合了优先级采样、模仿学习，对原始算法进行了改进与优化。
　　3.提出基于DQN的分层DQN(H-ART-DQN)。通过先训练子网络学会一些子目标，再从高层大尺度时间范围进行目标选择，在加速训练的同时，也可以生成不同风格行为策略，能够满足游戏AI设计的需求。

目录

声明

致谢

摘要

第一章 绪论

1．1 研究背景

1．2 研究现状

1．2．1 国内外强化研究学习现状

1．2．2 NPC AI设计行业现状

1．3 研究内容

1．3．2 研究贡献

1．4 文章结构

第二章 深度强化学习理论基础

2．1 强化学习模型与符号约定

2．2 通用解法

2．2．2 基于模型的动态规划法

2．2．3 蒙特卡罗方法(Monte Carlo method)

2．2．4 时间差分法(Temporal-Difference Learning)

2．2．5 值函数近似

2．3 深度学习基础

2．3．1 常见激活函数

2．3．2 全连接网络(Fully Connected Networks)

2．3．3 卷积神经网络(Convolutlonal Neural Networks)

2．3．4 循环神经网络(Recurrent Neural Networks)

2．4 深度强化学习

2．4．1 DEEP Q-LEARNING NETWORK

第三章 DQN在游戏中的应用

3．1 问题背景介绍

3．1．1 职业血河介绍

3．1．2 职业神相介绍

3．2 DQN模型配置

3．2．1 血河技能配置

3．2．2 神相与DQN算法设置

3．3 仿真平台——《MiniGame》

第四章 分布式DQN系统及DQN算法改进

4．1 分布式DQN系统

4．2 原始算法改进

4．2．1 批优先级经验池-BPDQN

4．2．2 模仿学习-DQFD

第五章 多样性AI训练算法与最终效果展示

5．1 多样性AI算法-H-ART-DQN

5．2 实验结果与分析

第六章 总结和展望

6．1 总结

6．2 展望

参考文献

个人成果

个人简历