基于深度强化学习的视频游戏决策模型研究与应用

摘要

随着互联网的不断深入发展以及手机等各种电子设备的不断普及，游戏已经成了人们生活中的很重要的一部分。人们通过游戏认识了不同的人，游戏也成为了人们休闲时的一种消遣方式。游戏产业也迎来了高速发展，如何为游戏玩家提供差异化的游戏体验则成为了重中之重。随着机器学习的不断研究与发展，基于深度学习与强化学习的深度强化学习为研究人员在游戏中使用机器学习方法提供了解决思路。本文从深度强化学习出发，研究机器学习是如何在游戏中应用的，主要工作如下： ⑴本文介绍了深度强化学习在国内外的发展状况，对游戏中用到的深度强化学习算法进行整理，并对这些算法进行原理解析，对其中核心技术进行解析。 ⑵本文研究了深度学习与强化学习。强化学习是用来解决探索与决策问题的有效方法，但是强化学习在处理高维度的数据时存在着挑战性，所以使用深度学习中的神经网络来处理高维度的感知数据(比如，视频，语音等)，提取特征作为强化学习的输入。其中深度卷积神经网络在处理图像上有着天然的优势，该网络非常善于检测特征，但是对于特征变体的检测效率却不理想，所以本文使用胶囊网络代替卷积网络来处理感知数据。Q-learning是一种经典的强化学习方法，它的核心是通过不断与环境进行交互、试错、获得反馈来逐步逼近最优策略。 ⑶本文研究了深度强化学习。谷歌公司的人工智能团队提出了结合深度学习与强化学习的深度强化学习算法，成功的应用在Atari游戏环境中，并且取得了惊人的成绩。但是该算法存在着探索效率不高的问题。本文使用改进的Bootstrapped DQN方法来提高探索时的效率。 ⑷本文设计了一个结合胶囊网络与Bootstrapped DQN方法的视频游戏决策模型。通过使用胶囊网络替代卷积神经网络，提高本文模型检测特征变体的能力；使用Bootstrapped DQN方法来提高本文模型的训练速度与深度探索的能力。 本文设计了一个结合胶囊网络与Bootstrapped DQN方法的视频游戏决策模型。该游戏决策模型使用胶囊网络来感知高维度输入数据并提取特征，胶囊网络不仅可以检测特征，还可以检测特征变体，提高了提取图像识别的效率。另外使用Bootstrapped DQN方法来进行深度探索，加快模型探索策略时的效率。通过实验分析与对比，得出本文游戏决策模型可以成功的学习到控制策略并且提高了探索策略时的效率的结论。

目录

声明

第一章 绪 论

1.1 研究背景与意义

1.2深度强化学习的研究现状

1.3视频游戏算法的难点

1.4本文的主要工作与创新点

1.5本文的组织结构

第二章 深度学习

2.1 机器学习与深度学习介绍

2.2人工神经网络

2.3 卷积神经网络

2.4 胶囊网络

2.5 本章小结

第三章 强化学习

3.1强化学习

3.2 Q-learning算法

3.3 本章小结

第四章 深度强化学习与本文模型

4.1 DRL的背景

4.2 深度Q网络

4.3 Atari2600游戏环境

4.4 Bootstrapped DQN

4.5结合胶囊网络与Bootstrapped DQN的模型

4.6 本章小结

第五章 实验设计及结果分析

5.1实验的设计

5.2 实验结果分析

5.3本章小结

第六章 总结与展望

6.1 总结

6.2 展望

参考文献

致谢

攻读学位期间的研究成果