基于遗传算法与深度学习的星际争霸II兵种生产策略研究与实现

摘要

如今是互联网时代，随着人工智能技术的发展，人工智能在很多领域已经取得了巨大的成就。近两年，人工智能在游戏领域也得到了应用。在即时战略游戏星际争霸Ⅱ中，由于存在战争迷雾，游戏的动作空间巨大，多智能体之间难以协作等问题，其成为各种AI算法的主流研究平台之一。星际争霸Ⅱ作为一款即时战略多兵种对抗类游戏，在很大程度上与真实战争相似，可以作为战争模拟测试平台应用各种AI算法，学习高水平玩家的策略去模拟真实战争，不仅能够测试各种AI算法，而且还可以为现代化战争提前做出技术储备，如提前兵力部署、敌方军队信息预判等。星际争霸Ⅱ中一个重要的策略是决定生产什么样的兵种以及每种兵种的生产数量，目前参加星际争霸ⅡAI天梯比赛的智能体，大多数采用硬编码策略，即预先设定的策略，这些智能体不能根据不同的对手来调整自己的策略，自适应性较差。　　本课题采用“预测+搜索”结合的方法，使用深度学习算法去预测游戏中敌方兵种的类别以及数量，然后根据游戏限制条件，把预测到的信息应用到搜索算法中，形成兵种生产策略，并将兵种生产策略应用到基于星际争霸Ⅱ现有开源游戏框架CommandCenter的智能体中，形成新的智能体huangbot。本文的研究主要包括以下几个方面的内容：　　(1)深入研究了星际争霸Ⅱ智能体现状，分析了星际争霸Ⅱ兵种生产策略国内外研究现状。确立了本文采用“预测+搜索”结合的方法实现智能体的兵种生产策略。　　(2)对星际争霸Ⅱ人工智能研究环境SC2LE(StarCraftⅡLearningEnvironment)提供的6万多场游戏回放通过预处理、解析、提取等步骤构造游戏特征数据集。　　(3)通过与传统BP神经网络、GRU神经网络两种不同的预测算法对比，从而提出LSTM神经网络作为预测算法。使用游戏特征数据集对LSTM神经网络进行训练，通过实验对LSTM网络模型进行参数调整，确定了预测效果最好的网络模型，使用网络模型对人族对抗其它种族中敌方的兵种类别及数量进行预测测试，分别取得了72.4%、74.5%和78.6%的平均准确率。接着对比不同的搜索算法，提出采用遗传算法作为兵种生产策略的搜索算法。提出了基于预测模型结果的适应度值函数，通过实验对遗传算法进行参数调整，达到了比较好的效果。　　(4)把LSTM网络预测模型预测出的敌方兵种信息作为遗传算法的输入，与游戏中的限制条件相结合，从而得出我方需要生产的兵种类别与数量，形成我方兵种生产策略。将其集成到基于星际争霸Ⅱ开源框架CommandCenter的智能体中，实现其未完成的BuildOrderQueue子模块和BuildOrder子模块，改进原有的ProductionManager子模块，并且在此基础上增加搜索子模块与预测子模块，从而形成新的智能体huangbot。将智能体huangbot参加星际争霸ⅡAI天梯赛StarCraftⅡAILadder，测试智能体有效性以及算法的有效性。截止到StarCraftⅡAILadder天梯赛第八赛季时，本文设计的智能体huangbot在40多个参赛智能体中取得了第7名的成绩。

目录

声明

第1 章绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 主要研究工作

1.4 论文组织结构

1.5 本章小结

第2 章相关基础理论与方法分析

2.1 星际争霸II智能体兵种生产策略的影响因素和难点

2.2 兵种生产策略预测模型常用的方法

2.2.1 BP 神经网络预测方法

2.2.2 LSTM 神经网络预测方法

2.3 兵种生产策略常用搜索算法对比

2.4.1 经典遗传算法

2.4.2 遗传算法运算流程

2.4.3 基因编码方式

2.4.4 初始种群选择

2.4.5 适应度函数

2.4.6 遗传算子

2.4.7算法终止条件

2.4.8 控制参数

2.5 本章小结

第3 章 LSTM神经网络预测模型研究与实现

3.1星际争霸II人工智能研究环境SL2LE简介

3.2 构建游戏特征数据集

3.2.1 实验环境

3.2.2预处理

3.2.3 解析游戏回放

3.2.4 特征提取

3.2.5 游戏特征归一化

3.2.6 制作数据集样本标签

3.2.7游戏特征数据集划分

3.3 构建预测模型LSTM神经网络

3.3.1 LSTM 网络模型架构

3.3.2 LSTM 网络实现细节

3.4.1 实验环境

3.4.2 模型性能评价指标

3.4.3 实验设定

3.4.4 确定全连接层数与节点数实验

3.4.5 确定LSTM层参数实验

3.4.6 确定批处理大小实验

3.5 预测模型训练结果与分析

3.6 与其他神经网络对比与分析

3.7 本章小结

第4 章基于遗传算法的搜索模型研究与实现

4.1.1 建立目标函数与算法约束条件

4.1.2 编码的设计

4.1.3 控制参数设计

4.1.4 遗传算法选择算子设计

4.1.5遗传算法交叉算子设计

4.1.6 遗传算法变异算子设计

4.1.7 基于预测模型结果的遗传算法适应度函数设计

4.2 遗传算法控制参数的影响实验与分析

4.2.1 遗传算法种群大小实验

4.2.2 遗传算法迭代次数实验

4.2.3 遗传算法交叉概率实验

4.2.4 遗传算法变异概率实验

4.3 本章小节

第5 章兵种生产策略性能测试与运用

5.1 智能体结构

5.2 基于CommandCenter游戏框架的智能体架构

5.3 实现BuildOrderQueue 子模块

5.4 实现BuildOrder子模块

5.5 改进Production Manager子模块

5.6兵种生产策略性能测试及分析

5.6.1 与游戏内置AI对抗比较

5.6.2 StarCraft II AI Ladder测试

5.7 本章小结

总结与展望

致谢

参考文献

攻读硕士学位期间发表的论文及参与的科研项目