基于无监督特征学习的演化计算行为分析

摘要

演化计算作为一类启发式优化方法，其在解决真实世界中的复杂优化问题时的良好性能已经在过去的几十年中得到了很好的验证。但是演化计算自身复杂的随机行为导致对其进行理论分析异常困难，时至今日，仍然难以找到一种有效的方法来对演化算法在不同环境下的行为进行学习和分析。为了更好地理解演化计算的行为，本文尝试采用无监督特征学习的方法，对演化计算在搜索过程中的一代群体行为进行分析。首先对所研究的演化计算行为数据进行定义，然后从基于自组织映射的演化计算行为数据预处理、基于慢特征分析的演化计算行为数据特征提取和基于深度信念网络的演化计算行为数据特征提取三个方面入手，对演化计算的行为数据进行了特征提取和分析。具体工作如下:
　　1)研究了基于自组织映射的演化计算行为数据预处理方法。研究了基于t分布随机邻域嵌入(t-SNE)的自组织映射网络预训练方法，从而将自组织映射网络的训练分为三个阶段:预训练、粗训练和微调三个阶段，使得网络能够收敛到最好的状态。然后使用训练好的自组织映射神经网络将原始高维空间中的演化计算行为数据映射到二维平面上，实现高维数据集的归一化表示，为后续使用无监督特征提取算法对演化计算行为数据进行分析做好数据准备。
　　2)研究了基于慢特征分析算法的演化计算行为数据特征提取算法。首先对慢特征分析算法应用到无监督模式识别问题时的时间序列结构调整进行了研究，同时对需要保留的慢特征维数也进行了分析和计算。然后针对演化计算行为数据的特点，设计了基于二阶非线性扩展慢特征分析算法的特征提取框架，对演化计算行为数据进行特征提取。最后设计了多组对比实验，分别研究了不同演化算法在同样的landscape下的行为特征差异，以及同一演化算法在不同的landscape下的行为特征差异。实验结果表明，慢特征分析算法可以提取到不同演化算法之间具有判别性的稳定特征。
　　3)研究了基于深度信念网络的演化计算行为特征提取算法。首先对深度信念网络的基本组成单元——受限玻尔兹曼机，进行了详细研究。然后针对要分析的演化计算行为数据，设计了一个包含有七层受限玻尔兹曼机网络的深度信念网络框架。最后设计实验得到了不同演化算法在同一个测试函数下的行为数据经过深度信念网络提取到的特征分布结果，将该结果与慢特征分析提取到的特征进行对比，对选用的四种演化算法的行为进行了分析。

目录

声明

摘要

表格索引

插图索引

算法索引

第一章 绪论

1．1 课题背景与意义

1．1．1 演化计算

1．1．2 无监督特征学习

1．2 演化计算所面临的挑战

1．3 国内外研究现状

1．4 本论文的主要研究内容和创新之处

1．5 本论文的组织安排

1．6 本章小结

第二章 基于自组织映射的演化数据预处理

2．1 演化计算行为数据生成

2．1．1 演化算法概述

2．1．2 测试函数概述

2．1．3 演化计算行为数据定义与生成

2．2 自组织映射(SOM)概述

2．2．1 SOM神经网络基础

2．2．2 SOM神经网络拓扑结构

2．2．3 SOM学习算法

2．3 演化计算行为数据的自组织映射(SOM)网络训练

2．3．1 训练数据生成与SOM网络初始化

2．3．2 基于t-SNE的SOM网络预训练

2．3．3 SOM网络的粗训练与微调

2．3．4 SOM网络训练结果

2．4 演化计算行为数据预处理结果

2．5 本章小结

第三章 基于慢特征分析的演化计算行为分析

3．1 慢特征分析(SFA)算法概述

3．1．1 慢原则

3．1．2 SFA优化目标

3．1．3 线性SFA与非线性扩展SFA

3．2 慢特征分析算法学习流程

3．2．1 PCA白化

3．2．2 非线性扩展

3．2．3 扩展后数据的归一化调整

3．2．4 慢特征提取

3．3 慢特征分析时间序列结构调整

3．4 慢特征维数选择

3．5 实验设计与结果分析

3．5．1 实验方案设计

3．5．2 实验结果与分析

3．6 本章小结

第四章 基于深度信念网络的演化计算行为分析

4．1 受限玻尔兹曼机

4．1．1 RBM模型

4．1．2 RBM学习目标

4．1．3 吉布斯采样

4．1．4 基于对比散度(CD)的RBM快速学习算法

4．2 深度信念网络

4．2．1 深度信念网络模型

4．2．2 DBN训练方法

4．3 实验方案

4．3．1 实验数据准备

4．3．2 DBN网络结构设计

4．4 实验结果与分析

4．4．1 DBN特征提取结果与分析

4．4．2 DBN提取特征的优缺点

4．5 本章小结

5．1 全文总结

5．2 未来展望

参考文献

致谢

在读期间发表的学术论文与参与的科研项目