基于GPU的双种群进化神经网络的研究

摘要

本文使用的是结合遗传算法的进化神经网络,遗传算法是从自然界中的生物进化机制中获得启示的,人工神经网络则是对人类或动物神经网络若干基本特性的抽象和模拟,神经网络通过不断训练更新网络权重和阈值,拥有非线性函数学习的能力。神经网络以平行方式运行,因此对每个学习样本都可同时进行运算,并且在有少许误差的情况下也不会影响输出结果,因而具有很好的容错能力。针对某一特殊任务,当我们发现了可以完成该任务的网络时,人们可能会无法确定是否还存在另外一种性能更好的网络,遗传算法为神经网络的高效自动设计,提供了一条很好的途径。
　　 遗传算法是一种基于自然选择和群体遗传机制的随机搜索算法,它具有很好的全局搜索能力。本文主要研究的是Garis教授提出的部分连接神经网络(Partially Connected Neural Network,简称Parcone)模型,针对模型的早熟和速度极慢的缺陷,为了提高网络的多样性,本文提出一种利用双种群进化策略来改进网络的DPParcone模型。
　　 神经网络的应用范围不断扩展,神经网络应用技术研究不断深入,并与多种学科相交叉,由于处理问题的复杂性不断提高,随之应用的神经网络的规模也不断扩大,数据处理效率成为了神经网络的一个重要瓶颈。作为一种新兴技术,2007年由NVIDIA公司推出的统一计算设备架构CUDA成功结合了CPU和GPU的特性功能,基于神经网络的并行性特点,CUDA有效地解决了数据并行计算问题,同时为了解决双种群异构问题,利用CUDA中的流进行异构处理,较好对提高了DPParcone的双种群进化效率。