基于异构计算平台的并行神经网络训练算法设计

摘要

现如今人工智能已经渗透到人们生活的各个角落，很多行业都通过人工智能实现了巨大的发展。人工智能的核心技术是人工神经网络，人工智能的广泛应用离不开神经网络技术的巨大进步。但是，神经网络技术的进一步发展仍然面临很多挑战。目前，人工神经网络应用面临的主要挑战之一就是训练，其实质是一个基于大量数据反复迭代优化的过程。该过程需要极高的计算能力和高效的最优解搜寻方法。 本文针对神经网络训练过程中面对的问题，进行了详细的探索与分析，并凭借异构计算平台的强大计算能力，设计并实现了三种并行优化算法。首先，针对神经网络训练时间较长的问题，实现了并行BFGS拟牛顿算法；其次，针对传统的神经网络训练方法易陷入局部收敛的问题，设计并实现了一种多群体PSO并行算法；最后，为了提升神经网络训练过程中的收敛速度，将BFGS拟牛顿算法与PSO算法相结合，实现了BFGS-PSO混合算法。 实验结果显示，与传统的基于CPU的串行算法相比，本文设计的并行BFGS拟牛顿算法最高获得了430倍的加速；本文设计的并行PSO算法与基于CPU的多线程PSO算法相比，获得了35倍的加速；在超宽带天线的实验中，与BFGS拟牛顿算法相比，相同迭代次数下，训练误差缩小到了 1.52%；并且，将二者结合而成的BFGS-PSO混合算法也展现了较强的收敛性，其收敛速度是BFGS拟牛顿算法的5.5倍，并且在相同训练时间下，三种算法中BFGS-PSO混合算法的训练误差最小，仅为1.12%。

目录

第一个书签之前

第1章 绪论

1.1 研究背景及研究意义

1.2 国内外研究现状

1.3 论文主要研究内容及创新点

1.4 论文结构安排

1.5 本章小结

第2章 异构计算平台架构与编程模型

2.1 异构计算平台

2.2 GPU简介

2.3 GPU体系架构

2.4 GPU与CPU的区别

2.5 OpenCL编程方法简介

2.5.1 GPU编程框架

2.5.2 OpenCL编程框架

2.5.3 OpenCL编程过程

2.6 本章小结

第3章 多层前馈全连接神经网络

3.1 全连接神经网络发展历程

3.2 全连接神经网络结构

3.3 神经网络训练优化技术

3.4 本章小结

第4章 BFGS拟牛顿算法并行实现

4.1 牛顿法

4.2 DFP拟牛顿算法

4.3 BFGS拟牛顿算法

4.4 BFGS拟牛顿算法并行实现方法

4.4.1 计算神经网络误差ET

4.4.2 计算搜索方向dir

4.4.3 黄金分割法计算步长λ并更新权重w

4.4.4 计算梯度g

4.4.5 计算尺度矩阵B

4.4.6 并行归约求和

4.5 实验结果与分析

4.5.1 算法性能测试

4.5.2 微波器件建模实验

4.6 本章小结

第5章 主从型多群体PSO并行算法实现

5.1 PSO算法背景简介

5.2 并行PSO算法

5.3 多群体PSO算法

5.4 主从型多群体PSO算法并行实现方法

5.4.1 随机数产生

5.4.2 粒子速度与位置更新

5.4.3 适应度的计算

5.4.4 局部并行归约

5.4.5 全局并行归约

5.5 实验结果与分析

5.5.1 算法性能测试

5.5.2 与现有的PSO并行实现对比

5.5.3 实际应用

5.6 本章小结

第6章 BFGS-PSO并行混合算法实现

6.1 BFGS拟牛顿算法与PSO算法的互补性

6.2 BFGS-PSO并行混合算法结构

6.3 实验结果与分析

6.3.1 收敛速度测试

6.3.2 训练误差测试

6.4 本章小结

第7章 总结与展望

参考文献

发表论文和参加科研情况说明

致 谢