低功耗、可重构、模块化的脉冲神经网络处理器设计与实现

摘要

随着人工神经网络研究的发展以及在人工智能领域的广泛应用，人工神经网络相比于传统人工智能算法显现出其独特的优势。人工智能本质是对人类思维过程的模拟，而人工神经网络正是将脑科学对人脑神经系统结构和动态过程的研究结果进行抽象，简化而得到的一种人工智能算法。然而更接近真正意义上的类脑计算、更具有生物启发性的神经网络正是脉冲神经网络。人工神经网络经过多年的发展，目前已经有多种专用的部署在云端的加速器平台，可以进行在线神经网络训练和推理。然而，脉冲神经网络中事件驱动的计算方式特别适合低功耗硬件的实现，满足端到端的应用环境下的需求。但是，目前现有的脉冲神经网络硬件系统在功耗、可重构性等方面难以适应复杂的端侧场景，因此设计一种低功耗、可重构、模块化的脉冲神经网络处理器就很有必要。 本文首先简单介绍了脉冲神经网络的一些背景知识。包括脉冲神经网络与人工神经网络的异同点，脉冲神经网络中的各种神经元模型以及学习算法，并选择了合适的神经元模型以及学习算法用作构建本文研究所用的脉冲神经网络模型。除此之外介绍了目前主流的神经网络芯片的设计思想，结合低功耗、可重构、模块化的设计要求，提出了脉冲神经网络处理器系统的指导性设计准则。 其次本文，建立了脉冲神经网络处理器系统的整体架构。详尽定义了各个子模块的功能和端口以及具体的传输数据格式。根据FPGA硬件的资源情况和设计性能要求，具体实现了所提出的子模块。并且在保证功能正确的前提下进行了低功耗的优化。另外关于如何配置硬件全局参数，建立了真实的脉冲神经网络模型，并以此为例说明了如何计算获取全局参数。 最后，为验证其整体的架构的有效性和评估架构的性能，本文利用由人工神经网络转换得到的脉冲神经网络作为参考模型，构建了脉冲神经网络处理器系统。采用MNIST数据集作为测试样例。使用XC7VX485T FPGA芯片实现脉冲神经网络。导入得到的网络权重和参数后，时钟频率可以达到200MHz，识别准确率达到93%，系统动态功耗为65mW。

目录

声明

缩略词表

第一章 绪 论

1.1 引言

1.2 研究背景及意义

1.3 研究现状

1.3.1 专用加速器

1.3.2 存内计算方式

1.3.3 数字电路实现方式

1.4 研究内容及章节安排

第二章 脉冲神经网络

2.1 人工神经网络与脉冲神经网络

2.2 脉冲神经网络中的神经元

2.2.1 HH模型

2.2.2 IF模型

2.2.3 LIF模型

2.3 脉冲神经网络中的学习算法

2.3.1 传统型学习算法

2.3.2 转化型学习算法

2.4 硬件实现脉冲神经网络设计准则

2.4.1 硬件实现脉冲神经网络的特点

2.4.2 主流神经网络芯片设计架构

2.4.3 脉冲神经网络处理器系统的设计准则

2.5 本章小结

第三章 脉冲神经网络处理器系统架构设计

3.1 脉冲神经网络处理器系统架构

3.2 脉冲处理单元的设计与实现

3.2.1 神经元更新模块的分层设计架构

3.2.2 脉冲发射引擎

3.3 脉冲交换桥的设计与实现

3.3.1 聚合模块

3.3.2 脉冲分发模块

3.4 低功耗优化

3.5 构建硬件脉冲神经网络

3.5.1 构建软件参考模型

3.5.2 脉冲神经网络软硬件构建的区别以及转化

3.5.3 获取脉冲神经网络处理器系统的参数

3.6 本章小结

第四章 脉冲神经网络处理器系统的测试与分析

4.1 模块测试

4.1.1 神经元计算引擎

4.1.2 神经元计算控制模块

4.1.3 神经元存储器读写控制模块

4.1.4 脉冲发射引擎

4.1.5 脉冲处理单元

4.1.6 脉冲交换桥

4.2 整体测试

4.2.1 仿真测试

4.2.2 板级测试

4.3 资源及功耗分析

4.4 相关研究对比

4.5 本章小结

第五章 总结与展望

5.1 全文总结

5.2 未来展望

致谢

参考文献

攻读硕士学位期间取得的成果