基于拟牛顿法在线训练神经网络的FPGA系统及实现方法

摘要

本发明公开一种基于拟牛顿法在线训练神经网络的FPGA系统及实现方法。FPGA系统包括LS、GC、HU、NNE、CSC及PNG六大模块。实现方法：包括1)分析拟牛顿法的c++代码，将算法划分为三个计算模块，通过编写Verilog，将每个计算模块实现为硬件块；2)根据神经网络的拓扑结构、训练方式和激励函数，通过编写Verilog确立神经网络评估模块NNE的硬件结构；3)基于32位线性移位寄存器实现随机数产生模块PNG；4)将FPGA片上存储器用作缓冲器以链接上述五个硬件模块，并存储中间的计算结果，采用有限状态机的形式安排上述五个模块的操作顺序及内存与相对应模块的数据传递；5)硬件设计进行性能测试。通过FPGA实现来提高神经网络训练的速度，满足神经网络在线训练的实时性要求。