忆阻神经网络硬件冗余方法研究

摘要

深度神经网络(DNN)需要执行大量的运算，消耗大量的能量与硬件资源。忆阻器具有面积小功耗低等优良特性，其电阻值随着流过它的电流而改变，非常适合实现神经网络的突触。忆阻神经网络(mNN)采用忆阻交叉杆阵列(MCA)存储权重并执行点乘运算，计算性能得到极大提升。然而，由于忆阻器的制作工艺不成熟，MCA中存在大量故障，mNN的识别性能和使用寿命存在突出的问题。目前在较高设计层次上一些硬件冗余技术被提出来，然而mNN的容错性尚需进一步提高。　　本文针对MCA中最常见的故障固定故障(SAF)提出一种mNN的权重级冗余(WLR)方法，在较低层次上设计硬件冗余结构，以获得更高的容错性。在该结构中，每个权重使用添加R倍冗余的忆阻器单元来存储。当其中部分忆阻器发生故障时，可以利用其它无故障忆阻器来弥补权重存储的偏差。理论分析表明，当忆阻器的故障率为p时，添加1，2，3倍冗余权重单元的故障率约分别降低到原先的3p/2，5p2/2，35p3/8。神经网络具有内在的容错性，通过重训练进一步提高mNN的识别精度恢复率。　　最后利用两层和三层全连接网络在MNIST数据集上验证本文提出WRL方法的有效性。仿真实验结果表明，与同类方法相比，WLR有更高的平均精度恢复率。即便单个忆阻器的故障率非常高，对于两个实验模型20%故障率时通过添加1倍冗余，40%故障率时通过添加3倍冗余WLR均可获得不低于99.20%的平均精度恢复率。重训练后，平均精度恢复率进一步提高，其相应的恢复率分别提高到不低于99.78%。

目录

声明

第1章 绪论

1.1研究背景和意义

1.1.1研究背景

1.1.2研究意义

1.2国内外研究现状

1.2.1忆阻器故障检测的研究现状

1.2.2mNN设计的研究现状

1.2.3 mNN 容错技术的研究现状

1.3论文主要研究内容与组织结构

第2章 相关技术概括及分析

2.1忆阻器与MCA

2.1.1 忆阻器的概述与模型

2.1.2 MCA 结构与编码

2.2忆阻器故障

2.3容错方法

2.4硬件冗余方法

2.5本章小结

第3章 硬件冗余结构

3.1提出的硬件冗余结构

3.2容错性能分析

3.2.1无冗余情况

3.2.2一行冗余情况

3.2.3两行冗余情况

3.2.4三行冗余情况

3.3容错性能分析

3.4本章小结

第4章 仿真实验结果与分析

4.1实验环境介绍

4.2提出的硬件冗余结构仿真实验

4.2.1硬件冗余结构实验介绍

4.2.2硬件冗余结构实验结论分析

4.3重训练

4.3.1重训练实验介绍

4.3.2重训练实验结论分析

4.4对比实验结论分析

4.4.1分别与RX和IRC的实验对比分析

4.4.2与VPF实验对比分析

4.5本章小结

总结与展望

参考文献

附录 A 攻读硕士学位期间发表的学术论文目录

附录 B 攻读硕士学位期间参与项目目录

致 谢