传统神经网络与脉冲神经网络之间的性能比较研究

摘要

分类方法是人工智能的重要领域之一。有许多分类模型可应用于此领域，而最著名的一种就是多层前馈神经网络。众有所知，反向传播是可以区分给定输入转为期望输入的优秀分类器。传统神经网络对于许多领域的分类表现优秀，例如医学、科学、工程学和商业等领域。不过，反向传播神经网络仍然不能完全处理所有类型的数据，尤其是时态数据。
　　近十几年来，人工神经网络的研究工作不断深入发展。为了处理时态数据，研究者们构建了新一代神经网络，该网络被称为“脉冲神经网络(SNN- Spiking Neural Network)”。脉冲神经网络比传统神经网络更接近地模仿生物神经元。脉冲神经网络算法诞生于反向传播算法，这种新算法被称为脉冲传播SpikeProp算法。不管怎样，在理论上它已经试验并成功解决了XOR问题，但它还未经传统神经网络处理过的现实数据广泛试验。所以为了能通用地将脉冲神经网络用于任何数据，本论文研究比较传统神经网络与脉冲神经网络之间的适宜性能。
　　两者的性能比较采用误差平方和与标准偏方差来度量。十个数据集用于反向传播和SpikeProp试验，针对两种算法的误差进行比较。结果说明反向传播比脉冲神经网络更适合运用于二分类数据集。可是，脉冲神经网络更适于更复杂的非线性数据集。

目录

封面

声明

中文摘要

英文摘要

致谢

目录

List of Figures

List of Tables

1 Introduction

1.1 Objective of the Research

1.2 Research Motivation

1.3 Related Works

1.4 Research Contributions

1.5 Organization of Thesis

2 Introduction to Artificial Neural Network

2.1 Background of Artificial Neural Networks

2.2 Learning Process

2.3 Activation Function

2.4 Multilayer Feed-Forward Network

2.5 Back-propagation Method

2.6 Back-propagation Algorithm

2.7 Summary

3 Spiking Neural Network

3.1 Insight of biological neural networks

3.2 Spiking Neural Network Structure

3.3 Back-propagation in Spiking Neural Network

3.4 Spikprop Algorithm

3.5 Summary

4 Implementation

4.1 Implementation of Spiking Neural Network

4.2 Implementation of Traditional Back-propagation

4.3 Summary

5 Experimental Analysis and Results

5.1 Data Set for Implementation

5.2 Hardware and Software for Experiments

5.3 Experimental Methodology

5.4 Experimental Result and Analysis

5.5 Summary

6 Conclusion and Future Works

6.1 Conclusion

6.2 Future Work

Abbreviations

Appendix A

参考文献