递归神经网络研究综述

摘要

递归神经网络(RNN)因具存储特性,可以处理前后输入有关系的序列数据,故广泛应用于文本音频、视频等领域.当输入间隙较大时,RNN存在短期记忆问题,无法处理很长的输入序列,而长短期记忆(LSTM)能很好地处理长期依赖性问题.自LSTM提出以来,几乎所有基于RNNs的令人兴奋的结果都是由LSTM实现的,因此LSTM成为深度学习的焦点.综述首先简述了RNN以及LSTM及其几种变体的基本工作原理及特点,然后介绍了RNN和LSTM在某些领域中的应用,最后分析并总结了RNN未来的发展方向.