长期记忆神经图灵机

摘要

可读写的外部记忆模块可以在事实的记忆和基于记忆的推理上扩充神经网络的能力.神经图灵机利用注意力机制设计了一种对内存模块的读写机制，并以循环神经网络作为控制器，实现了排序、复制等算法.为了在更广泛的应用(例如自然语言处理)中缩短训练时间或加快收敛速度，我们在神经图灵机的基础上设计了一种基于全局内存的读写机制，利用卷积运算提取全局内存特征.对于一些较长的序列任务，训练速度相对于神经图灵机提高了6倍，收敛速度也有所提升，在bAbi数据集中取得了更好的推理分类结果.