基于循环神经网络的对话系统记忆机制

摘要

针对基于循环神经网络(recurrent neural network,RNN)的对话系统缺乏上下文记忆能力的问题,提出一种带有额外记忆能力模块的深度学习模型。以序列到序列框架为基础,增加一个基于双向循环神经网络(Bi-directional RNN)和全连接神经网络的记忆选择模块。通过把当前对话和上下文输入到记忆选择模块中得到一个选择值,比较选择值与阈值决定是否把上下文语句也加入到当前对话的序列到序列结构的编码端,使模型在需要使用上下文信息的时候可以选择性地获取,使得模型具备记忆能力。实验结果表明,使用相同的语料库进行训练,加入了记忆能力模块的模型相比没有记忆能力的模型明显具备了结合上下文的记忆能力,可以生成更准确的回复。