面向聊天机器人的多注意力记忆网络

摘要

如何对多轮的对话历史进行建模和推理是构建一个智能聊天机器人的主要挑战之一.基于循环或门控的记忆网络已经被证明是进行对话建模的有效方式.然而,这种方式有两个缺点,一是使用复杂的循环结构,导致计算效率较低;二是使用代价较大的强监督信息或先验信息,不利于扩展和迁移应用到新的领域.针对上述问题,本文提出了一种端到端的多注意力记忆网络.首先,该网络采取结合词向量和位置编码的方式对文本输入进行表示;其次,使用并行的多层注意力在不同子空间捕获对话交互中的关键信息来更好地建模对话历史;最后,通过捷径连接的方式叠加多注意力层管理信息流,实现对建模结果的多次推理.在bAbI-dialog数据集上的实验表明,该网络可以有效地对多轮对话进行建模和推理,而且具有较好的时间性能.