融合互注意力机制与BERT的中文问答匹配技术研究

摘要

问答匹配任务是问答系统关键技术之一,针对传统问答匹配模型对中文词向量表示不够精确、文本间交互特征提取不充分的问题,文章提出基于注意力的双向编码表征问答匹配模型.在中文向量表征上采用迁移学习引入预训练中文BERT模型参数,并在训练集上进一步微调获取最优参数,通过BERT模型对中文字向量进行表示,从而解决传统词向量模型在中文词汇上表征能力不足的问题.在文本交互层面,首先利用互注意力机制提取问题与答案的交互特征,并将生成的交互特征与注意力机制的输入向量形成特征组合;然后使用双向长短期记忆网络进行推理组合并降低特征维度,融入上下文语义信息;最后在中文法律数据集上进行测试.测试结果表明,该模型优于多项传统模型,与ESIM相比,在Top-1准确率上提高了3.55％,在MAP上提高了5.21％,在MRR上提高了4.05％.