一种新型的基于BERTCONTEXT的多轮对话自然语言理解模型

摘要

聊天机器人、智能客服如何实现准确的自然语言理解(NLU)，是人机对话中的一个非常重要的部分，也是近年来研究的一个热点。多轮对话的自然语言理解不仅仅要关注当前对话的语义信息，还需要关注对话时的历史对话信息。在多任务进行自然语言理解模型比较有代表性的是MT‑DNN模型，该模型主要考虑了针对这一般性NLU任务，但是针对多轮对话下的自然语言理解没有涉及，如果将多轮对话按当前语句进行NLU任务会缺少语义信息，导致语义信息缺失和不完整。本发明设计一个新型的基于BERTCONTEXT的多轮对话自然语言理解模型。将历史对话信息融入到当前对话信息，新型的BERTXONTEXT模型在多轮对话效果下比MT‑DNN模型精确度提高了1.4个百分点。