一种基于BERT的临床医学对话的意图识别办法

摘要

本发明公开了一种基于BERT的临床医学对话的意图识别办法，本发明涉及自然语言处理和问答系统领域，结合BERT模型与BiLSTM模型，形成新的IEBERT‑BiLSTM算法来进行问答系统意图的分类。本发明对传统的BERT模型进行了优化。引入记忆模块，将上一轮或者多轮的意图结果存储到记忆单元，在当前语句进行词向量之前，嵌入记忆单元的历史意图状态，再进行词向量化，增强了对邻次的输入数据进行综合考虑，保留了上下文的依赖关系；对传统的BiLSTM模型引入注意力机制，通过计算词与词之间的相似度去挖掘信息，在一定程度上降低噪点影响并提升用户意图的特征信息权值，提高模型的分类和预测效果。