一种基于BERT嵌入的软件编程领域实体识别方法

摘要

本发明涉及一种基于BERT嵌入的软件编程领域实体识别方法，属于自然语言处理、深度学习和软件资源挖掘技术领域。首先，利用自然语言处理技术对软件问答社区StackOverflow的数据集进行文本解析和预处理，结合领域分析确定软件编程领域实体类别，并基于Bart自然语言标注工具对样本数据进行人工标注获得训练集和测试集；然后，通过BERT预训练语言模型获得输入序列的语义和向量化表示，并结合BiGRU双向循环神经网络对输入序列进行模型训练；最后，通过CRF条件随机场对输入标签序列建模，从而得到概率最大的标签序列，实现软件编程领域的实体识别。本发明基于深度学习训练方法，能在少量标注样本数据的情况下，有效识别软件编程领域特定的实体。