基于Bi-LSTM-CRF模型的焊接专利新词发现

摘要

针对焊接专利中前沿技术挖掘的问题,提出一种基于改进词向量(Time word-embedding)、双向长短期记忆网络(Bi-LSTM)和条件随机场(CRF)相结合的新词发现模型(T-Bi-LSTM-CRF)。该模型首先对专利数据的每个词提取语义词向量和时间特征向量并进行拼接;然后通过Bi-LSTM层获得专利数据的长距离上下文特征,再通过CRF层捕获序列标签的转移特征,自动完成特征标注;最后通过训练已经内嵌时间特征的损失函数引导该模型学习焊接新词。焊接专利新词发现实验结果表明,该模型的平均F1值为91.45%,召回率为90.64%,验证了该模型的有效性;同时该模型性能显著优于Bi-LSTM-CRF、曾谁飞提出的Bi-LSTM-CRF方法,F1值分别提升5.76%和2.93%。