一种基于情境嵌入和知识蒸馏的企业画像标签抽取方法及装置

摘要

本发明涉及企业画像和自然语言处理技术领域，公开了一种基于情境嵌入和知识蒸馏的企业画像标签抽取方法装置，将企业情境信息向量化后与企业文本向量拼接，得到融合企业情境信息的企业文本；构建主干网络进行模型训练，构建小规模TextCNN枝干网络内嵌到前11层Transformer的主干网络上，将融合后的企业文本传入Bert模型发现其隐藏特征，再传入BiLSTM网络和最大池化层进一步发现其上下文特征和局部特征；使用主干网络指导枝干网络进行知识蒸馏和标签抽取。本发明使用企业情境嵌入可以有效提高标签抽取的准确率，同时拥有知识蒸馏的深度学习模型可以提高标签抽取效率，使其在实际场景中更好的应用。