融合关键词和语义特征的汉越文本相似度计算方法

摘要

本发明涉及融合关键词和语义特征的汉越文本相似度计算方法，属于自然语言处理技术领域。本发明包括步骤：提取汉语、越南语文章的关键词，将越南语关键词翻译为中文，计算出两篇文章中的共现关键词，得到词的相似信息；然后利用共现关键词抽取出与其紧密相关的句子进行拼接来表征文本，并去除无关的句子以压缩文本；再利用知识蒸馏训练出汉越BERT模型对压缩后的文本进行编码，以获得上下文语义特征；最后将词的相似信息和上下文语义特征融合实现文本相关性判断。本发明提升了汉‑越文本相似度计算的准确率。