领域短语词典构建方法

摘要

本申请公开了一种领域短语词典构建方法，包括：挖掘短语；构建领域词库；构建词典模型。挖掘短语包括：将原始数据进行预处理和分词，随后对分词结果采用相邻词频短语挖掘方法，提取出句子中所有可能出现的短语集合。构建领域词库，包括：使用TF‑IDF算法训练短语集合得到带权重的词，再通过权重阈值将词划分为领域相关词和无关词。本申请的领域短语词典构建方法，运用统计词频和词语权重量化短语与领域相关性程度，将深度学习网络与构建领域词典方向相结合，显著提升了领域词典的健壮性，在消费品领域词典构建上有良好的表现，提升了消费品缺陷领域词典的构建效果，能够达到较高的正确率、召回率和F1值。