一种基于税务咨询问题的热句排序方法

摘要

本发明涉及一种基于税务咨询问题的热句排序方法。本发明考虑了关键词频次对热度的影响，对原始文本进行正则匹配、去停用词等方法预处理，然后通过统计的词语的频次数据建立词袋模型，并映射词语得到句子向量。计算出句子向量的模值表示句子的热度，并通过一个修正参数修正对长短不齐的句子的热度。通过计算句子两两之间的jaccard相似度和词向量模型的句子向量余弦相似度对数据集去重。并给重复句子给予额外的热度值奖励。结合词语和语义两个层面的重复程度，最终得到按照热度排序的文本，更加准确、高效。