Research on Hot Words Discovery and Clustering Algorithm Based on Rules and Statistics

摘要

热点词汇（以下简称热词）是一种普遍的网络词汇现象，反映了特定一段时间内人们普遍关注的问题，对热词进行快速识别和定向跟踪，可以快速地了解民情、了解社会动态和发展趋势，更快捷更准确地抓住舆论导向，从而进行正确地引导和宣传。因此，如何挖掘热点词汇将是中文信息处理中的一个重要研究课题。 目前，对于热词的检测方法总体可以分为两大类：基于规则和基于统计。基于规则的方法的优点是准确率高，但灵活性差，规则维护困难；基于统计的方法的优点是灵活性好，可移植性强，但需要对大规模语料进行训练，会产生大量的垃圾串，准确率并不是很高。因此本文提出了一种基于规则和统计相结合的热点词汇发现方法，并在此基础上建立热点词汇搜索...