大型语料库上的快速文本聚类方法

摘要

本发明属于关系数据库技术领域，具体为一种大型语料库上的快速文本聚类方法。由于文本数据通常具有高维和稀疏的特征，单纯基于数据相似度的聚类方法难以获得较好的效果，而基于生成模型的方法如狄利克雷多项混合模型在表现上更加突出。本发明通过使用狄利克雷分布的对称先验和构造索引来进行优化，使总时间仅依赖于文档中不同单词的个数，从而在篇幅较长的文档中也能高效运行。