面向专业领域的在线主题检测方法

摘要

本发明公开了一种面向专业领域的在线主题检测方法，得到预处理的文本集的文本向量矩阵，并从文本集中提取词典；对文本向量矩阵进行建模；计算文本d对主题θ_k的混合权重p(θ_k|d)和每个主题主题θ_k中特征词出现的频率p(ω|θ_k)；得到两文本d_i,d_j之间相似度，文本间基于主题模型的主题距离定义为文本向量的相对熵距离，计算相似度矩阵；压缩文本集，得到新文本样本集；计算新文本样本集的相似度矩阵，并根据此相似度矩阵选择偏向参数p；对上述聚类结果合并处理，产生新的聚类结果；计算原文本集中所有文本与压缩后已经分类出的文本的距离，进行分类；输出文本集主题以及最终聚类结果。与现有技术相比，本发明于采用更优化的聚类算法，提高了聚类结果准确率和效率。