一种基于信息熵的主题模型优化方法

摘要

本发明公开了一种基于信息熵的主题模型优化方法，属于文本分类技术领域。本发明的主要技术方案为：涉及一种主题模型的构建和利用所构建的主题模型计算文档内容的主题相关度，具体利用信息熵和互信息，从主题语料库中挖掘出能唯一表征主题的特征词项，将满足阈值条件的特征词项作为主题词库，训练主题模型，计算文档内容的主题相关度。本发明尤其适用于主题关键词项彼此依赖的文档内容主题相关度计算，根据信息熵等统计量能够挖掘出高粒度、强特征的主题特征词项，有效聚合特征词项，实现非独立主题的文档内容优化分类。