基于主题词分布的低价值新闻识别技术研究

摘要

提出一种识别网络新闻中主要内容与标题不相符或相关性不大的低价值新闻的算法.该算法先从新闻标题中提取出最能反映新闻主题的两个主题词,再分析主题词在正文中的分布情况,并计算出相关概率,以相关概率来判断是否为低价值新闻.实验证明该算法的识别率可达到85.71％,高于基于主题句相似度计算方法的72％,且该算法不受新闻正文长度的影响,是一种实用有效的识别方法.