计算机应用于词频统计的算法研究

摘要

首次提出自适应词额统计算法,该算法突破传统的思维模式,排除了在词频统计中预先设定庞大词库、对不同文章建立统一标准的复杂性,而以目标文章为基础,根据每篇文章的主题,动态生成切合该目标文章的统计标准,从而提高词频统计的效率;其基本原理是以文章为独立单位,确定一个关系场,在场中,从主标题出发,以关系微量为基本元素,以文章整体即关系场为计算区间,进行迭代累加,以组成文中各种固定组合,并对其进行记录与分析,将重复一定次数的固定组合上升为词,该词的集合即为本算法所求;最终以软件实现该算法思想,并进行了百篇文章的统计试验;实验结果表明,该算法具有一定的准确性、稳定性,提高了效率.