一种改进的基于海量智能分词的中文自动分词算法

摘要

本文提出了一种基于海量智能分词的中文自动分词新算法,该算法不依赖于现有词库,通过文本过滤和词频统计的方法进行中文自动分词,可以发现不限长度和不限领域的新词。自编软件进行的测试结果表明该方法有助于提高中文自动分词的准确度。