基于大规模语料库的古文词典构建及分词技术研究

摘要

古文献的研究有助于传统文化的继承与发扬,而古文分词则是利用自然语言处理技术对古文献进行分析的重要环节.当前互联网拥有大量古汉语文本和词典方面的数据资料,该文提出利用互联网大规模古文语料构建古文基础词典;进而通过互信息、信息熵、位置成词概率多特征融合的新词发现方法从大规模古籍文本中建立候补词典;最终将基础词典与候补词典融合,形成含有349740个字词的集成古文词典CCIDict.在CCIDict基础上,利用多种分词算法实现古文的分词.基于CCIDict的正向最大匹配算法与开源的分词器甲言比较后,F值提高了14％,取得了良好的效果,证明基于大规模古文语料库建立的古文词典,能够提供良好的古文分词效果.