基于Active Learning的中文分词领域自适应

摘要

在新闻领域标注语料上训练的中文分词系统在跨领域时性能会有明显下降.针对目标领域的大规模标注语料难以获取的问题,本文提出Active learning算法与n-gram统计特征相结合的领域自适应方法.该方法通过对目标领域文本与已有标注语料的差异进行统计分析,选择含有最多未标记过的语言现象的小规模语料优先进行人工标注,然后再结合大规模文本中的n-gram统计特征训练目标领域的分词系统.本文采用了CRF训练模型,并在100万句的科技文献领域上,验证了所提方法的有效性,评测数据为人工标注的300句科技文献语料.实验结果显示,在科技文献测试语料上,基于Active Learning训练的分词系统在各项评测指标上均有提高.