基于语言模型的中文话头自足句识别方法

摘要

根据话头自足句理论进行标点句的话头自足句识别任务,探究语言模型在该任务中的应用效果,进一步将该任务划分为单个标点句的话头自足句识别和标点句序列的话头自足句识别.在单个标点句的话头自足句识别任务中,对该任务在形式上进行了完整的定义,将其形式化为机器阅读理解任务.从结果来看,在《围城》语料上取得了83.46％的准确率,在"鱼类百科"语料上的准确率达到91.21％.在标点句序列的话头自足句识别任务中,利用单个标点句的话头自足句识别任务中训练好的模型,以流水线的方式进行标点句序列的话头自足句识别,在"鱼类百科"语料上的准确率达到82.03％.实验结果表明,提出的方法能够有效地提高中文话头自足句识别的准确率.