辅助古诗词研究的唐诗语料库的构建

摘要

随着自然语言处理技术的研究不断深入，利用计算机来处理中国古代文学经典在国内受到了越来越多的关注。这些方面的研究都依赖于以机器学习为基础的语料库数据驱动。由于实际情况的需要，大多语料库都是基于现代汉语语言的，对于古代文学方面带有标注的语料库资源匮乏，所以建立专有的辅助古代文学研究的语料库尤为重要。
　　本文以《全唐诗》作为标注对象，通过使用自然语言处理技术，结合唐诗句法、格律等特点，构建了一个全唐诗分词及词性标注语料库系统，并实现了人工校对的功能。文章首先分析了唐诗的特有性质，建立了相关知识库，并且利用词频、互信息和共现度等参数来建立全唐诗二字词表。然后结合句法和格律特点对唐诗进行切分。最后使用了隐马尔可夫链进行了词性标注。在此基础上，详细阐述了建立辅助古诗词研究的唐诗语料库系统的构建过程，并通过构建全唐诗系统进行语料库辅助实验。最后对语料库切分和标注的结果进行了分析和总结。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 引 言

1.1 研究背景及意义

1.2 国内外研究现状

1.3 主要研究内容及工作

1.4 论文组织结构

第2章 全唐诗二字词表和相关知识库的构建

2.1 全唐诗二字词表的构建

2.1.1 全唐诗语料库抽词中“词”的界定

2.1.2 典型词的提取方法

2.1.3 基于互信息模型的抽词方法

2.1.4 二字词表的构建

2.2 全唐诗相关知识库的构建

第3章 全唐诗语料库的构建

3.1 全唐诗词的特点

3.1.1 全唐诗副词构词特点

3.1.2 全唐诗词语形态特征

3.1.3 全唐诗中词性的转化类型

3.2 特殊复合词判别标注规则

3.3 词性标注方法

3.4 全唐诗切分标注语料库的构建

3.4.1 熟语料库切分标注规则设计

3.4.2 诗体的判别

3.4.3 音韵标注

第4章 实验结果与分析

4.1 系统设计

4.1.1 系统的开发环境与语料规模

4.1.2 系统功能

4.2 实验结果

4.2.1 切分结果与分析

4.2.2 标注结果分析

第5章 总结与展望

5.1 工作总结

5.2 后续工作展望

参考文献

致谢