基于领域本体的汉语共指消解及相关技术研究

摘要

共指是自然语言篇章和对话中普遍存在的现象。共指使篇章主题更加突出，表述更加连贯与简洁；但它也给自然语言处理带来了不确定性。共指消解是消除这种指代形式带来的不确定性的过程。随着基于篇章真实文本处理需求的大量涌现，共指消解显示出了前所未有的重要性，成为自然语言处理领域的研究热点。 本文旨在围绕汉语共指消解及相关命名实体识别任务，考察领域本体对其提供具体支持的方式与作用，并结合机器学习方法进行验证。本文研究侧重于方法论探索与实证分析相结合的路线，提出了一套基于领域本体结合机器学习模型的方法，主要工作如下： 1.提出了一种构建领域本体的TPSU方法，该方法将本体构建分成两个阶段，六个处理层次。在具体生成本体过程中，提出了TMR三模型化准则，有效解决了单一树型上下位结构向多元网状关系结构的过渡问题，通过创建实例，丰富和完善了领域本体的知识结构。上述方法与原则具体直观，可以运用于其他同类本体构建，操作性强。 2.构建了一个包含12类核心概念、78种属性特征、13种概念、属性关系、4,392条实例的移动电话领域本体MPO。目前尚无此类本体文库。MPO中大多数核心概念可以直接复用，具有推广和实用价值，有效发挥了本体知识可共享的特性。 3.将命名实体分成常规实体和领域实体(DNE)两类。在领域命名实体识别(DNER)中，重点考察了领域本体对汉语命名实体识别的支持方式，提出了一种基于领域本体形式化实例获取词性规则模板的方法，结合统计机器学习模型有效实现了领域命名实体的识别，F值达到92.36％。对比实验也表明上述模板能够有效提高识别准确率且性能稳定，在领域实体边界和特殊形式实体识别中作用明显。 4.探讨了领域本体对汉语共指消解的作用，提出了一种基于领域本体获取语义类特征的方法，通过特征的自动标注，获取作为候选先行语的名词短语的语义类特征，结合机器学习方法进行领域命名实体基础上的共指消解处理，F值达到86.49％。实验表明领域语义类特征有效提高了共指消解准确性指标，使F值最终提高了7.36％。 5.针对目前汉语零形回指研究主要集中在语言学和心理学角度的现状，立足于本文现有成果，提出了一种包含三个具有实际操作性算法的汉语零形共指消解模型。在定义的共指片断内部，通过将零形代词先行语识别出来，填补到缺省位置，完成零形共指消解。

目录

文摘

英文文摘

声明

1绪论

1.1概述

1.1.1指代与共指的含义

1.1.2指代与共指的分类

1.1.3指代消解与共指消解

1.2共指消解研究意义

1.3共指消解研究现状

1.3.1国内外研究现状

1.3.2基本研究方法及分析

1.3.3共指消解技术分析及展望

1.4本文研究工作

1.4.1主要研究目标

1.4.2主要研究成果

1.5本文组织

2本体概述

2.1本体基本问题

2.1.1本体定义

2.1.2本体分类

2.1.3本体基本特征

2.1.4本体与一般术语的区别

2.2领域本体定义及构建

2.2.1描述性定义

2.2.2形式化定义

2.2.3构建原则

2.3本体主要技术方法

2.3.1本体表示语言

2.3.2本体构建工具与开发环境

2.4本体研究意义

2.5本体研究现状

2.5.1国内外研究情况

2.5.2国内外重要的本体系统

2.5.3基于本体的自然语言处理研究

2.6本体研究中存在的困难与总体评价

2.6.1构建本体存在的困难

2.6.2总体评价

2.7本章小结

3移动电话本体MPO(Mobile Phone Ontology)构建

3.1构建意义

3.2构建原则

3.3构建工具的选择

3.3.1使用开发工具的优点

3.3.2 Protégé简介

3.4构建方法

3.4.1常见的本体构建方法

3.4.2本文采用的方法

3.5 MPO构建步骤与流程

3.5.1命名问题

3.5.2分类模型确定

3.5.3核心概念确定

3.5.4属性概念确定

3.5.5特征模型确定

3.5.6概念关系模型确定

3.5.7属性分面(facets)确定

3.5.8实例创建

3.5.9领域本体表述形式化

3.5.10生成领域本体分析

3.6本章小结

4基于领域本体的汉语命名实体识别

4.1基本概念

4.2相关研究

4.3问题形式化描述

4.4命名实体识别机器学习算法

4.4.1条件随机域定义

4.4.2 CRFs的参数估计

4.4.3 CRFs的矩阵描述和计算

4.4.4模型训练中的动态规划

4.5汉语命名实体识别研究

4.5.1命名实体类型

4.5.2建模粒度选择

4.5.3标注集确定

4.5.4语料问题

4.5.5评测标准

4.6常规命名实体识别

4.6.1人名、地名实体识别

4.6.2组织机构名实体识别

4.6.3实验

4.7领域命名实体识别DNER(Domain Named Entity Recognition)

4.7.1语料处理

4.7.2特征选择

4.7.3基于CRFs的DNER

4.7.4基于领域本体的词性规则模板生成

4.7.5结合规则模板的DNER处理流程

4.7.6实验

4.8本章小结

5基于领域本体的汉语共指消解

5.1本章研究的问题域

5.2共指消解评测算法

5.2.1MUC评测算法

5.2.2 B-CUBE算法

5.2.3 ACE评测算法

5.2.4 CEAF评测算法

5.2.5评测算法小结

5.3汉语共指消解机器学习算法研究

5.3.1概述

5.3.2决策树算法

5.4基于领域本体的共指消解研究

5.4.1实验语料的标注问题

5.4.2汉语DNE共指消解流程

5.4.3名词短语语义类生成

5.4.4特征向量生成

5.4.5实验

5.4.6汉语零型共指问题研究

5.5本章小结

6结束语

6.1全文总结

6.2下一步工作

致 谢

参考文献

附录