基于字边界特征的中文抽词模型研究

摘要

中文抽词是中文信息处理中最基本的任务之一。目前，传统的中文抽词技术主要采用基于统计的抽词方法，取得了较好的结果，但仍有提升的空间。基于这种现状，本文提出了一种改进型抽词模型。
　　 论文首先通过总结归纳传统的抽词算法，设计了基本抽词模型，提出了基本抽词模型中的抽词特征的挑选策略，构词评价策略，选词策略，过滤算法等概念的标准流程和模块功能。并通过对基本抽词模型的原理上的分析得到了改进基本抽词模型的几个关键点。
　　 在基本抽词模型的基础上，引入了相应的评价标准，针对性的设计了改进型选词特征的挑选策略，设计了相应的选词策略以及实现方案，改进后的过滤算法设计，以及针对不频繁词汇的启发式算法。本文根据相关理论提出了基于通过多步迭代完成抽词的理念，针对这个理念，设计了相应的基于字边界抽词特征的一整套改进型抽词模型的具体实现。
　　 实验部分以Bake-off2005提供的训练数据为基础，首先分析了采用字边界特征作为抽词特征的可行性，接着通过采用合理的选词算法生成候选词集合，并通过过滤算法对候选词进行筛选，最后根据启发式算法挖掘语料中更多潜在的词语。最后实验结果表明该方法在准确率、召回率和F-measure等方面都得到一定程度的提高。

目录

声明

摘要

插图索引

附表索引

第1章 绪论

1．1 研究背景与意义

1．2 研究现状分析

1．2．1 中文抽词的发展现状

1．2．2 中文抽词的主要问题

1．2．3 中文抽词的主要算法

1．2．4 中文抽词的模型分析

1．3 本文的研究内容

1．4 论文组织结构

1．5 本章小结

第2章 统计抽词算法

2．1 基于词频的抽词算法

2．1．1 N-gram模型

2．1．2 字符串共现

2．2 基于互信息的抽词算法

2．3 基于卡方统计量的抽词算法

2．5 本章小结

第3章 基本抽词模型

3．1 抽词算法的基本分析

3．2 基本抽词模型

3．2．1 抽词特征

3．2．2 预处理模块

3．2．3 构词评价模块

3．2．4 选词模块

3．2．5 过滤模块

3．2．6 基本抽词模型的设计

3．3 对于基本抽词模型的分析

3．4 本章小结

第4章 改进型统计抽词模型

4．1 抽词结果的三种标准

4．2 构词评价模块的改进

4．2．1 构词特征集合

4．2．2 构词评价模块与选词模块的改进

4．2．3 过滤模块的改进

4．2．4 启发式模块的设计

4．3 改进型统计抽词模型

4．4 本章小结

第5章 改进后的自动抽词模型的实现

5．1 模型实现的设计分析

5．2 字边界特征

5．3 字分布特征

5．4 相关度特征

5．5 基于阀值的选词策略

5．6 字边界过滤算法

5．7 启发式算法

5．8 构词估计模块

5．9 实验设计描述

5．10 实验结果及其分析

5．11 本章小结

总结与展望

参考文献

致谢

附录A 攻读学位期间主要成果

附录B 攻读学位期间所参与的项目