领域汉语理解中的智能分词系统的研究与实现及其在产品设计中的应用

摘要

本文设计并实现了领域汉语理解中的智能分词系统及其未登录词的识别模型，并将其应用于产品的设计过程，依托整个领域汉语理解系统实现了以自然语言形式描述的用户设计要求到计算机能够识别的概念设计要求或设计参数的转化。 首先，分析了现有的分词系统设计的优点及其存在的不足，提出了基于系统论的机械分词和基于语义理解的分词相结合的智能分词模型，并将此智能分词模块嵌入到整个领域汉语理解系统中。在机械分词阶段智能分词系统提供了所有可能的分词结果，并进行词法分析级别的歧义排除，在后续的汉语理解系统的语义分析模块中排除存在语义歧义的分词结果，最后利用体现其智能性的反馈模块将理解结果反馈回分词词库，实现分词系统和整个自然语言理解系统的自我完善和良性互动。其次，在未登录词识别模块本文主要介绍了中文人名和机构名的识别方法，提出了规则和统计相结合识别中文人名的方法，以及基于模板匹配识别机构名的方法。最后，结合实际将领域汉语理解中智能分词系统和未登录词识别模块应用于产品设计的用户需求分析领域，通过系统测试，结果比较令人满意。

目录

文摘

英文文摘

声明

第一章绪论

1.1引言

1.2自然语言理解概述

1.3中文自动分词

1.3.1中文自动分词在中文自然语言处理中的作用

1.3.2中文自动分词面临的难题

1.4未登录词的研究概述

1.4.1未登录词识别的现实意义

1.4.2未登录词识别的研究现状

1.5本文主要工作

第二章领域汉语理解中的智能分词模型的建立

2.1基于系统论的智能分词模型的提出

2.1.1传统分词方法的研究与分析

2.1.2基于系统论的智能分词模型的提出

2.2基于系统论的智能分词模型的设计和实现

2.2.1智能分词模型的核心设计思想

2.2.2智能分词模型的建立

2.2.3智能分词模型的模块分析

2.3本章小结

第三章未登录词处理模块

3.1未登录词概述

3.2未登录词处理模块概述

3.2.1基于领域的未登录词概述

3.2.2领域分词词典的设计

3.3领域数词短语和非汉字符号处理方法

3.3.1数词短语和非汉语符号的识别

3.3.2数词短语的识别方案流程

3.4中文未登录名词短语

3.4.1识别中文未登录名词短语的意义

3.4.2中文未登录名词短语识别的解决方案

3.4.3识别中文未登录名词短语的识别难点

3.5本章小结

第四章 中文未登录名词短语的识别

4.1问题研究的背景和实现意义

4.2规则与统计相结合的算法识别中文人名

4.2.1姓氏人名用字分析

4.2.2真实语料中识别中文姓名的上下文规则

4.2.3统计与规则相结合算法的提出

4.2.4潜在姓名汉字串的频率统计

4.2.5中文人名自动识别的基本步骤

4.2.6识别人名的关键步骤和主要流程

4.2.7测试结果分析

4.3基于模板匹配的机构名识别

4.3.1引言

4.3.2机构名的组成分析

4.3.3机构名的识别

4.3.4机构名各组成部分的识别

4.3.5机构名的识别流程

4.3.6机构名的边界条件

4.3.7实验结果及分析

4.4本章小结

第五章智能分词在产品设计中的应用

5.1产品设计中的领域汉语理解

5.2领域汉语理解中智能分词和未登录词识别模型的建立

5.3智能分词和未登录词识别模型在产品设计中的实际应用

5.4本章小结

第六章结束语

致谢

参考文献