基于规则和统计的组合类新词识别技术研究及其在机械产品设计中的应用

摘要

本文研究自然语言理解中的组合类中文新词识别，通过识别新词，使分词结果更加合理准确，结合自然语言理解系统的后续处理，最终通过对以自然语言形式表达的用户需求进行理解和分析，将分析结果转化成概念设计要求或设计参数，为后续设计提供支持。
　　本文首先分析了自然语言理解中几种常用的知识表示方法，阐述了概念从属理论在知识内涵和外延描述中的作用，以及自然语言理解研究中的统计模型，以此作为分析组合类中文新词识别的理论基础。其次，以语言学知识为理论依据，分析组合类中文新词的构词模式，明确了分类标准，将组合类中文新词分为三类:“单字串类型”、“后缀串类型”和“其他类型”;并通过字词禁用表、词性搭配禁用表、词缀表对候选词串进行筛选;同时，借助概念从属树模型，分析新词构成元素间的概念关联关系;然后收集候选词串的上下文信息，通过统计语言模型，分析组合元素的内部紧密程度和上下文依赖程度，采用内部词概率、互信息和左右信息熵作为统计方法识别新词的标准;总体上采用规则和统计相结合的方法进行组合类中文新词的识别。最后设计了组合类中文新词识别的整体流程，并通过机械设计实例，将组合类中文新词识别的分析模型应用在产品设计领域自然语言理解中。

目录

声明

摘要

第一章 绪论

1．1 引言

1．2 自然语言理解概述

1．2．1 自然语言理解简介

1．2．2 自然语言理解的发展现状

1．2．3 自然语言理解研究的主要方法

1．3 中文新词识别概述

1．4 本文的主要工作

第二章 知识表示及统计语言模型

2．1 常用的知识表示法

2．1．1 格语法

2．1．2 谓词逻辑

2．1．3 框架表示法

2．1．4 语义网络

2．1．5 概念层次网络理论

2．2 概念从属理论

2．2．1 概念的内涵和外延

2．2．2 概念从属树

2．3 自然语言理解中的统计语言模型

2．4 本章小结

第三章 组合类中文新词识别的分析研究

3．1 新词的分类

3．2 组合类中文新词特征分析

3．2．1 组合类中文新词的构成模式

3．2．2 组合类中文新词识别与中文分词的关系

3．3 组合类中文新词识别的规则方法

3．3．1 分词碎片

3．3．2 禁用词表和词性搭配规则

3．3．3 组合类中文新词的抽象概念关系

3．4 组合类中文新词识别的统计方法

3．4．1 候选词串上下文信息收集

3．4．2 内部词概率

3．4．3 后缀串词缀信息

3．4．4 互信息

3．4．5 左右信息熵

3．5 规则方法和统计方法的结合

3．6 本章小结

第四章 组合类中文新词识别的实现

4．1 自然语言理解的整体框架

4．2 组合类中文新词识别模板设计

4．3 组合类中文新词识别的实现流程

4．4 统计数据分析

4．5 组合类新词识别实例

4．6 本章小结

第五章 组合类中文新词识别在凸轮机构设计中的应用

5．1 机械设计领域自然语言理解的系统组成

5．2 凸轮机构系统

5．3 基于自然语言理解的凸轮机构需求分析

5．4 凸轮机构需求分析原型系统知识库的建立

5．5 凸轮机构需求分析中的组合类中文新词识别

5．6 本章小结

总结和展望

致谢

参考文献