面向机器理解的文本内容表示与复杂度度量研究

摘要

文本内容的表示与复杂度的度量是文本机器理解与网络服务的核心问题，也是一项涉及到语言学、计算机科学、心理学、逻辑学、认知学等多门学科的难度较大而又极富挑战性的研究课题。目前的文本知识表示模型普遍缺少认知机理的支持，不符合人脑思维实际的认知模式；同时，缺少有效的与人类认知过程中的主观感受相结合的文本内容复杂度的度量方法。为了解决上述问题，本论文借鉴人类概念学习的最新成果，并结合认知心理学对人类文本理解的研究成果，建立了一种面向机器理解的文本内容的表示方法；并且基于该方法，提出了一种文本内容复杂度的度量方法来为用户提供更好的知识服务。本文具体内容与贡献如下： 1．为了研究基于概念代数表示的文本内容的幂级数表示方法，本论文重点解决了三个基本问题，即：文本底层知识的快速机器自动获取方法；文本关联规则中噪音和冗余知识的消除方法和文本内容幂级数的表示与简化。 1)本论文采用TF-IDF公式提取文本领域关键词，然后选取文本中属于领域 关键词且出现频率最高的前N个单词或词组作为文本关键词；结合经典的Apriori算法和滑动窗口的方法，获取文本关联规则。 2)以实验的方法，选取合适的滑动窗口大小、滑动距离、关联规则的置信度与支持度，以提高关联规则提取的质量；结合现有的关联规则去除冗余的方法，提出了文本关联规则的冗余消除方法。 3)基于人类概念学习的代数表示，提出了文本内容的幂级数表示方法；根据文本中关联规则的分布和人类概念学习的线性假设定理，提出了机器文本理解的二阶假设。 2．为了研究基于文本内容幂级数表示的文本复杂度度量方法， 1)基于人类概念学习的代数复杂度计算，提出了文本复杂度的度量方法。 2)基于人类文本理解过程中对背景知识的加入和认知心理学中关于增加记忆的“交互作用表象”(interacting images)技术，提出了文本复杂度度量的改进算法。 基于幂级数表示的文本内容复杂度度量在文本知识流的评价与度量，网络资源的个性化推荐、在线问答系统、e-Business中的商品推荐、以及e-Science中的知识服务中具有很好的应用。 本论文的研究可以为文本知识的表示与获取、文本复杂度的度量等研究提供一种新的思路与方法；通过结合基于概率统计的传统语义分析方法和认知科学的观点，促进认知科学、语言学和人工智能的多学科交叉，从而更有效的解决文本机器理解的问题。

目录

文摘

英文文摘

声明

第一章绪论

1.1 研究背景

1.2 相关研究工作

1.2.1 文本机器理解的研究现状

1.2.2 人类概念学习理论的研究现状

1.2.3 认知心理学关于人类文本理解的研究成果

1.2.4 文本知识表示模型的研究现状

1.3 研究内容

1.4 本研究的创新点和意义

第二章基于概念代数的文本内容的幂级数表示

2.1 文本内容的布尔表达式与布尔复杂度

2.2 因果理论对机器文本表示的理论意义

2.3 文本内容的线性表示

2.4 文本内容的幂级数表示

2.4.1 基本定义

2.4.2 文本低层知识的快速的机器自动获取方法

2.4.3 文本关联规则中噪音和冗余的消除

2.4.4 文本断言和基本关联规则的选取

2.4.5 面向机器理解的文本内容的幂级数表示

2.5 小结

第三章基于文本内容幂级数表示的文本复杂度度量

3.1 人类概念学习的代数复杂度计算

3.2 基于文本内容幂级数表示的文本复杂度的度量

3.2.1 关联规则的复杂度与数量对文本理解难度的影响

3.2.2 文本中省略关联规则的获取

3.2.3 基于幂级数表示的文本内容复杂度的计算

3.3 文本复杂度计算的验证实验

3.3.1 单篇文本的验证实验

3.3.2 200篇文本的抽样验证实验

3.4 文本内容的幂级数表示的简化

3.4.1 各阶关联规则在文本复杂度中的比重实验

3.4.2 机器文本理解的二阶假设

3.5 文本复杂度度量的改进

3.5.1 关联规则的内容对文本复杂度的影响

3.5.2 文本复杂度的改进算法

3.5.3 实验

3.6 小结

第四章文本复杂度度量在文本知识流中的应用

4.1 文本知识流概述

4.1.1 文本知识流的基本定义

4.1.2 模糊认知图的相关定义

4.1.3 文本知识流的动态生成算法

4.1.4 文本知识流生成的具体实例

4.2 文本复杂度度量在相似知识流中的应用

4.2.1 相似知识流的评价与选择

4.2.2 文本复杂度度量在Web智能浏览中的应用

4.3 小结

第五章总结与展望

5.1 工作总结

5.2 研究展望

附录

参考文献

攻读硕士期间参与的项目

攻读硕士期间发表的论文

致谢