特定领域词聚类的研究及用MDL原理对词聚类的研究

摘要

该文分为两部分,两部分都是对自然语言理解中的词聚类进行研究:第一部分是面向特定领域的词聚类研究,实现了K平均聚类和分层聚类算法,并根据词语搭配关系构造了一种新的词聚类向量空间模型,并对结果进行了测试分析.第二部分是基于名词形容词共现的词聚类研究,我们看待这个词聚类问题是对名词形容词联合概率的估算.该文实现了基于MDL原理的模拟退火算法,并对名词和形容词对聚类,并对聚类结果进行了分析.该文的研究结果表明:词词搭配关系的统计抽取具有一定的语法语义特征;基于MDL原理的模拟退火算法应用于词聚类的研究可以自动构建词类.

目录

摘要

Abstract

第一部分特定领域的词聚类的研究

第一章绪论

1.1本论文的选题背景

1.2词聚类与数据挖掘的关系

1.3聚类分析和分类分析的比较

1.4词聚类历史回顾

第二章词聚类涉及的相关领域

2.1前言

2.2自然语言理解

2.3语料库技术

2.4数据挖掘

2.5人工神经网络

3.1数据预处理技术

3.1空间向量模型技术

3.4聚类分析

3.5系统评价

4.1系统结构

4.2实验的流程

4.4本文使用的聚类方法

4.5相似度计算

4.6聚类结果样本

4.7聚類结果分析

4.8系统测试和问题探讨

4.9总结

参考文献

第二部分用MDL原理对词聚类的研究

第一章用MDL：原理进行词聚类的若干关键技术的讨论

1.1 MDL原理

1.2离散随机事件的概率与理想编码长度

1.3模拟退火算法

1.4 MDL原理的优点

第二章本文词聚类系统搭建

2.1系统结构

2.2共现数据选取和窗口的设定

2.3 MDL建模

2.4模拟退火算法

第三章系统实验和结果

3.1本文选用MDL原理的理论依据

3.2本文选用模拟退火算法的理论依据

3.3系统实验

3.4结果分析

3.5总结

参考文献

附录1：(名词聚类结果)