模糊聚类算法及其在中文文本聚类中的研究与实现

摘要

近年来，伴随着互联网络的快速发展与壮大，各种各样形式的信息也随之而来，在为用户提供大量信息的同时，也给用户从中获取有价值的信息增加了更多的困难。因此如何能够从如此众多的信息中获取到对用户有价值的信息已经成为了当今重要的研究课题。在众多信息中，信息量以文本形式存在的方式最为常见，因此，文本处理已经成为用户获取有价值信息的重要手段。其中，模糊聚类算法也已成为文本处理研究的热点问题之一。目前，经典的FCM算法是比较常用的模糊聚类算法之一，此算法具有较好的理论基础支持，在文本处理和模糊识别等方面都得到了广泛的应用。但是，经典的FCM算法也存在三方面缺点：(1)该算法对孤立点数据比较敏感。(2)算法的效果的好坏很大程度上取决于参数初值选取。(3)FCM算法容易陷入局部极值点，而得不到最优解。
　　 本文针对第一个缺点通过对数据的隶属度进行加权修改进行改进。本文通过构造模糊相似矩阵并结合统计学知识来解决第二个缺点，以达到良好的初始值选取的效果。对于第三个缺点，引入进化策略优化算法并结合了FCM构成混合型聚类算法使此类问题得以解决。通过以上的研究和改进的基础上，本文提出了新的模糊聚类算法NFCM和NES-FCM，并与经典的FCM算法进行了测试比较。通过实验结果表明新的模糊聚类算法NFCM和NES-FCM提高了聚类的精确性和有效性，并且充分发挥了FCM算法的局部搜索和全局搜索能力。最后，本文设计并实现了基于模糊聚类的中文文本聚类模型，并在该模型中对改进的模糊聚类算法进行了研究和应用，实验结果表明改进后的模糊聚类算法在中文文本聚类处理上具有良好的表现，同时表明了该中文文本模型是有效的。

目录

文摘

英文文摘

第1章 绪论

1.1 选题的研究背景和意义

1.2 文本聚类和文本分类

1.2.1 文本分类和文本聚类的差异

1.2.2 文本分类与文本聚类的共同点

1.3 文本聚类和分类的研究及进展

1.4 文本分类和聚类存在的难点及特点

1.5 本文的主要内容

第2章 聚类算法综述

2.1 聚类分析简介

2.2 主要聚类算法分类

2.2.1 基于划分的聚类方法

2.2.2 基于层次的聚类算法

2.2.3 基于密度的聚类算法

2.2.4 基于模型的聚类算法

2.2.5 基于网格的聚类算法

2.3 如何选择具体的聚类算法

2.3.1 聚类的类型

2.3.2 簇的类型及特征

2.3.3 噪声和离群点的考虑

2.3.4 数据对象的个数

2.4 本章小结

第3章 模糊理论与模糊聚类

3.1 模糊数学理论

3.2 模糊聚类分析

3.3 FCM算法及研究状况

3.4 本章小结

第4章 模糊C均值算法的改进研究

4.1 FCM主要的改进方向

4.2 对于FCM前2个缺点的改进

4.2.1 通过加权后降低孤立点的影响

4.2.2 新的初始值优选方式

4.2.3 NFCM算法的具体步骤

4.2.4 NFCM与FCM算法的实验结果比较

4.3 改变初始聚类原型的选取方式

4.4 基于进化策略优化算法的FCM算法NES-FCM

4.4.1 进化策略算法的基本原理

4.4.2 进化策略算法的设计

4.4.3 用进化策略算法求解聚类问题

4.4.4 NES-FCM算法

4.4.5 适应度函数

4.5 本章小结

第5章 基于模糊聚类的中文文本聚类的模型与实验结果分析

5.1 系统模型

5.2 系统实现及功能模块

5.3 实验设计方案

5.3.1 语料库

5.3.2 评价指标

5.3.3 性能分析

5.4 实验环境说明

5.5 实验过程及结论

5.6 本章小结

结论

参考文献

攻读硕士学位期间发表的学术论文

致谢