模糊聚类在自动判别专家知识领域中的应用研究

摘要

专家信息的挖掘对建立全国性的专家信息服务平台尤为重要。论文通过对专家所发表的论文，承担的课题等非结构化数据进行挖掘，来自动判别出专家的知识领域。 论文在研究分析中文文本预处理的基础上，结合中文文本挖掘过程，研究文本挖掘框架的层次性，建立了专家知识领域自动判别系统的框架结构，并设计出框架结构中各个模块的接口，重点研究了模糊聚类算法。为了能准确地判断出训练集的最佳聚类数，本文通过深入分析多种聚类有效性评价指标函数的“紧凑度”和“分离度”，综合这些有效性函数的优点，对模糊聚类的线性有效性指标函数进行改进，使紧凑度和分离度更加明显。此外，由于文本数据维数高且零值多，相异性不明显，聚类效果不好，论文分析模糊属性均值算法和核技术，把核方法用于模糊属性均值算法中，给出了基于核的模糊属性均值算法。 在标准数据中进行实验，表明改进后的指标函数能更加稳定的判断出最佳聚类数，改进后的模糊属性均值算法的准确率和抗噪能力得到提高。并把改进后的指标函数和改进后的算法应用于专家知识领域自动判别系统框架的聚类模块中，提高了文本聚类的查准率和查全率。

目录

文摘

英文文摘

声明

第一章绪论

1.1选题背景

1.1.1专家信息系统

1.1.2数据挖掘在专家信息系统中的应用

1.1.3根据文档来判别专家知识领域

1.1.4利用文本挖掘来提取信息

1.2国内外研究现状

1.2.1数据挖掘在专家信息系统的研究现状

1.2.2文本挖掘的研究现状

1.2.3聚类分析的研究现状

1.2.4模糊聚类的研究现状

1.2.5聚类有效性的研究现状

1.3本文的主要工作

1.4本文的内容组织安排

第二章 中文文本预处理与模糊聚类理论

2.1中文文本预处理

2.1.1文本切分

2.1.2停用词

2.1.3特征表示

2.1.4特征选择

2.1.5文本间的统计指标

2.2模糊集合

2.2.1模糊集合基本概念

2.2.2模糊集合的运算

2.2.3模糊截集及其性质

2.2.4分解定理

2.2.5模糊关系与模糊聚类

2.2.6模糊等价关系与模糊相似关系

2.3本章小结

第三章 专家知识领域自动判别系统的框架设计

3.1中文文本挖掘模型的层次性

3.2专家知识领域自动判别系统框架

3.3各个模块的具体设计与实现

3.3.1预处理模块

3.3.2聚类模块

3.3.3分类模块

3.3.4后处理过程

3.4数据关系

3.5专家知识领域自动判别系统的工作流程

3.6模糊聚类

3.6.1模糊C均值算法介绍

3.6.2模糊C均值算法分析

3.7本章小结

第四章 模糊聚类的有效性指标改进与应用

4.1聚类有效性评价方法

4.1.1外部评价

4.1.2内部评价

4.1.3相对评价

4.2模糊聚类常用有效性指标

4.3线性组合有效性指标的改进

4.3.1改进的紧凑度公式

4.3.2分离度公式

4.3.3改进的权重因子

4.4求解最佳聚类数算法

4.5仿真实验

4.5.1测试数据集一(2类)

4.5.2测试数据集二(6类)

4.6有效性指标在专家知识领域自动判别系统框架中的应用

4.6.1数据

4.6.2测试结果

4.7本章小结

第五章 模糊属性均值算法的改进与应用

5.1属性均值算法

5.1.1稳态函数

5.1.2属性均值算法介绍

5.2模糊属性均值算法

5.2.1模糊属性均值聚类算法

5.2.2模糊权值m对模糊属性均值算法的影响

5.3核方法

5.3.1 Mercer定理

5.3.2核技术

5.3.3基于核方法的模糊C均值算法

5.4模糊属性均值算法的改进

5.5仿真实验

5.5.1有效性实验

5.5.2抗噪性实验

5.6模糊聚类算法在专家知识领域自动判别系统框架中的应用

5.7本章小结

第六章 结束语

6.1本文研究工作总结

6.2后续的研究工作与展望

参考文献

致 谢

攻读硕士学位期间完成论文情况及参加的科研项目情况