基于模糊逻辑和神经网络的文本分类方法

摘要

当前互联网高速发展，使得海量的、内容丰富的文字信息以计算机可读的形式存在，并且其数量每天仍在急剧增加。为了有效的管理和利用这些分布的海量信息，基于内容的信息检索和文本挖掘已经成为备受关注的研究领域。文本分类技术是信息检索和文本挖掘的基础，其任务是在给定的分类体系下，根据文本内容判断其所属的类别。目前文本分类已经取得了丰硕的成果，但一般文本分类方法是将一给定文本映射到一个给定的文本类别，对于某些文本属于多类问题处理不太理想。 鉴于此，将模糊逻辑和神经网络相结合用于文本分类，该方法将训练文本的特征向量特征模糊化，同时将每个类中心向量特征模糊化，从模糊化的文本向量和模糊化的类中心得到该文本对每个类的距离，通过距离定义一个隶属函数，得到文本对每个类的隶属度。用模糊化的文本特征向量和该文本对每个类的隶属度向量训练神经网络。将测试文本特征向量模糊化后通过训练好神经网络可以得到该文本相对于每个类别的隶属度，通过文本属于每个类的隶属度就可以判断文本类别。 最后，给出了基于模糊逻辑和神经网络模型的一个具体实现，给出了相关数据结构和功能函数的说明。并将对两个样本集进行了测试评估。

目录

文摘

英文文摘

声明

第1章绪论

1.1研究背景及意义

1.2国内外研究现状

1.2.1模糊逻辑和神经网络结合的研究现状

1.2.2文本分类研究现状

1.3本文工作内容

1.4论文的组织

第2章文本分类综述

2.1文本数据的特点

2.2文本分类描述

2.3特征项类型

2.4文本预处理

2.5特征表示模型

2.5.1集合模型

2.5.2概率模型

2.5.3代数模型

2.5.4概念模型

2.6特征选择

2.6.1文本频率

2.6.2信息增益

2.6.3互信息

2.6.4卡方统计

2.6.5期望交叉熵

2.6.6证据权值

2.7评估方法

2.7.1保持法

2.7.2k-折交叉验证

2.8性能指标

2.8.1查全率、查准率和F1-测度

2.8.2宏平均、微平均

第3章常用文本分类算法

3.1朴素贝叶斯算法

3.2决策树算法

3.3基于关联规则的算法

3.4简单向量距离算法

3.5K近邻算法

3.6支持向量机算法

3.7基于投票的方法

第4章不平衡数据处理

4.1向下取样

4.2向上取样

第5章模糊逻辑理论和BP神经网络概述

5.1模糊逻辑理论

5.1.1隶属函数

5.1.2模糊集的表示

5.1.3模糊集的基本运算

5.2人工神经网络

5.2.1神经元模拟

5.2.2多层前馈神经网络

5.2.3反向传播算法

5.3模糊逻辑和神经网络结合

第6章分类器模型的实现

6.1模型的实现细节

6.1.1数据结构描述

6.1.2功能函数描述

6.2性能测试及其评估

6.2.1数据集与取样集

6.2.2参数选择与测试结果

第7章 结论与展望

7.1论文工作总结

7.2进一步研究展望

致谢

参考文献

攻读学位期间的研究成果