基于AIS和Bayes网络的垃圾邮件过滤研究

摘要

如今电子邮件已经成为人们日常生活中通信、交流的重要手段之一，但电子邮件在为人们提供极其方便的通信手段同时，垃圾邮件的危害也日益严重，网民平均收到的垃圾邮件数量已经超过了正常邮件。因此，如何解决好垃圾邮件的过滤问题是一项有着重大现实意义的课题。 人工免疫系统强大的自体非自体识别(免疫识别)能力是垃圾邮件识别“天然”的解决办法，灵敏的免疫反馈机制为识别多变的垃圾邮件提供了解决之道。如何将人工免疫系统的这些仿生机制，应用于垃圾邮件过滤，是本文将要解决的主要问题。 本文首先分析了电子邮件的工作原理、垃圾邮件的危害及过滤研究现状，并对垃圾邮件过滤的常用语料库，和垃圾邮件过滤方法的评价体系做了介绍。在分析现有垃圾邮件过滤技术的基础上，尝试将人工免疫系统和贝叶斯网络相结合应用于垃圾邮件的过滤。 其次，分析了人工免疫系统和贝叶斯网络的基本原理。对人工免疫系统，不仅分析了它的仿生机理，还给出了免疫算法的基本架构，和常用的基于群体的免疫算法；对贝叶斯网络，给出了基本的贝叶斯公式，分析了贝叶斯网络的拓扑结构，和条件独立性假设。 最后，设计了一个基于AIS和Bayes网络的垃圾邮件过滤算法，分析了其中的关键问题，并给出了解决办法；在此基础上设计了一个基于AIS和Bayes网络的垃圾邮件过滤模型，并以此模型为基础设计了一个垃圾邮件过滤仿真器；最后在PU1Bare语料上做了垃圾邮件过滤仿真实验，并取得了较好效果。

目录

文摘

英文文摘

长沙理工大学学位论文原创性声明和版权使用授权书

第一章绪论

1.1研究背景

1.2论文研究的内容

1.2.1创新之处

1.2.2研究目标

1.2.3本文的主要工作

1.3本文的结构

第二章垃圾邮件过滤研究现状

2.1电子邮件简介

2.1.1电子邮件的工作原理

2.1.2电子邮件系统的有关协议

2.2垃圾邮件及其危害

2.3垃圾邮件过滤的类型

2.3.1 MTA过滤

2.3.2 MDA过滤

2.3.3 MUA过滤

2.4垃圾邮件过滤技术分类

2.4.1基于IP地址的垃圾邮件过滤

2.4.2基于手工规则的垃圾邮件过滤

2.4.3基于内容的垃圾邮件过滤

2.5垃圾邮件的常用语料库

2.5.1 PU1语料

2.5.2 Ling-Spam语料

2.6垃圾邮件过滤方法的评价体系

2.7小结

第三章人工免疫系统原理

3.1人工免疫系统简介

3.1.1人工免疫系统的定义

3.1.2 AIS的生物原型

3.2 AIS的仿生机理

3.2.1免疫识别

3.2.2免疫记忆

3.2.3克隆选择

3.2.4多样性

3.2.5分布性

3.2.6进化

3.3免疫算法

3.3.1免疫算法基本架构

3.3.2否定选择算法

3.3.3肯定选择算法

3.3.4克隆选择算法

3.4小结

第四章贝叶斯网络基本原理

4.1贝叶斯网络基本定理

4.2贝叶斯网络的拓扑结构

4.3条件独立性假设

4.4贝叶斯文本分类算法的基本原理

4.5小结

第五章基于AIS和Bayes网络的垃圾邮件过滤

5.1电子邮件的预处理

5.1.1文本的表示方法

5.1.2电子邮件的语义信息及其VSM向量表示

5.1.3邮件文本的特征提取算法

5.2基于AIS和Bayes网络的垃圾邮件过滤方法的基本思想

5.3基于AIS和Bayes网络的垃圾邮件过滤算法

5.4关键问题处理

5.4.1抗原的结构设计、生成抗原

5.4.2抗体的结构设计、生成抗体

5.4.3亲和力的定义和计算

5.5免疫反馈和抗体变异

5.5.1 Normal抗体细胞变异

5.5.2 Spam抗体细胞变异

5.6小结

第六章基于AIS和Bayes网络的垃圾邮件过滤仿真器的实现

6.1基于AIS和Bayes网络的垃圾邮件过滤模型

6.2基于AIS和Bayes网络的垃圾邮件过滤仿真器的实现

6.2.1细胞结构类的设计

6.2.2公共功能类的设计

6.2.3邮件过滤类的设计

6.2.4抗体生成类的设计

6.3实验结果及对比分析

6.4小结

结论

参考文献

致谢

附录(攻读硕士学位期间发表论文目录)