设反垃圾邮件技术的研究和原型实现

摘要

本论文涉及的课题是“有关反垃圾邮件技术的研究和原形实现”,提出并研究了有关基于内容过滤的技术以及反垃圾邮件网段过滤系统的体系结构。邮件过滤技术具有重要的应用价值。具有关部门统计,在视频未能成为网络的主流业务以前,互联网70％以上的应用是电子邮件,每天14亿封电子邮件中,10%以上为垃圾邮件,占用大量网络资源、系统资源、存储资源。本文首先简要介绍了邮件协议、反垃圾邮件技术和Karhunen-Loeve算法、遗传算法以及贝叶斯算法。然后在此基础上,我们把以上提到的算法应用在本反垃圾系统中,文中着重对垃圾邮件的汉字文本分词、特征提取,K-L算法降维,并通过遗传算法选择特征子集,降低了在邮件处理过程中的复杂性。其后采用贝叶斯算法及风险决策提高了系统的自适应能力,从而得到较高的邮件分类准确率。文章从系统分析、系统设计﹑系统实现和系统测试的顺序,对反垃圾邮件网段过滤系统的开发做了分析和讨论,并描述了反垃圾邮件的基本处理系统和控制台的设计与实现。最后,本文对垃圾邮件中的有害图像过滤进行了初步尝试性的探索。

目录

学位论文

第一章 引言

1.1 课题的背景

1.2 课题的特点

1.3 课题的意义和价值

1.4 本人所做的工作

1.5 本文内容安排

第二章 垃圾邮件和反垃圾邮件技术

2.1 垃圾邮件的危害及现状

2.2 垃圾邮件的定义及分类

2.3 垃圾邮件发送和反垃圾邮件技术

2.4 邮件系统协议

2.4.1 SMTP 协议邮件的格式

2.4.2 邮件协议及交互命令简介

第三章 K-L 算法和遗传算法的理论

3.1 Karhunen-Loeve 算法概述

3.1.1 K-L 展开式

3.1.2 K-L 展开式的性质

3.2 遗传算法概述

3.2.1 遗传算法简介

3.2.2 遗传算法中的部分术语

第四章 K-L 算法和遗传算法在邮件特征提取中的应用

4.1 汉字特征提取概述

4.2 基于遗传算法的垃圾邮件的汉字特征提取的算法分析

4.2.1 邮件特征值的形成

4.2.2 用K-L 法(Karhunen Loeve)特征提取

4.3 用遗传算法进行特征选择

4.4 时间复杂度和空间复杂度分析

4.4.1 分裂邮件词汇(特征元)分析

4.4.2 通过概率距离进行特征提取分析

第五章 贝叶斯理论及其在反垃圾邮件分类器中的应用

5.1 贝叶斯算法理论(决策和学习)

5.1.1 贝叶斯决策理论概述

5.1.2 几种常用的决策规则

5.1.3 贝叶斯学习概述

5.2 贝叶斯算法在分类器中的应用

5.2.1 邮件特征的贝叶斯学习

5.2.2 决策风险计算

第六章 系统的分析、设计及实现

6.1 系统分析

6.1.1 系统需求

6.1.2 系统模块简述

6.1.3 系统开发和应用环境

6.2 体系结构设计

6.3 功能结构设计

6.3.1 邮件包转发

6.3.2 邮件过滤

6.3.3 邮件转发

6.3.4 规则和通信

6.3.5 邮件学习和分类

6.3.6 控制台

6.4 系统实现

6.4.1 核心数据库表设计(部分)

6.4.2 核心函数设计

第七章 系统测试

7.1 引言

7.2 测试过程及结果分析

7.3 系统特点

7.4 测试结果

第八章 垃圾邮件中有害图像的识别技术的初步探索

8.1 垃圾邮件图像简述

8.2 垃圾邮件图像识别技术分析

8.2.1 垃圾邮件解码及JPEG 图像的提取

8.2.2 垃圾邮件图像特征的定义

8.3 邮件图像邮件的匹配和识别

8.3.1 图像的高维识别特征集

8.3.2 图像识别分类器的设计

第九章 结束语

9.1 全文总结

9.2 进一步工作

致谢

参考文献