基于网络处理器的垃圾邮件过滤系统

摘要

随着互联网的普及，传统的纸质信件已经逐渐被高效、低成本的电子邮件所取代。然而，随之而来的垃圾邮件问题也日趋严重。基于内容的垃圾邮件过滤方法是国内外研究的热点，支持向量机、贝叶斯、Windows和KNN等是其中较为出色的方法，它们有各自优缺点。基于内容的过滤方法在训练邮件样本以及过滤邮件时往往需要耗费大量的时间。 网络处理器是随着网络带宽不断增大，对数据处理的速度要求越来越高的环境下诞生的。拥有多个处理器，针对网络数据处理的指令集以及多级存储结构等特点，使得网络处理器能够高效、便捷的处理2—7层的网络数据。 本文在网络处理器上实现了支持向量机和贝叶斯这两种基于内容的垃圾邮件过滤系统。主要工作如下： 1．介绍了电子邮件相关的协议和标准以及反垃圾邮件技术的现状；分析了支持向量机以及贝叶斯理论在垃圾邮件过滤中的特点。 2．在IXP2400上设计并实现了基于支持向量机和贝叶斯的双分类器垃圾邮件过滤系统。在保证过滤邮件的准确性前提下，利用网络处理器强大的并行处理能力，提升过滤垃圾邮件的速度。 3．搭建实验平台，并针对Ling—Spam语料库对系统进行了性能测试，并对实验结果进行分析。

目录

文摘

英文文摘

声明

第一章绪论

1.1垃圾邮件的研究背景

1.2本文的主要工作及意义

1.3本文的内容安排

第二章垃圾邮件过滤技术概述

2.1电子邮件相关协议和标准

2.2电子邮件过滤技术概述

2.2.1基于关键字的过滤

2.2.2基于黑白名单的过滤

2.2.3基于规则的过滤

2.2.4基于内容的过滤的过滤

2.3电子邮件的表示

第三章SVM和Bayes理论

3.1 SVM理论

3.2 Bayes理论

第四章网络处理器

4.1网络处理器(Network Processor,NP)概述

4.2 Intel网络处理器IXP2400的硬件结构

4.3 Intel网络处理器的IXA软件开发框架

4.4网络处理器上程序设计模型

第五章基于网络处理器的垃圾邮件过滤系统的设计与实现

5.1系统模型

5.2 offline模块

5.2.1特征项选择模块

5.2.2构造状态转移表模块

5.2.3邮件表示模块

5.2.3 Scaling模块

5.2.4训练模块

5.3 online模块

5.3.1 online子模块设计原则

5.3.2接收模块和发送模块

5.3.3预处理模块

5.3.4 Scaling模块

5.3.5预测模块

5.4 online与offline模块的结合

第六章系统性能测试与分析

6.1网络处理器的安装配置

6.2系统测试环境

6.3判别系统的性能测试与分析

6.3.1 SVM单独判别的性能

6.3.2 Naive Bayes单独判别的性能

6.3.3两者共同的准确率

6.4多微引擎多线程性能测试与分析

6.4.1预处理模块单、多线程性能比较

6.4.2 scaling模块单、多线程性能比较

6.4.3预测模块单、多引擎性能比较

6.4.4系统整体性能分析

第七章结束语

参考文献

附录

攻读硕士学位期间的研究成果

致谢