中文垃圾邮件过滤技术的研究与应用

摘要

随着Internet应用在全球的快速普及，电子邮件以其成本低廉、传播迅速的特点，已经成为人们日常生活中通信、交流的重要手段之一。然而，一些人出于个人目的，利用Internet滥发垃圾邮件，不仅浪费了大量的网络资源，而且给整个社会带来很大危害。其中中文垃圾邮件也占很大的比重。目前，随着垃圾邮件过滤技术的不断发展，已经有一些垃圾邮件过滤系统在英文环境中取得了较好的过滤效果，但在中文环境中，这些过滤系统的过滤效果均不够理想，不能满足用户的要求。
　　 本文针对中文垃圾邮件，在对电子邮件系统工作原理进行分析的基础上，对文本分类、邮件编解码、中文分词以及特征选取等做了详细分析，并将DFR方法应用于特征选取过程，取得较好的实验效果。对几种常用的过滤算法进行了研究，分析了它们在中文环境中存在的问题，根据各算法的优缺点，提出了一种中文环境中的垃圾邮件综合过滤方法，首先通过白名单过滤，将在白名单中的正常邮件直接接收，然后通过第二层基于规则的过滤方法，保证误判率为0，接着通过第三层基于统计的过滤方法过滤，尽量提高查全率，并在linux下设计与实现了该中文垃圾邮件过滤系统。

目录

文摘

英文文摘

论文说明：图表目录

声明

第一章 引言

1.1 研究背景

1.1.1 垃圾邮件现状

1.2 垃圾邮件的起源与历史

1.3 垃圾邮件的定义与泛滥原因

1.3.1 垃圾邮件的定义

1.3.2 垃圾邮件的特点及常见内容

1.3.3 垃圾邮件泛滥的原因

1.4 垃圾邮件的危害

1.5 论文研究意义

1.6 本文内容介绍

第二章 电子邮件系统及过滤原理

2.1 电子邮件传送过程

2.1.1 电子邮件系统代理

2.2 电子邮件系统的组成与工作模式

2.3 电子邮件系统涉及的主要协议

2.3.1 简单邮件传输协议(SMTP)

2.3.2 POP3协议

2.3.3 WebMail方式

2.3.4 IMAP4协议

2.4 信件格式的协议

2.5 MIME协议

2.6 本章小结

第三章 反垃圾邮件技术研究

3.1 反垃圾邮件技术的发展历程

3.2 反垃圾邮件技术

3.3 垃圾邮件过滤技术

3.3.1 根据过滤位置划分

3.3.2 根据过滤依据划分

3.4 本章小结

第四章 中文垃圾邮件过滤研究

4.1 中文垃圾邮件过滤研究

4.1.1 黑白名单过滤

4.1.2 基于规则的过滤

4.1.3 基于统计的贝叶斯过滤算法过滤

4.2 综合过滤方法

4.3 邮件过滤系统学习部分

4.4 邮件解码

4.5 中文分词技术

4.6 特征选取

4.6.1 特征选取算法

4.6.2 本文采用的特征选取方法

4.6.3 特征选取过程

4.7 建立Spamassassin中文规则和贝叶斯特征词库

4.8 本章小结

第五章 中文垃圾邮件过滤系统的实现与测试

5.1 概述

5.2 系统设计

5.2.1 过滤位置

5.2.2 过滤过程

5.2.3 系统实现

5.3 邮件过滤系统测评部分

5.3.1 邮件训练集和测试集的获取

5.3.2 实验结果分析

5.4 本章小结

结束语

参考文献

致谢