基于语义的垃圾邮件过滤技术的研究

摘要

电子邮件的兴起伴随着垃圾邮件的产生，随着互联网的普及和发展，电子邮件成为人们日常工作和生活中必不可少的交流方式，甚至已经成为文件和文档进行快速传输的主流载体。而垃圾邮件问题却日益严重并越来越深切的影响着人们的工作和生活，垃圾邮件不仅严重占用和浪费了网络带宽和计算资源，而且还带来各种各样的安全隐患，威胁着人们的信息安全。虽然人们已经提出了很多相应的解决对策和方法，但是垃圾邮件仍呈现出持续性的爆炸式增长的趋势。垃圾邮件的过滤拦截可以通过影响和控制电子邮件传递过程中的各个环节来实现。本文主要研究通过对电子邮件的正文内容进行语义识别来实现垃圾邮件过滤的方法和技术。垃圾邮件的内容和形式不管如何变化，必定会传达出某种语义信息，以这些语义信息作为垃圾邮件过滤和拦截的基础，会有效提高垃圾邮件拦截的效率和效果。
　　传统的特征选择方法大多是基于统计学的，并且总是将文本中的字、词、短语拆分开来做为单独的特征项来处理，将文本单纯的看作一堆字词的堆砌，抛弃了不同语法结构、语言环境、词汇搭配所表现出的语义信息。
　　本文提出了一种针对中文邮件的基于内容的垃圾邮件过滤技术，并在公共语料集TREC06c上进行了实验，获得了良好的结果。本文首先采用了逐层在文本上添加注释来提取语义信息的方法，然后将提取出的语义信息进行筛选后作为表示文本的特征项来构建决策树并最终生成分类器，实现了文本的识别和分类。这种方法的优势在于既能够准确表达文本的内容含义，又能够达到科学有效的降维效果。因此，直接选取词汇作为特征来表示文本，而提取文本的语义信息作为特征项来表示文本，是一种更加科学有效的特征选择方法。
　　采用语义作为特征项有两个明显的优势。一是，对文本内容的反映更准确，更有利于实现准确的文本分类；二是，与传统方法相比，特征项的数量显著减少了，运算压力更小。本文主要研究的第二个问题是在科学有效的筛选出特征项的基础上，运用决策树方法来完成垃圾邮件的多分类任务，因为实现垃圾邮件的多分类更加有助于实现邮件过滤和拦截的个性化，注重了用户隐私。从自然语言处理的方面来看，本文中介绍的这一方法作为一种针对文本内容的多分类技术，在自然语言处理中也具有巨大潜力。

目录

封面

中文摘要

英文摘要

目录

1 绪 论

1.1 研究背景与课题意义

1.2 主要研究内容

1.3 论文组织结构

2 垃圾邮件拦截基础

2.1 引言

2.2 垃圾邮件过滤和拦截的主要难点

2.3垃圾邮件过滤和拦截的方法概述

2.4 本章小结

3 基于语义的文本分类方法

3.1 引言

3.2 理论基础

3.3 研究现状

3.4 商业化的垃圾邮件拦截系统

3.5 邮件安全与隐私

4 基于语义的垃圾邮件识别方法

4.1 引言

4.2 从文本中抽取语义信息的实验过程

4.3 文本分类的过程和方法

4.4 实验结果

4.5 本章小结

5 总结与展望

致谢

参考文献