高带宽下垃圾邮件检测技术和方法的研究

摘要

随着Internet技术的迅猛发展,电子邮件正成为一种快捷,经济的现代通信技术手段,但电子邮件在为人们提供极其方便的通信手段的同时也为垃圾邮件、病毒、恶意程序或敏感内容邮件的传播提供了重要的载体,对系统安全造成了严重的威胁.因此如何解决好电子邮件的安全问题已经成为有着重大现实意义的课题.本文根据当前的现实需求,对垃圾邮件识别的各项关键技术进行了针对性研究,实现了一个基于并接方式的网络级垃圾邮件检测系统.该系统的体系结构具有可扩展性,能够适应于各种带宽网络的垃圾邮件检测,同时支持对于垃圾邮件的自动发现的功能.本文针对垃圾邮件种类未知和数量巨大的特点,采用对邮件内容加密散列算法,以实现对于垃圾邮件的自动发现,由于垃圾邮件数量巨大造成存储极其不方便,在该系统中采用MD5加密存储方法,对散列算法的效率和性能都有了很高的提升.在垃圾邮件的识别技术方面,本文提出了基于有限自动机多模式匹配的快速识别模型.在模型中,基于有限自动机的思想实现了一个高性能关键词匹配算法,有效地提高了垃圾邮件检测系统对于垃圾邮件的识别能力.另一方面,为了能够提高识别准确率,本文采用贝叶斯算法来对邮件内容进行分析;采用粗糙集算法对邮件消息头进行分析,得到了很好的测试结果.通过在不同背景流量下的测试,得到结论:该邮件检测系统能够满足高带宽的要求.

目录

文摘

英文文摘

第1章绪论

1.1课题背景

1.2本课题研究的目的和意义

1.3国内外相关技术研究现状

1.3.1垃圾邮件的概念

1.3.2基于客户端的邮件过滤技术

1.3.3基于服务器端的邮件过滤技术

1.3.4基于地址的垃圾邮件过滤技术

1.3.5基于关键字的垃圾邮件过滤技术

1.3.6基于潜在语义索引的垃圾邮件过滤技术

1.4反垃圾邮件对策和技术要点

1.4.1反垃圾邮件的对策

1.4.2反垃圾邮件的技术要点

1.5本文主要研究内容

第2章邮件检测系统体系结构

2.1引言

2.2垃圾邮件检测系统体系结构

2.2.1功能描述

2.2.2模块层次结构

2.2.3模块程序流程

2.3性能优化方法

2.4本章小结

第3章粗分析模块

3.1引言

3.2 MD5算法

3.2.1算法简介

3.2.2算法描述

3.2.3效率分析

3.3快速散列算法

3.4邮件信息提取

3.5有限自动机技术

3.5.1多模式匹配算法

3.5.2多模式匹配算法思想

3.5.3匹配算法的分析

3.5.4匹配算法的应用

3.6本章小结

第4章规则匹配和贝叶斯算法识别技术

4.1引言

4.2规则匹配简介

4.2.1基本原理

4.2.2规则库介绍

4.3贝叶斯模型

4.3.1贝叶斯网

4.3.2贝叶斯分类器

4.3.3贝叶斯邮件分类器

4.3.4邮件贝叶斯分类器实现

4.4实验及结果分析

4.4.1 Spamassassin简介

4.4.2 SpamAssassin配置和使用

4.4.3基于贝叶斯网的垃圾邮件识别技术实验结果

4.4.4基于规则匹配和贝叶斯算法垃圾邮件识别技术实验结果

4.5本章小结

第5章基于粗糙集的垃圾邮件识别技术

5.1引言

5.2粗集的基本原理

5.2.1粗糙集相关定义

5.2.2决策规则发现原理及算法

5.3电子邮件粗糙集模型

5.3.1粗糙集建模思想

5.3.2粗糙集建模

5.4实验及结果分析

5.4.1基于粗糙集垃圾邮件识别算法实验结果

5.4.2细分析模块测试结果

5.4.3高带宽下系统测试结果

5.5本章小结

结论

参考文献

攻读学位期间发表的学术论文

哈尔滨工业大学硕士学位论文原创性声明

哈尔滨工业大学硕士学位论文使用授权书

致谢