基于图片特征和分类器融合的垃圾邮件过滤技术研究

摘要

目前电子邮件获得了广泛应用,与此同时,垃圾邮件却给人们带来了极大的损害。垃圾邮件的新变种不断出现,反垃圾邮件技术面临挑战。如何针对新变种研究新的过滤方法成为该领域的热点。传统的垃圾邮件过滤技术大多是针对文本型垃圾邮件,对层出不穷的图片垃圾邮件束手无策,因此图片垃圾邮件过滤技术研究迫不及待。
　　 针对垃圾邮件过滤,特别是图片垃圾邮件过滤,本文主要做了以下工作:
　　 (1)在基于内容的过滤技术基础上,针对文本型和图片型垃圾邮件提出一个多种方法相结合的过滤方案。通过D-S合成规则将多个分类器组合,发挥各自优势,从而克服了单分类器失效问题,提高了过滤系统的可靠性和稳定性。
　　 为了使组合分类器获得良好的效果,分类算法选择至关重要。为此,本文针对文本型垃圾邮件,融合了最大熵模型和支持向量机(Support Vector Machine,SVM)分类算法,降低由单分类器受影响而引起的误检和漏检风险。
　　 (2)本文重点针对图片垃圾邮件,建立了多层过滤体系,融合了基于图片特征的相似度测量和基于后验概率的SVM分类方法。在图片特征提取中,重点分析了两种方法:尺度不变特征变换算法(Scale Invarient Feature Transform,SIFT)、图片底层和高层特征提取技术。通过降低特征向量维数,本文对SIFT’算法进行了改进,仿真实验结果表明改进后的方法与基于周长复杂度的噪声检测相结合能够大大减少时间开销,而又不会降低算法性能。此外,在对图片特征进行详细分析的基础上,采用颜色、梯度、元数据等较为稳定的特征作为SVM的输入进行分类。实验结果表明这些特征具有很好的代表性,使得图片分类的准确性有所提高。
　　 由于多种分类器的差异性,本文在分析D-S合成规则的基础上,采用改进的规则合成方法。考虑到证据问的冲突性对分类器融合结果的影响,本文使用Gc合成规则融合多种分类结果。最后的仿真实验表明Gc合成规则所得决策结果更为合理。