基于机器学习的Web安全检测方法研究

摘要

近年来,随着Web(万维网)应用的快速发展和其本身不受防火墙限制的优势,越来越多的传统的应用都转成了Web的应用形式。Web的普及,也带来了针对Web的攻击的爆发。入侵检测是防御攻击的主要手段,但传统的误用检测的将每一种攻击的特征手动编码成规则并逐一检测,难以应对快速增长的攻击类型,已经显露出明显的弊端;建立正常的行为模式,将偏离正常模式的行为视为攻击的异常检测研究思路逐渐显示出优势,也越来越受到重视。这种方法认为异常的攻击行为和正常的访问行为在行为模式上具有较大差异,正常的行为模式也较为固定和容易学习。这种方法常采用机器学习和数据挖掘中的模型和算法来建立正常行为模式的模型和检测方法,这种方法优点在于可以有效的应对新的未知攻击方式。本文据此思路,对基于机器学习的Web入侵检测进行了多方面的研究。
　　 本文提出了一种基于隐马尔科夫模型的语法检测模型。隐马尔科夫模型适合用于正则语法的描述,用隐马尔科夫模型表示的语法模型采用语法模型对样本的匹配程度作为区别正常和异常行为的度量标准,可以有效地学习正常的访问行为。算法结合贝叶斯最大后验概率的原则,给出了模型泛化的最优标准,使得语法模型不仅可以识别训练集中的样本,还可以识别与训练集中样本相似的其它正常样本。
　　 隐马尔科夫模型的语法检测模型具有很高的模型复杂度,导致学习和检测过程中也具有很高的计算复杂度。针对该问题,本文提出了一种以DFA(确定有限状态机)代替隐马尔科夫模型的检测方法。这种方法大大简化了语法结构,也简化了语法的学习、泛化过程。另外,包括隐马尔科夫模型在内的很多检测模型都需要额外的分类策略辅助完成对样本的最终检测,而DFA的结构既是语法描述结构,也是一个高效的分类器,可以独自完成检测分类,简化了检测机制。实验证明,这种模型不但可以简化学习检测过程,提高实用价值,同时能够很好的保持语法模型的检测性能。
　　 本文对基于语法的检测模型做了一个总结和比较。对主要的语法模型从系统复杂度、训练/检测特性、模型相互的内在联系等各个方面做了系统的分析,并在实验中给出了验证。
　　 本文基于异常访问样本只占总访问量一小部分的规律且正常样本具有较好聚类特性的特点,提出了一种基于聚类的无监督学习检测方法。这种方法免除了繁杂的训练样本的准备工作,直接在混有正常和异常样本的样本集合中通过聚类将样本集分为正常和异常的两类。算法还给出了基于最小误差原则的聚类停止标准。实验结果表明这种方法能达到很好的检测效果。
　　 由于异常的攻击类型、形式多样,层出不穷,单一种类的检测模型无法有效地检测实际中可能含有多种攻击类型的网络数据流。如何组合现有的多种检测模型对复杂的攻击数据进行更为有效的检测成了一个亟需解决的问题。本文针对该问题,提出了一种多模型融合的检测框架。本文方法将多个模型的异常估计值投影到统一的高维特征空间中,利用成熟的SVM分类器学习和分类样本。实验表明这样不仅可以提高检测性能,同时还能扩展可检测的攻击类型范围。