半监督在线增量自学习异常检测方法研究

摘要

在深入分析现有基于监督学习和非监督学习方法的缺点后,提出了一个新颖的基于K-means与Markov模型相结合的半监督异常检测方法.半监督方法的学习样本包括已标示类别的样本和未标示样本,并且通过对已标示样本的学习来指导对未标示样本的学习来提高识别率.方法首先将经过标示的(正常的)系统调用序列投影到高维空间进行有监督聚类后,利用Markov模型来学习聚类间的时序关系,建立起正常行为的初始模型.由Markov模型产生的状态序列计算状态概率,根据状态序列概率来评价进程行为的异常情况.正常行为模型由2种关系确定:①空间分布关系(聚类);②空间的时序关系(Markov模型).在初始模型的导引下对未标示的序列进行学习,利用迭代过程对模型进行改进.实验表明,该算法能够在已标示样本较少的情况下通过对未标示样本的学习来改善模型的检测性能,达到在线增量学习的目的.