基于递归神经网络的恶意程序检测研究

摘要

针对传统恶意程序检测判定效率低及自动分析恶意程序能力不足的问题,在深度学习环境下,研究利用递归神经网络进行恶意程序的检测分类的问题.首先,用快速模拟器(Quick Emulator,QEMU)捕获到恶意程序运行时所调用的API及其参数序列,经过行为抽象,形成恶意程序的特征序列.然后使用对数化的双线性模型(Hierarchical Log-bilinear Language Model,HLBL)将特征序列映射成固定长度的词向量,并将这些词向量合成递归神经网络(Re-cursive Neural Network,RNN)所需要的输入矩阵.通过对递归神经网络模型的训练,建立恶意程序的多层语义聚合模型,完成对恶意程序的分类检测.实验数据表明,递归神经网络模型在恶意程序检测分类中能够有效地检测出恶意程序,与传统机器学习算法相比,其检测率提高了17％.特别是在引入张量(Tensor)的概念,采用递归张量神经网络(Recursive Neural Tensor Network,RNTN)模型后,通过降低整体的参数数量和计算量,使检测率较RNN模型又提高了7％.实验数据充分说明,采用递归神经网络模型完全可以完成大数据环境下恶意程序的检测分类任务.