基于决策树的恶意程序行为检测系统Malware Sandbox设计与实现

摘要

反病毒厂商每天都要收到数以万计的可疑程序样本,工程师需要从海量可疑文件中找出真正的恶意程序,以提取病毒特征码,从而更新病毒特征数据库。本题的目标是开发出一套基于程序行为的恶意程序分析检测系统Malware Sandbox,用以高效快捷的判定样本是否恶意程序,并生成具体的行为报告,帮助反病毒工程快速的找到恶意程序和提取其病毒特征码。本文的基本思想是使用API hook技术提取程序运行过程中的API调用序列;然后根据API调用序列上下文关系提取程序高层行为数据;在训练阶段用大量的高层行为数据构建C5.0决策树分类模型;利用决策树分类模型模拟反病毒工程师的逻辑判断过程判断未知样本的恶意性。本研究主要内容包括：
　　 ⑴在长期的病毒样本处理过程中,总结出了110种程序行为特征和26种文件特征作为研究对象。
　　 ⑵现行行为检测系统CWSaadbox等都认为API调用序列反应程序行为,通过hook程序API的调用提取API调用序列,以此序列作为研究对象。本文不直接研究API调用序列,而是研究从API序列中根据API调用上下文的关联性提取的高层行为(High level behavior),以这种高层行为作为研究目标数据,用机器学习的方法构建恶意程序分类模型。这种结合了上下文关系的高层行为比单纯的API更加意义丰富,更能反应程序行为本质。采用微软Detours开发库来hook系统API,提取API序列。但是Detours在应用上有一个难点,必须为每一个API编写一个hook函数,这势必增加开发难度,使程序结构复杂化。本文在深入研究Detours hook原理后,改进了其原有的hook机制,改进后的detours只需要一个通用的hook函数就能处理任意API hook,不需要为hook一个新API而添加或者修改任何代码,实现“以数据驱动程序,而非代码驱动程序”。在高层行为提取时,将API调用表示成Prolog语言的事实定义,将高层行为表示成Prolog规则定义,充分利用Prolog逻辑处理能力,准确的提取程序行为。
　　 ⑶检测系统运行在一个VMWare虚拟环境中提取样本程序API调用序列。虚拟系统使用Qvix虚拟机自动控制技术对虚拟环境进行自动化控制,从而使得API序列提取过程可以无需人工参与,高效自动的完成。
　　 ⑷引入了典型正常行为特征用于分类决策。相比其他行为检测系统只关注恶意程序行为特征而言,Malware Sandbox引入的正常行为特征可以有效的降低检测误报率。实验得出Malware Sandbox恶意程序行为检测系统具有较高的检出率和较低的误报率,能快速的生产未知程序行为报告提供给反病毒分析人员进一步深入分析。然而本检测系统也存在无法解决的缺点:病毒程序的特殊性要求程序运行在虚拟环境中运行,然而有些病毒则可以通过反虚拟机技术逃避检测,从而影响了本系统的检测率。

目录

文摘

英文文摘

1 绪论

1.1 恶意程序的危害

1.2 病毒和反病毒技术的发展

1.3 恶意程序行为检测技术研究现状

1.4 本系统应用背景及意义

1.5 课题研究目标和研究主题

1.6 论文组织

2 恶意程序检测的理论和关键技术

2.1 PE文件结构

2.1.1 基本机构

2.1.2 导出表

2.1.3 获取API函数地址

2.2 Hook原理和Detours技术

2.2.1 API hook原理

2.2.2 Detour技术

2.2.3 Detours技术的改进方法

2.3 程序特征定义

2.3.1 程序特征收集

2.3.2 行为特征的结构化描述-

2.4 决策树理论

2.4.1 分类问题简述

2.4.2 决策树与决策树的建立

2.5 VMWare虚拟机控制技术Vix

2.5.1 Vix简述

2.5.2 Vix常用功能

3 系统设计和实现

3.1 系统概述

3.2 系统开发目标和要求

3.3 系统总体设计

3.4 API调用序列采集程序的实现

3.4.1 TraceMaster

3.4.2 采集模块Detect.dll

3.4.3 通用hook函数

3.4.4 API调用记录输出模块

3.5 程序特征提取

3.5.1 行为特征提取

3.5.2 文件特征提取

3.5.3 虚拟环境行为特征采集系统

3.5.4 建立特征库

3.6 基于决策树的恶意程序判定

3.6.1 决策树创建

3.6.2 系统输出模块

4 系统评测

4.1 效率分析

4.2 准确率测评

5 全文总结

5.1 本文的主要贡献和亮点

5.2 下一步的工作

参考文献

致谢