指令级恶意代码动态监控平台的研究与实现

摘要

随着互联网技术的飞速发展，网络安全领域越来越受到人们的关注和重视。在该领域中，恶意代码的威胁日趋严重，而新的恶意代码又层出不穷。因此，恶意代码分析技术的研究意义重大。恶意代码分析技术主要有两大关键技术，即行为监控技术和行为分析技术。行为监控技术是行为分析甚至恶意代码分析的基础，它为行为分析提供了重要信息和数据源。当前研究或已采用的主要监控技术有虚拟机仿真，API挂钩以及API跟踪等。虚拟机仿真实现复杂，且资源消耗很大，而后两者隐蔽性较差，难以躲过当前各种恶意代码的反分析、反调试技术。同时，传统的行为分析技术往往采用人工手动方式。因此当前迫切需要具有高效、可靠的恶意代码自动化分析系统。 在这种契机下，本文主要探索一种易于进行自动化分析的恶意代码行为监控方法，研究如何提供一个高效、隐蔽、安全的恶意代码动态监控平台。该平台主要提供一组相关接口，供恶意代码自动化分析系统调用，进行二次开发，从而完成恶意代码分析，为普通用户和网络安全专家提供强有力的分析工具。 本文首先结合当前分析技术，提出基于二进制程序的动态执行监控技术，它利用代码切片技术对二进制程序切片处理，不依赖于对汇编指令的模拟执行，具有快速的执行效率；在研究已知恶意代码各种自保护技术和反分析、反调试技术的基础上，设计具有隐蔽性的调试引擎，以利于整个监控平台的隐蔽性，并提供有效地监控机制；研究实现一个操作系统资源级虚拟执行环境，它提供一个满足计算机故障容忍和入侵容忍的，轻量级地真实且隔离的可执行环境；根据上述各种技术和设计思想，实现了恶意代码动态监控平台。文章最后给出了对该平台的实验和测试分析结果。测试结果表明，该平台基本达到了预期目的，为恶意代码分析提供了基础。 在本课题中，作者参与了课题的理论研究及分析工作，并负责该平台的系统架构设计及模块接口设计，合作完成系统的详细设计，并独立完成基于代码切片的指令级虚拟执行引擎CSXE以及进程通信IPC模块的设计与实现。

目录

文摘

英文文摘

声明

第一章绪论

1.1 研究现状

1.2 研究意义

1.3 主要研究内容

1.4 本文组织结构

第二章恶意代码及监控相关技术研究

2.1 恶意代码概述

2.1.1 定义及分类

2.1.2 恶意代码特点

2.2 intel指令编码概览

2.2.1 指令前缀

2.2.2 指令操作码

2.2.3 ModR／M字段

2.2.4 SIB字段

2.2.5 地址偏移

2.2.6 立即数

2.3 行为监控技术

2.3.1 虚拟机技术

2.3.2 API挂钩技术

2.3.3 API跟踪技术

2.4 程序切片技术

2.4.1 概述

2.4.2 定义

2.4.3 常用程序切片技术

2.4.4 程序切片技术的应用

2.5 本章小结

第三章恶意代码动态监控关键技术

3.1 基于二进制程序动态执行监控

3.1.1 技术背景

3.1.2 思想方法

3.1.3 技术方案

3.2 基于页面异常的隐蔽断点机制

3.2.1 技术背景

3.2.2 思想方法

3.2.3 技术方案

3.3 操作系统资源级虚拟执行环境

3.3.1 技术背景

3.3.2 思想方法

3.3.3 技术方案

3.4 本章小结

第四章动态监控平台总体架构

4.1 总体目标

4.1.1 研究目标

4.1.2 功能目标

4.2 总体架构设计

4.3 平台应用及处理流程

4.4 模块描述

4.4.1 基于代码切片的指令级虚拟执行引擎CSXE

4.4.2 隐蔽调试引擎Trais

4.4.3 反汇编引擎Disasm

4.4.4 操作系统资源级虚拟执行环境OSAL

4.4.5 进程通信IPC

4.5 本章小结

第五章动态监控平台详细设计与实现

5.1 平台功能结构详细设计

5.2 CSXE详细设计与实现

5.2.1 CSXE模块结构及处理流程

5.2.2 指令基本块构造

5.2.3 指令基本块预处理

5.2.4 指令基本块执行

5.2.5 CSXE主要数据结构

5.2.6 模块接口

5.3 IPC详细设计与实现

5.3.1 IPC模块结构及程序逻辑

5.3.2 数据结构

5.3.3 模块接口

5.4 本章小结

第六章实验与评估

6.1 指令级虚拟执行引擎测试

6.1.1 Windows平台下应用程序测试

6.1.2 Windows平台下恶意程序测试

6.2 虚拟执行环境测试

6.2.1 测试前系统资源状态

6.2.2 预期结果

6.2.3 测试结果

6.3 本章小结

第七章总结与展望

7.1 工作总结

7.2 未来展望

致谢

参考文献

攻硕期间取得的研究成果