集成学习与特征工程在Webshell检测和网络入侵检测中的应用

摘要

随着互联网的快速发展，各种形式的网络攻击层出不穷，植入木马后门、通过网络发动DDOS攻击、入侵网站上传Webshell后获得服务器的执行操作权限等，本文主要针对网络安全问题中的入侵检测、Webshell检测，研究了集成学习与特征工程并将其在Webshell检测以及网络入侵检测进行应用。本文主要工作包括：　　在对近年来发展的Webshell检测技术进行分析的基础上，提出了多分类器集成模型。首先对文件进行文本分析，提取PHP文件的有效信息，包括静态字符、操作码等特征；其次，对不同的基分类器进行训练和分析，提出基于Stacking的集成模型。　　针对网络入侵检测，本文提出了一种基于递归特征消除(RFE)的集成学习入侵检测方法。入侵检测方法主要分四步：第一步，对获取到的数据进行预处理，从数据集中消除冗余和不相关的数据，以实现更好的资源利用，降低时间复杂度。第二步，基于特征工程从预处理数据中提取新特征，通过实验对比主成分分析(PCA)和RFE两种不同的特征工程算法，最终使用基于决策树的递归消除算法来提取特征；第三步,用提取的新特征训练相关的集成学习模型；最后，通过改进的Stacking技术进行模型融合并产生最终的输出。　　本文提出的Webshell检测技术经过多个GitHub开源项目数据集验证最终可以达到98.447％的准确度和99.227％的精确度，比传统的机器学习算法效率最少提高3%，与主流检测工具相比也具有出色的表现。网络入侵检测基于KDD CUP99标准数据集进行对比实验,分析现有入侵检测技术以及多种机器学习算法，实验结果表明，基于RFE的Stacking的方法可以提高入侵检测的多项技术指标，除了U2R准确率为98%的情况外，其他各种特征的准确率均高于99.4%。

目录

声明

1 绪 论

1.1 研究意义与背景(Research significance and background)

1.2 国内外研究现状（Research status at home and abroad）

1.3 主要研究内容（Main research content）

1.4 论文组织架构（Thesis organization structure）

2 相关理论和技术介绍

2.1 背景知识简介（Introduction to background knowledge）

2.2 特征工程（Feature engineering）

2.3 机器学习（Machine learning）

2.4 集成学习（Ensemble learning）

2.5 本章小结(Chapter summary)

3 特征工程

3.1 Webshell特征工程（Webshell feature engineering）

3.2 网络入侵特征工程（Network intrusion feature engineering）

3.3 本章小结（Chapter summary）

4集成学习模型

4.1基于Stacking分类器的构造（Construction of classifier based on Stacking）

4.2 Webshell检测模型（Webshell detection model）

4.3网络入侵检测模型（Network intrusion detection model）

4.4本章小结（Chapter summary）

5 实验测试与分析

5.1数据集介绍（Data sets introduction）

5.2评价指标（Evaluation index）

5.3基于Webshell检测的实验结果分析（ Analysis of experimental results based on Webshell detection）

5.4网络入侵检测实验结果与分析（Network intrusion detection experiment results and analysis）

5.5 本章小结（Chapter summary）

6 总结展望

6.1工作总结（Work summary）

6.2未来研究工作的展望（Prospects for future research）

参考文献

作者简历

致谢

学位论文数据集