基于Spark与决策树算法的入侵检测研究

摘要

随着计算机互联网技术的发展和普及，互联网使用者不断增加，网络攻击类型层出不穷，给网络信息安全带来了巨大的挑战。入侵检测系统有助于保障网络安全以及计算机系统安全，为网络安全态势感知分析奠定基础。
　　在网络流量规模急速膨胀、网络入侵方式层出不穷、攻击手段变化多端的今天，传统的入侵检测技术，例如误用检测技术、异常检测技术以及人工智能检测技术已经难以满足当前网络安全的需求。其中，传统的误用检测技术对系统依赖性强并且难以维护；传统的异常检测技术准确率较低；传统的人工智能检测技术无法满足使用者对攻击意图的知晓。作为入侵检测的关键技术，异常流量识别方法是入侵检测研究的一个热点，高效的异常流量识别方法可以提升入侵检测系统的性能。针对上述问题，本文所做工作如下：
　　给出一种基于Spark和数据挖掘的入侵检测系统模型并设计原型系统。其可以实现在大数据环境下的入侵检测，使得检测系统可以处理海量入侵数据。该模型包括数据采集层、数据预处理层、数据挖掘层以及用户管理层。模型利用Spark在并行化方面的优势，使得在保证入侵检测准确率的同时提升其执行效率，并且有较好的可扩展性。
　　针对异常检测技术中的原始C4.5算法中属性选择偏向于具有更多数值的属性的特征，给出改进的算法BL4DT。该方法通过添加平衡因子以及融合数学极限思想对信息增益率计算方法进行重新设计，改善原算法中的属性选择偏向于多数值属性的现象，最终通过实验验证改进后的BL4DT算法对流量识别具有良好的识别效果。

目录

声明

第一章 绪论

§1.1 研究背景及意义

§1.2 国内外研究现状

§1.3 论文主要工作及创新点

§1.4 论文组织结构

第二章 入侵检测与机器学习算法的相关技术

§2.1 入侵检测的相关概念及功能概述

§2.2 机器学习概述

§2.3 基于数据挖掘的入侵检测技术

§2.4 大数据处理技术

§2.5 本章小结

第三章 基于Spark与数据挖掘的入侵检测系统模型

§3.1 总体架构

§3.2 分层描述

§3.3 原型系统设计

§3.4 本章小结

第四章 基于Spark与BL4DT的流量识别方法研究

§4.1 引言

§4.2 决策树算法的属性选择

§4.3 BL4DT算法设计

§4.4 结合BL4DT与Spark的算法研究

§4.5 实验测试与结果分析

§4.6 本章小结

第五章 总结与展望

§5.1 论文工作总结

§5.2 未来研究展望

参考文献

致谢

作者在攻读硕士期间主要研究成果