降维分类方法在入侵检测中的研究与应用

摘要

本文的目的在于解决高维度数据的实时分类问题。大数据环境下，都会出现有运算效率，大数据量和实时性要求的分类问题，例如，如何从髙维度的网络数据中实时检测出入侵行为；如何从公司大规模的交易业务数据中检测出异常交易行为；如何从电商销售数据中通过对用户的历史行为对用户进行分类等。常用的分类方法有KNN，SVM,贝叶斯分类，决策树等，该类方法分类的准确率及实时性仍有欠缺，尤其是在髙维情况下难以有效处理。本文提出一种基于正交投影的降维分类方法，能够高效地训练分类模型和快速分类。
　　该方法先对数据集进行预处理，剔除噪声数据和缺失值；选择参与分类的属性，构建多分类坐标平面集，通过将各坐标平面进行栅格化，使用二维矩阵进行表示。然后对各属性进行线性映射，将多维数据集投影至栅格中进行统计，用多组二维矩阵记录各类型数据栅格化后的投影频数。训练集数据投影完成后，对各矩阵表示数值型数据的方向进行高斯模糊处理，得到一系列密度矩阵。将待分类数据向密度矩阵进行投影，获得投影点位置的数值，通过比对投影后的矩阵信息，获得其分类信息。若保留模糊前的矩阵，通过将增量的数据集叠加投影到矩阵上，再进行高斯模糊，则能实现增量机制。
　　传统分类方法试图在空间或更高阶的空间中寻找分类面，而本文方法则从数据在各投影面上的分布密度出发，通过综合考虑各概率密度进行分类判断。该方式较完整地保留了数据的边缘密度，因此能较好地还原数据点的空间分布信息。因此能在较小运算量下得到较高的鲁棒性，尤其适用于处理数据量大，维度较高的分类问题。
　　本文运用KDD CUP99网络入侵检测数据进行实验，尝试对19种入侵类型以及一种正常类型进行分类。KDD cup99包含4898429条记录与31维属性，本文挑选其中18个属性进行实验，从所有记录中随机抽取10％作为训练集，其余90%作为测试集。使用150*150的单精度浮点矩阵对每个坐标平面进行栅格化表示，共有20*C218个矩阵。实验结果显示训练模型耗时6193毫秒，分类耗时14133毫秒，总体准确率达到了98.42%,其中5个样本充足的入侵类型识别结果良好，说明了应用本文方法构建入侵检测系统的可行性与高效性。

目录

第一个书签之前