将未知单协议数据流分离为不同类型的数据帧的方法

摘要

本发明公开了一种将未知单协议数据流分离为不同类型的数据帧的方法，首先利用n-gram技术对数据帧进行分割，根据齐夫分布，选择曲线图中最接近直线的n值作为所求，然后利用Jaccard参数对非频繁字节进行过滤，通过改变不同的阈值得到其最优解对n-gram进行过滤，得到出现次数多于阈值的n-gram集合；然后利用无监督的特征选择算法提取特征串集合，特征选择中将上一步得到的特征候选集作为输入，根据最大相关-最小冗余的特征选择标准，得到能更好的表征该协议不同类型消息的特征，以此作为特征向量用于聚类中；最后利用聚类算法实现协议消息的识别，将具有相同格式的消息聚在一起。本发明在ICMP上对该方法进行评估，消息识别的准确率和召回率均可达到90%以上。