基于数据流结构的海量网络数据查找方法

摘要

本发明公开了一种基于数据流结构的海量网络数据查找方法，包括实时数据的存储方法和实时查询方法。网络中数据是以数据流形式到达，需要对网络数据进行约减，截取每条网络报文数据的特定长度，之后按照特定的数据文件大小存储有效信息，对于每条网络报文中源、宿IP使用布隆过滤器(Bloom Filter)算法建立索引文件；实时查询时，先对索引文件查找，匹配之后再对数据存储文件进行查找，获得详细信息。本发明可以快速处理海量网络数据，占用存储空间小，保存大量网络细节信息，使用Bloom Filter哈希算法对网络报文数据建立索引，实现文件内容的分级检索，且索引结构简单，占用空间小，使用三个不同的哈希函数计算使得哈希冲突率低，而检索时，索引匹配查找快速且准确，有很好的时间和空间效率。