Bloom Filter

摘要： With the rapid development of intelligent transportation, carpooling with the help of Vehicular Networks plays an important role in improving transportation efficiency and solving environmental problems. However, attackers usually launch attacks and cause privacy leakage of carpooling users. In addition, the trust issue between unfamiliar vehicles and passengers reduces the efficiency of carpooling. To address these issues, this paper introduced a trusted and privacy-preserving carpooling matching scheme in Vehicular Networks (TPCM). TPCM scheme introduced travel preferences during carpooling matching, according to the passengers’ individual travel preferences needs, which adopted the privacy set intersection technology based on the Bloom filter to match the passengers with the vehicles to achieve the purpose of protecting privacy and meeting the individual needs of passengers simultaneously. TPCM scheme adopted a multi-faceted trust management model, which calculated the trust value of different travel preferences of vehicle based on passengers’ carpooling feedback to evaluate the vehicle’s trustworthiness from multi-faceted when carpooling matching. Moreover, a series of experiments were conducted to verify the effectiveness and robustness of the proposed scheme. The results show that the proposed scheme has high accuracy, lower computational and communication costs when compared with the existing carpooling schemes.

摘要： Bloom filter(BF)is a space-and-time efficient probabilistic technique that helps answermembership queries.However,BF faces several issues.The problems with traditional BF are generally two.Firstly,a large number of false positives can return wrong content when the data is queried.Secondly,the large size of BF is a bottleneck in the speed of querying and thus uses large memory.In order to solve the above two issues,in this article,we propose the check bits concept.From the implementation perspective,in the check bits approach,before saving the content value in the BF,we obtain the binary representation of the content value.Then,we take some bits of the content value,we call these the check bits.These bits are stored in a separate array such that they point to the same location as the BF.Finally,the content value(data)is stored in the BF based on the hash function values.Before retrieval of data from BF,the reverse process of the steps ensures that even if the same hash functions output has been generated for the content,the check bits make sure that the retrieval does not depend on the hash output alone.This thus helps in the reduction of false positives.In the experimental evaluation,we are able to reduce more than 50%of false positives.In our proposed approach,the false positives can still occur,however,false positives can only occur if the hash functions and check bits generate the same value for a particular content.The chances of such scenarios are less,therefore,we get a reduction of approximately more than 50%false positives in all cases.We believe that the proposed approach adds to the state of the art and opens new directions as such.

摘要： 海量数据的高效表示和查找成为目前存储系统面临的重要挑战.针对存储系统中大规模动态数据集的表示和查找效率问题,提出一种多路平衡型矩阵 Bloom Filter 结构(M-BMBF)及其插入和查询算法.M-BMBF 根据数据集合大小建立一个r×m 矩阵型Bloom Filter,设计多个定位哈希函数将该矩阵Bloom Filter分为多组(多路)以实现平衡插入和高效查询操作.为减缓Bloom Filter中比特的消耗速度,使用一种"最长位匹配"填充算法,新元素的插入将从多路备选Bloom Filter中选择新置为1比特个数最少的Bloom Filter中进行.实验结果表明,相较典型拆分 Bloom Filter,M-BMBF 能在维持算法消耗时间为常量的基础上,有效节省存储空间,降低误判率.%Aiming at solving the representation and query efficiency in massive and dynamic dataset on storage system,a Multi-group Balance Matrix Bloom Filter (M-BMBF)and the algorithms on insertion and searching of data element were proposed.M-BMBF initiates a r×m matrix Bloom filter according to the size of dataset,and it introduces multiple located hash functions which can be used to divide the matrix Bloom filter into multi-group to achieve balanced insertion and efficient query operations.In order to slow down the bits consumption rate in Bloom filter when a new element is inserted,a longest-bit match filling algorithm was proposed,which selects a Bloom filter as the destination position for insertion from the can-didate Bloom filters according to the rule that fewest bits will be changed due to this insertion operation. Experiment results show that compared with the classical Split Bloom Filter,M-BMBF can efficiently save storage space and decrease the misj udgment rate,while its time consume is constant.

摘要： 为了改善服务器端系统登录模块运行环境,采用云数据库解决方案,但该方式可能引发额外的网络延时消耗,导致系统性能下降.基于Bloom filter算法设计过滤器,提前判定数据是否在数据库中,能够减少数据库读取次数,进而降低网络延时带来的额外性能损耗.结合Redis良好的分布式性能及持久化方案对Bloom filter进行管理.实验结果表明,当查询非命中率达到0.5％ 时,可以有效降低系统整体网络延时及响应延时.得出结论:采用基于Bloom filter的过滤器对数据是否在数据库中进行判定,能够降低网络延时带来的影响,从而提高系统整体响应性能.

摘要： 高级持续性威胁(APT)已经在全球范围内产生了严重的危害,APT攻击检测已经成为网络安全防护领域的重点.由于APT具有攻击手段多样,持续时间长等特点,传统的检测技术已经起不到理想的效果.利用从国际安全公司报告中提取的APT通信特征,提出了一种基于通信特征的APT攻击检测方法.为了提高该方法的检测效果,还提出了利用bloom filter对报文进行快速筛选和精确匹配相结合的双层通信特征匹配算法.实验结果表明,该方法具有较高的检测率和较低的误报率.%Advanced Persistent Threat(APT)is a serious threat to the world, APT detection has become the key point of network security protection. Due to the complexity of APT, the traditional detection technology cannot perform well. An APT detection method is proposed by using APT communication features extracted from international security company reports. In order to improve the detection effect of this method, an algorithm for double feature matching is put forward. The initial feature matching method uses bloom filter to filter out some messages quickly, and then the exact matching method is set up to determine whether it is APT malicious traffic. The experimental results show that the method has higher detection rate and fewer false positives.

摘要： With the development of cloud computing,privacy has become the key problem of cloud security.The traditional encryption methods are well established techniques for protecting sensitive data,but they rarely support direct operation of ciphertext.In order to provide privacy protection in cloud computing environment,Double Hashed and Weighted based Bloom Filter (DWBF) as an efficient data structure is proposed in the paper,and then a keyword encryption algorithm KEDWBF (Keyword Encryption based on DWBF) is designed.Through security analysis and performance evaluation,KEDWBF is proved that it is IND-CPA (Indistinguishability under Chosen Plaintext Attack) and supports fuzzy retrieval on encrypted data at the same time.%随着云计算的深入发展,隐私安全成为了云安全的一个关键问题.传统的加密方法是常用的保护敏感数据的方法,但是它们不支持对密文的直接操作.为了提供云计算环境中的隐私保护,提出了基于双哈希和带权重的Bloom Filter(DWBF),并构建了基于DWBF的支持模糊检索的加密算法KEDWBF.安全分析和性能评估证明KEDWBF是IND-CPA安全的,并能高效地实现对加密数据的模糊检索.

摘要： 近年来，黑客入侵给电信网络及整个社会带来极大的危害，亟需针对电信网络建立有效的入侵检测系统，而目前基于软件实现的入侵检测系统往往不能满足线速检测的要求。本文设计了基于硬件的高速入侵检测系统，部署在边界路由器与用户子网之间，完成电信网的高速安全检测。首先由基于TCAM实现的报头五元组黑白名单对数据流进行过滤，过滤后的数据包被分发到各个检测引擎，由检测引擎使用决策树算法对报头分类，并将分类后的报头编号和载荷送入BloomFilter检测，发现的可疑数据包交由基于位拆分AC算法的精确匹配引擎确认，以消除误判。实验结果表明，系统能够以较低的资源占用量，获得10Gbps的检测速率。

摘要： 近年来，黑客入侵给电信网络及整个社会带来极大的危害，亟需针对电信网络建立有效的入侵检测系统，而目前基于软件实现的入侵检测系统往往不能满足线速检测的要求。本文设计了基于硬件的高速入侵检测系统，部署在边界路由器与用户子网之间，完成电信网的高速安全检测。首先由基于TCAM实现的报头五元组黑白名单对数据流进行过滤，过滤后的数据包被分发到各个检测引擎，由检测引擎使用决策树算法对报头分类，并将分类后的报头编号和载荷送入BloomFilter检测，发现的可疑数据包交由基于位拆分AC算法的精确匹配引擎确认，以消除误判。实验结果表明，系统能够以较低的资源占用量，获得10Gbps的检测速率。

摘要： 近年来，黑客入侵给电信网络及整个社会带来极大的危害，亟需针对电信网络建立有效的入侵检测系统，而目前基于软件实现的入侵检测系统往往不能满足线速检测的要求。本文设计了基于硬件的高速入侵检测系统，部署在边界路由器与用户子网之间，完成电信网的高速安全检测。首先由基于TCAM实现的报头五元组黑白名单对数据流进行过滤，过滤后的数据包被分发到各个检测引擎，由检测引擎使用决策树算法对报头分类，并将分类后的报头编号和载荷送入BloomFilter检测，发现的可疑数据包交由基于位拆分AC算法的精确匹配引擎确认，以消除误判。实验结果表明，系统能够以较低的资源占用量，获得10Gbps的检测速率。

摘要： 近年来，黑客入侵给电信网络及整个社会带来极大的危害，亟需针对电信网络建立有效的入侵检测系统，而目前基于软件实现的入侵检测系统往往不能满足线速检测的要求。本文设计了基于硬件的高速入侵检测系统，部署在边界路由器与用户子网之间，完成电信网的高速安全检测。首先由基于TCAM实现的报头五元组黑白名单对数据流进行过滤，过滤后的数据包被分发到各个检测引擎，由检测引擎使用决策树算法对报头分类，并将分类后的报头编号和载荷送入BloomFilter检测，发现的可疑数据包交由基于位拆分AC算法的精确匹配引擎确认，以消除误判。实验结果表明，系统能够以较低的资源占用量，获得10Gbps的检测速率。

摘要： 近年来，黑客入侵给电信网络及整个社会带来极大的危害，亟需针对电信网络建立有效的入侵检测系统，而目前基于软件实现的入侵检测系统往往不能满足线速检测的要求。本文设计了基于硬件的高速入侵检测系统，部署在边界路由器与用户子网之间，完成电信网的高速安全检测。首先由基于TCAM实现的报头五元组黑白名单对数据流进行过滤，过滤后的数据包被分发到各个检测引擎，由检测引擎使用决策树算法对报头分类，并将分类后的报头编号和载荷送入BloomFilter检测，发现的可疑数据包交由基于位拆分AC算法的精确匹配引擎确认，以消除误判。实验结果表明，系统能够以较低的资源占用量，获得10Gbps的检测速率。

摘要： 近年来，黑客入侵给电信网络及整个社会带来极大的危害，亟需针对电信网络建立有效的入侵检测系统，而目前基于软件实现的入侵检测系统往往不能满足线速检测的要求。本文设计了基于硬件的高速入侵检测系统，部署在边界路由器与用户子网之间，完成电信网的高速安全检测。首先由基于TCAM实现的报头五元组黑白名单对数据流进行过滤，过滤后的数据包被分发到各个检测引擎，由检测引擎使用决策树算法对报头分类，并将分类后的报头编号和载荷送入BloomFilter检测，发现的可疑数据包交由基于位拆分AC算法的精确匹配引擎确认，以消除误判。实验结果表明，系统能够以较低的资源占用量，获得10Gbps的检测速率。

摘要： 现有的上下文触发分片Hash方法处理多数据对象时会造成文件指纹的存储空间较大,并且对指纹序列性敏感。提出基于Bloom Filter的多分片级证据获取方法,生成了一个有效的、可扩展的Hash指纹。本方法能够在不同的粒度上计算多数据对象的相似度,取消了对指纹序列性的限制。实验结果表明该方法使节约指纹存储空间和识别能力方面的性能得到了提升。最后较为详细地阐述了它在计算机取证中的应用情况。

摘要： 现有的上下文触发分片Hash方法处理多数据对象时会造成文件指纹的存储空间较大,并且对指纹序列性敏感。提出基于Bloom Filter的多分片级证据获取方法,生成了一个有效的、可扩展的Hash指纹。本方法能够在不同的粒度上计算多数据对象的相似度,取消了对指纹序列性的限制。实验结果表明该方法使节约指纹存储空间和识别能力方面的性能得到了提升。最后较为详细地阐述了它在计算机取证中的应用情况。

摘要： 现有的上下文触发分片Hash方法处理多数据对象时会造成文件指纹的存储空间较大,并且对指纹序列性敏感。提出基于Bloom Filter的多分片级证据获取方法,生成了一个有效的、可扩展的Hash指纹。本方法能够在不同的粒度上计算多数据对象的相似度,取消了对指纹序列性的限制。实验结果表明该方法使节约指纹存储空间和识别能力方面的性能得到了提升。最后较为详细地阐述了它在计算机取证中的应用情况。

摘要： 现有的上下文触发分片Hash方法处理多数据对象时会造成文件指纹的存储空间较大,并且对指纹序列性敏感。提出基于Bloom Filter的多分片级证据获取方法,生成了一个有效的、可扩展的Hash指纹。本方法能够在不同的粒度上计算多数据对象的相似度,取消了对指纹序列性的限制。实验结果表明该方法使节约指纹存储空间和识别能力方面的性能得到了提升。最后较为详细地阐述了它在计算机取证中的应用情况。

摘要： 本发明提供了一种基于BloomFilter原理的多列索引在列存数据库中的实现方法，包括：基于BloomFilter原理的多列索引在列存数据库中的创建方法，及在列存数据库查询中的使用方法。本发明实现的多列索引具有以下优点：不存储实际值，空间占用小；索引查询速度快，耗时固定；一个索引即可支持任意列的组合查询；BloomFilter中的假阳率(False positives)可控。本发明的有益效果是能最大程度地排除不命中的记录，减少扫描所需的磁盘访问，从而提升数据库的性能。

摘要： 一种基于分档Bloom Filter结构的查询方法，它将元素根据不同的查询代价分为不同的子集，通过考查每档子集最低查询失效率的关系，建立每档子集合最低假阳性率表示集合整体最低查询失效代价目标函数，使用类目标函数梯度遗传算法获得每档的最优哈希函数个数ki，再完成集合到向量的映射与查找。它用于分布式计算、计算机网络资源定位、数据库的交互查询、P2P网络资源交互、传感器网络信息交换、计算机网络监测、计算机缓存系统设计等产生大量数据、需要进行交互查询的领域，可以大大减少集合查询的失效代价，实现集合的总体查询代价最小，由此降低资源消耗。