基于布隆过滤器算法的地震台网大数据去重的方法

摘要

本发明提出了一种基于布隆过滤器算法的地震台网大数据去重的方法。其特征是：步骤1通过TCP/IP协议接收多路数据流数据，并按字节进行拆包操作，并对拆包后的每个包进行解析；步骤2将经过拆包处理后的所有数据包进行一次去重过滤判断，并存储到布隆过滤器中；步骤3对解析出的包含特定含义字段的数据包进行判断是否需要二次去重过滤，并存储到HBase数据库中；步骤4将存储到HBase数据库中的数据包解析为地震数据MSEED格式，并存储到磁盘中永久保存，需要输出时以台网名、台站名、通道、采样率和时间组合的方式进行自动命名；步骤5利用obspy.merge方法对存储到HBase数据库中的数据包进行三次去重判断；步骤6通过TCP/IP协议建立连接，实现服务器端，将处理后的数据包以数据流的方式转发出去，并持续监听发送端口是否有请求。本发明从功能上将多路数据流汇总成单路数据流，通过布隆过滤器的一次去重、HBase数据库的二次去重以及obspy.merge方法的三次去重实现实时大数据的去重。