大数据处理技术在安全审计系统中的应用

摘要

随着大数据时代的到来,数据出现了爆炸式的增长.这些海量数据的出现,影响了很多现有数据存储、处理和分析系统,其中就包括在网络安全中发挥着重要作用的审计系统.目前的审计系统中使用关系数据库对数据进行存储和处理,由于关系数据库的局限性,使得审计系统无法存储和处理大数据.针对该问题,提出了一种兼容现有系统的大数据存储方法,能够有效的解决大数据存储问题.同时,为了解决大数据(HBase)检索效率低下的问题,提出了一种使用Solr建立二级索引的方法,大大的提高了检索效率,满足了审计系统存储和处理大数据的需求.