基于Hadoop的大规模网络安全实体识别方法

摘要

随着大数据时代的到来,基于网络安全知识图谱的威胁情报分析成为研究热点.如何从多源异构碎片化数据中高效准确地识别网络安全实体是网络安全知识图谱的基础问题.因此本文针对网络安全相关文本数据,研究支持海量网络数据的安全实体识别算法,为构建网络安全知识图谱奠定基础.针对海量的文本类网络数据中安全实体的高效精准抽取问题,本文基于Hadoop分布式计算框架提出改进的CRF算法,对数据集进行有效分割,实现安全实体的高效准确识别.在大规模真实网络数据集上的实验证明,本文提出的算法达到了较高的网络安全实体识别准确率,同时,缩短了识别时间,提高了识别的效率.