一种基于区块链智能合约的网络威胁情报共享平台

摘要

本发明提出一种基于区块链智能合约的网络威胁情报共享平台，依托于以太坊底层架构，将网络威胁情报数据作为数据资产，通过可信任威胁情报处理模块对网络威胁情报数据处理，利用区块链系统的分布式数据存储，通过智能合约开发与设计，实现网络威胁情报数据在数据提供者和数据购买者在自主对等的数据平台上的情报共享。实现了网络威胁情报数据的统一安全共享网络空间中威胁情报可信评价，解决了现有技术中威胁情报共享面临的多源数据集成质量低的问题，增加共享平台用户的满意度并降低威胁情报安全应用的误报率。

说明书

技术领域

本发明涉及网络安全领域，更具体地，涉及一种基于智能合约的威胁情报共享下的APT检测方法。

背景技术

高级持续性威胁(APT，Advanced Persistent Thread)，指针对某一特定目标的长时间持续性攻击。NIST将APT定义为:具有海量人力，技术，设备等资源的攻击者针对特定目标，采用多种不同攻击手段(包括技术，物理，欺诈等)努力寻求或主动创造机会，实现其攻击目的。攻击目标一般包括在受害组织的IT基础设施中建立并维护后门，针对特定的关键性信息进行深挖、窃取、篡改，或低调潜伏，在未来执行攻击行为。由统计数据不难看出，网络攻击越来越泛滥，而我国作为APT攻击的主要受害国家之一，政府、军事机关、关键基础设施、高校、研究所等都遭受了不同程度的攻击。自2006年至2014年被公开披露的APT攻击事件进行了数量统计，可以直观体现每年被发现的APT攻击数量不断加速增长的趋势。除了传统的多方位APT防护之外，威胁情报也从2015年起成为了业界的一个热点话题，被认为是APT防御的下一个突破点。不少媒体将2015称为“威胁情报元年”。所谓威胁情报就是为了还原已发生的攻击和预测未发生的攻击所需要的一切线索。威胁情报总体上说由两部分组成：第一部分是威胁信息：攻击源(攻击者身份IP，DNS，URL等)，攻击方式(武器库)，攻击对象(指纹信息)，漏洞信息(漏洞库)；第二部分是防御信息：访问控制列表，规则(策略)库。显然，威胁情报库的构建不可能由单一组织或机构完成，大量安全机构联合组织了多个不同的威胁情报联盟，威胁情报共享标准也应运而生。

传统的检测技术主要在网络边界和主机边界进行检测，传统边界安全设备并不能识别通道上的负载是恶意的还是善意的，IDS、IPS虽然可以识别，但是它们基于的技术是已知威胁的签名，检测不到未知漏洞。传统的检测手段对于未知的漏洞利用、木马程序、攻击手法，无法进行检测和定位。同时企业因为缺少专业的安全服务团队，无法对检测设备的告警信息进行关联分析和攻击确认。

为了躲避传统检测设备，高级攻击更加注重动态行为和静态文件的隐蔽性，例如通过隐蔽通道、加密通道避免网络行为被检测。目前被曝光的知名APT事件中，社交攻击、0day漏洞利用、物理摆渡等方式层出不穷，而传统的检测往往只注重边界防御，系统边界一旦被绕过，后续的攻击步骤实施的难度将大大降低。

发明内容

为了克服现有技术中存在的缺陷，本发明提出一种基于区块链智能合约的网络威胁情报共享平台，其特征在于，依托于以太坊底层架构，将网络威胁情报数据作为数据资产，通过可信任威胁情报处理模块对网络威胁情报数据处理，利用区块链系统的分布式数据存储，通过智能合约开发与设计，实现网络威胁情报数据在数据提供者和数据购买者在自主对等的数据平台上的情报共享。

可选地，所述可信任威胁情报处理模块用于筛选可信威胁情报，为用户提供可信判别接口。

可选地，所述可信任威胁情报处理模块的判断方法包括如下步骤：

S1：用户对某个开源共享的威胁情报持怀疑态度，需要知道情报的质量；

S2：聚合多个威胁情报共享平台及供应商的数据，实时地从多源获取威胁情报，根据威胁情报的类型对采集的威胁情报进行分层汇聚；

S3：对分层汇总的威胁情报预处理成以三元组的形式存储在本地威胁情报；

S4：多源采集富化情报信息，基于时间、内容、领域知识维度对威胁情报可信度的影响因素提取特征指标；

S5：以多维可信特征作为原始威胁情报的描述，对威胁情报进行预判断，初步筛选出可信的威胁情报；

S6：基于DBN的威胁情报可信判别方法来进一步鉴别威胁情报是否可信，并将结果以可交互的接口方式反馈给用户。

可选地，所述步骤S6包括：

S61:DNS流量获取与初步处理：通过交换机配置镜像端口方式，直接将所有途径交换机的网络流量旁路复制至本地网卡，并利用libpcap库进行捕获程序开发，捕获所有DNS流量并进行初步快速处理，提取所需要的有效信息；

S62：基于威胁情报的检测：利用分布式框架Spark，对经过初筛的DNS报文有效信息进行基于步骤S5的快速检验，通过Risk值计算，判断是否存在明显恶意报文；

S63：基于域名特征的检测：利用python或spark，对经过威胁情报检测的DNS报文进行进一步检验；

S64：威胁情报更新：基于STIX标准和相应库，可以不断升级更新威胁情报库内情报，进一步提高检测系统的检出率和准确性。

进一步地，所述数据共享平台为情报提供者和情报获取者实现威胁情报共享提供平台接口。

本发明创新性地提出了一种基于区块链智能合约的网络威胁情报共享机制，将网络威胁情报数据作为数据资产，基于以太坊底层架构，通过智能合约开发实现了网络威胁情报数据的统一安全共享网络空间中威胁情报可信评价，不仅能够解决威胁情报共享面临的多源数据集成质量低，还能够告知用户数据质量，增加共享平台用户的满意度和降低威胁情报安全应用的误报率。

本发明针对网络空间中威胁情报质量不明，可信度评价指标选取与量化困难的问题。提出了一种威胁情报可信度多维度分析模型，该模型综合考虑了时效性、可用性、通用性、真实性、可验证性和全面性的可信度属性，提出了多源异构的威胁情报的形式化定义，且从时间、内容验证、领域知识三个维度提取特征指标来分析和描述一个威胁情报，同时引入了深度信念网络来学习更多的可信度评价的影响特征。大量威胁情报样本通过深度信念网络学习潜在的可信评价因素，逐层抽象提取使得高维度的复杂特征逐渐降低维度，使得威胁情报包含的信息更好地表现出来。

本发明针对APT攻击链模型选取了DNS(域名系统)流量作为APT整体检测的原始数据，详细了解并深入研究了DNS报文本身特征，在不同APT案例中的攻击应用手段，包括DGA、C&C、FastFlux等，并以此为基础，还引入了威胁情报系统，基于威胁情报系统，可以计算域名的Risk值，对于显著恶意的域名进行快速检测和报警。

附图说明

图1是本发明的一种基于区块链智能合约的网络威胁情报共享平台示意图。

图2是本发明的可信威胁情报判断流程图。

图3是本发明基于DNS流量的APT检测方法流程图。

图4是本发明K-Means聚类方法示意图。

图5是本发明基于域名特征检测的方法流程图。

图6是本发明情报共享交流的整体流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一种基于区块链智能合约的网络威胁情报共享平台，如图1所示，所述平台依托于以太坊底层架构，将网络威胁情报数据作为数据资产，通过可信任威胁情报处理模块对网络威胁情报数据处理，利用区块链系统的分布式数据存储，通过智能合约开发与设计，实现网络威胁情报数据在数据提供者和数据购买者在自主对等的数据平台上的情报共享。

1、可信任威胁情报筛选根据对多个主流共享情报平台多源集成的威胁情报分析，发现威胁情报不可信的产生是有规律可循的，其不可信的影响因素通常包括如下几点：

(1)录入信息出错：威胁情报记录员在输入数据或数据传输过程中编码导致乱码错误、甚至手工输错使得信息失真；

(2)情报分析师不专业或分析有误：在某次分析中，分析师的主观因素引起分析有误；

(3)残缺情报：安全情报分析只是纯粹结论，缺乏证据，用户觉得缺乏可信性且往往会漏报；

(4)过时情报：威胁情报具有很大的时效性，目前很多攻击往往是周级别或者日级别，一旦情报过时就不再具有价值；

(5)以讹传讹：由于转传者或转录者情报传播；

(6)恶意造假：组织或企业为利益恶意制造虚假情报。

综上所述，威胁情报不可信的成因可宏观上分为客观成因和主观成因，但是主观成因中又可能夹杂真实信息或真实数据来蒙蔽用户，试图让用户客观认可情报的质量，该部分甄别难度较大，常常需要很专业的安全分析师借助安全分析工具来精确定位，很难进行量化处理，因此，在本发明模型建立以及设计过程中的威胁情报，主要针对的为客观成因造成的不可信威胁情报，主观成因造成的威胁情报只是进行了粗略地可信度分析。

在威胁情报多源共享的背景下，针对情报数据海量、来源多个、质量不明等特性，安全分析如何对异构情报进行可信判别仍然是一个挑战。威胁情报是一种可能改变攻防态势的技术，它不保证让资产不遭受攻击，但保证有一点遭受攻击时，整个安全体系进行迅速协调，极大提升攻击者的成本。本发明从时间、领域知识、内容三个维度提取可信特征，然后根据多维度可信特征去表征情报的可信度，本质上是信息质量评价。并且通过深度信念网络(Deep Belief Network)挖掘多维度可信特征关系，提取更高阶的可信度影响因素。深度学习技术作为数据挖掘的重要技术手段，能够全方位且深层次地挖掘情报可信与否的隐藏细节，减少威胁情报的误报率。

针对多源集成的海量质量不明威胁情报，为帮助用户能够有效筛选出可信威胁情报，本发明提出了一种开源共享威胁情报可信度分析方法，最终给用户提供一个威胁情报的第三方可信判别接口，可信威胁情报判断流程如图2所示，其具体过程如下：

(1)用户对某个开源共享的威胁情报持怀疑态度，迫切需要知道情报的质量；

(2)采用聚合模型，聚合多个威胁情报共享平台及供应商的数据，实时地从多源获取威胁情报，根据威胁情报的类型对采集的威胁情报进行分层汇聚。

本发明采集了目前主流威胁情报共享平台的情报信息，即基本覆盖有威胁事件五类。

包括时间、ip、威胁类型、描述、证据(可能是木马样本、也可能是木马的MD5信息、或者是涉及到这个恶意域名的安全分析报告、安全日志等等。)

(3)对分层汇总的威胁情报预处理，以三元组的形式存储在本地威胁情报库，方便对不同表现形式的威胁情报统一分析。

(4)多源采集富化情报信息，基于时间、内容、领域知识维度对威胁情报可信度的影响因素提取特征指标。

(5)以多维可信特征作为原始威胁情报的描述，基于DBN的威胁情报可信判别算法来鉴别威胁情报是否可信，并将结果以可交互的接口方式反馈给用户。

以下详细描述本发明所述的基于深度学习的威胁情报可信判别方法。

威胁情报内容具有真实性和可验证性的可信度属性，这两个属性者相辅相成，内容可以通过验证来得到真实结果，而结果的真实必须经过验证。根据对开源共享的威胁情报进行抽样分析，大部分威胁情报有多个来源，各平台部分威胁情报相互覆盖，因此可以通过多源情报来验证内容的真实性，同时说明它的可验证性。在情报检索和验证中的一个公共问题就是如何对不同属性类型的情报进行比较。

从情报源看，威胁情报的来源或载体的可信度很大程度上直接反应该情报的可信程度。情报源的可信度常用权威度来衡量，即情报出处在信息安全领域是否具有知名度和影响力。一个权威的信息源或传播渠道的内容多是优质可信的，如权威安全机构和知名网站发布的威胁情报，使用者的信任度会相对更高。目前，情报源有政府安全机构、安全组织或团队、供应商网站、知名站点或论坛、个人博客、其他未知来源。用Au表示不同源的权威度，则根据专家建议其分值如下：

公式1

式中Au表示：不同开源情报源的权威度。S表示：情报源，如国内的微步在线、360。国外的AlienVault、IBM情报中心等。r表示情报发布的时间。

从内容多源验证看，威胁情报内容具有真实性和可验证性的可信度属性，这两个属性者相辅相成，内容可以通过验证来得到真实结果，而结果的真实必须经过验证。根据对开源共享的威胁情报进行抽样分析，大部分威胁情报有多个来源，各平台部分威胁情报相互覆盖，因此本发明通过多源情报来验证内容的真实性，同时说明它的可验证性。在情报检索和验证中的一个公共问题就是如何对不同属性类型的情报进行比较。为解决该问题，在多源验证过程中本发明采用威胁情报间的相似度来比较，度量其真实性，相似度越高则说明威胁情报的多源验证的一致性高，可信赖的真实程度更高。

对目标威胁情报v

S(v

公式2

式中θ

判断威胁情报准确性的三个要素是时间、源和内容描述。例如，一个恶意域名发布时间是2020年11月，其准确性就高。反之，发布时间是2010年7月，由于年代久远，可能这个恶意域名都已经不存在，即便源和内容都是高可信，但是年代久远，机器学习时候给这条信息设置的参数设置0.6。

S

S

S

对情报源而言，2个情报源间距离即公式如下所示，即两者间权威度差值的绝对值。

s

公式3

其中Au(v

为评价2个威胁情报发布时间的距离，我们采用公式4计算该情报在真实世界的重叠时间，如果v

公式4

S

t(v

威胁情报的描述抽象为BOW词袋，考虑到各平台展示形式，词序可以忽略。在计算2个威胁情报的威胁描述信息相似度时，我们采用了词向量空间来比较，通过用词语距离来计算威胁描述的相似度。在本发明中，我们借鉴了基于Wikiedia的词语相似度算法来计算威胁文本的词语间距离，其距离由公式5的相似度算法进行计算和表示：

公式5

其中X

基于上述的情报间相似度算法，我们用

假设目标威胁情报v

2、基于DNS流量的APT检测

绝大部分的APT攻击采用了C&C服务器作为攻击的一部分，并且往往是应用基于域名的C&C服务器。因此，本发明提出了基于DNS流量的检测模型，同时，为了提高检测效率，本发明也应用了时下较为热门的威胁情报系统，提高检测的检测能力和检测效率。整体检测流程如图3所示：

(1)DNS流量获取与初步处理：通过交换机配置镜像端口方式，直接将所有途径交换机的网络流量旁路复制至本地网卡，并利用libpcap库进行捕获程序开发，捕获所有DNS流量并进行初步快速处理，提取所需要的有效信息。

(2)基于威胁情报的检测：利用分布式框架Spark，对经过初筛的DNS报文有效信息进行基于先验知识(威胁情报库)的快速检验，通过Risk值计算，判断是否存在明显恶意报文。

(3)基于域名特征的检测：利用python或spark，对经过威胁情报检测的DNS报文进行进一步检验。这一部分的检测将提取域名本身的一些特征，归一化转换为坐标后，利用通过无监督机器学习算法发现的分类标准，将域名分为合法和非法两类。图5示出了本发明基于域名特征检测的方法流程图。

(4)威胁情报更新：基于STIX标准和相应库，可以不断升级更新威胁情报库内情报，进一步提高检测系统的检出率和准确性。

通过对诸多已经确认的C&C服务器域名情报及DGA所生成域名的分析进行无监督聚类的域名特征：

(1)域名总长度：从已经经过核实的DGA及C&C域名威胁情报可以发现，通过算法自动生成的域名相对普通的域名往往偏长。考虑认为存在以下几个原因综合导致了域名总长度偏长的情况，首先，较短的域名往往早已经被注册，即使没有公司或个人使用该域名也往往被域名抢注组织机构所抢注；其次，为了实现隐藏自身以及降低成本考虑，往往攻击者考虑采用二级域名商，相比直接在顶级域名商处进行注册，域名整体更长，并且，为了逃避检测算法，现在不少域名在随机标签之前还加入了前缀标签作为维护，进一步拉长了域名长度；最后，为了避免生成大量冲突的已注册域名，导致无法实现C&C功能，攻击者也需要生成相对较长的域名，降低通信失败可能性。因此，本发明将域名总长度作为一个特征对恶意域名进行检测。

(2)域名总体层次：如同上一特征中所述，恶意域名往往相对于普通域名有所区别，恶意域名往往采用“(前缀).随机标签.后缀”的域名组成方式，其中前缀可选，不一定都有，后缀则为一到两层。虽然域名总体层次一般不会太大差别，通常都在3-5层范围之间，但是一系列生成的随机域名在这一项上往往具有完全相同的域名层次，结合其他特征时，往往能与不相干域名取得较好地区分效果，因此本发明采用这一特征作为检测特征之一。

(3)域名中随机标签长度：恶意域名随机生成的标签一般是通过特定算法生成，具有固定长度，且长于普通正常域名，因此随机标签长度往往是良好的聚类特征。由于恶意域名也会在随机标签前使用前缀标签加以隐藏，本发明选取非TLD标签中最长的标签，作为随机标签的判断方法。

(4)域名中随机标签层次：一般情况下，通过同一算法生成的恶意域名的随机标签层次具有统一性，未发现有针对这一方面进行伪装的攻击实例，因此可以利用这一特征进行特定攻击行为与其他攻击行为或是正常行为进行区分。

(5)随机标签不同字母数量：通常来讲，合法域名会采用各种有意义的单词或字母缩写，而恶意域名因为是算法生成，部分算法甚至经过了一定的哈希运算，具有均匀分布的特征，因此，本发明选取了域名中不同字母个数作为检测特征，可以有效协助区分域名是否合法。

(6)随机标签不同数字数量：选取51,52作为域名开头。其他域名中含有数字的情况较为少见，而恶意域名则不同，有不少域名中含有较多数字，且与前文提及的英文字母类似，经过了一定的处理，有均匀分布特点。因此，标签中不同数字数量特征也可以作为一个检测特征，有效地在聚类过程中区分不同簇。

综上所述，本发明选取了域名长度、域名总体层次、域名中随机标签长度、随机标签所在层次、随机标签中不同字母数量、随机标签中不同数字数量等六个特征用于聚类分析，为了对不同的数据进行归一化处理，本文对不同特征依次分别赋予了权重。

本文采用K-Means算法，对训练集域名进行无监督聚类。图4示出了K-Means聚类方法过程。K-Means聚类流程如下：

1)随机选取K个聚类中心，

2)计算各条数据到各聚类中心的距离，将每条数据归类到最近的簇，本发明采用欧式距离

公式6

其中x

3)重新计算各个簇的聚类中心。

公式7

其中n表示所取的样本个数，center

经过筛选过程和阈值计算过程后，基于域名的检测系统已经完成训练过程，待检测域名只需要对域名进行归一化坐标化变化，计算最小聚类中心距离，即可判断其是否属于恶意域名，对于判断为恶意的域名也可以根据情况上传至威胁情报库，实现自动化威胁情报生成。

3、情报共享

基于区块链智能合约的网络威胁情报共享机制的流程如下：整个网络威胁情报共享运行在以太坊区块链数据共享平台上，在该情报共享平台上，网络威胁情报数据作为有价值的数据资产，经过网络威胁情报数据处理模块规范和统一后，能够在共享平台上进行交易共享。情报提供者将自己生产的网络威胁情报上传到数据共享平台，标明该情报数据的数据类型和价值，情报获取者通过数据共享平台进行网络威胁情报数据的购买，获取网络威胁情报数据。该共享机制主要包括以下三部分内容：

(1)网络威胁情报数据处理在网络安全中，威胁情报数据的分类是与网络攻击的类型相关联的，往往一个网络攻击指标就代表的一类威胁情报数据。本发明结合现有的网络威胁情报分类和表示方法，通过网络威胁情报处理过程，规范在区块链共享平台上的数据信息，提高网络威胁情报共享的效率。

(2)数据共享方法在该网络威胁情报共享平台中，设定两大类角色：情报提供者和情报获取者。

情报提供者一般是现有的比较专业的安全公司或者安全分析机构，他们具备收集和接收网络攻击信息，并能够通过技术手段处理、分析和评估这些信息，生成网络威胁情报。情报获取者一般为有需求的企业、组织或个人，他们一般不具备自主生成网络威胁情报的能力，但是他们需要这些威胁情报数据来进行网络防护或科学研宄。他们获取到威胁情报数据后也能够对其情报数据的价值进行反馈，能够对情报提供者的威胁情报质量进行评估。

(3)数据共享平台的搭建该部分是在上述两个模块设计的基础上，使用以太坊底层架构实现区块链系统的数据共享平台搭建，通过智能合约的设计与开发，明确在数据共享平台上的网络威胁情报数据类型和用户类型，预设智能合约触发的条件和最后触发的状态，将网络威胁情报作为数字资产，实现情报提供者与情报获取者之间的情报共享交易。

在数据共享平台中，用户的地址是唯一标识，这是通过p2p网络广播共识后得到认证的用户地址。新用户要想进入到该数据共享平台必须通过注册之后经过算法获取到公钥地址，才能够登录。用户登录需要密码即用户自己设置的私钥。用户信息作为该节点的账户信息都是被存储在区块链链中的。

图6示出了本发明情报共享交流的整体流程。

用户注册：这是使用数据共享平台的第一步，在智能合约部署成功之后，由于同一节点的账户公钥只有一个，因此用户地址是与用户信息一一对应的。注册时填写的字段包括用户名、用户密码、用户ID等信息。用户注册属于用户发起的一次交易操作，用户注册完成后，区块链需要将用户身份信息共识之后以交易形式存储在区块链中以便在登录数据平台时进行认证。

用户登录：用户成功注册后，在登录平台时，需要准确输入用户名和用户密码。当登录用户为未注册用户时，平台提示该用户为未注册用户，用户首先需要注册用户；当用户私钥(密码)输入错误时，平台提示用户密码输入错误。

情报提供者上传网络威胁情报数据，在数据共享平台上是一次数据传输，即将网络威胁情报数据记录在区块链上，利用区块链分布式账本特性，对网络威胁情报数据进行存储。数据上传在共享平台上之后，会得到系统节点的共识以证明该上传操作，保证了该上传数据的安全性。网络威胁情报数据上传成功后，将反馈给情报提供者该情报数据在区块链的存储信息以及该上传交易的交易ID。

情报提供者登录平台之后，在数据平台上上传网络威胁情报数据，本质上是将该情报数据如何安全地存储在区块链中，要实现该上传数据记录是可以查询的，该上传的数据只有在满足合约的条件下才能被查询并获取。

情报数据上传流程分为两大部分：

一是情报提供者上传情报操作，这是在用户层面来说的；二是对上传情报数据进行存储，并对用户进行反馈，告知情报提供者其上传的情报数据在区块链平台上的存储信息。

情报提供者上传情报在用户层面上，情报提供者首先登录数据共享平台，登录成功后，点击情报数据上传按钮进入上传数据操作界面。本数据平台初始设计的情报提供者可上传情报内容主要包括情报标题、情报类型、情报序号、情报等级、情报出售的费用和具体的情报内容等信息。这些信息是情报提供者直接在数据上传界面填写的，输入完成后点击上传按钮进行数据上传。

存储上传情报数据数据共享平台对上传情报数据的存储操作有三步：

第一步，在情报提供者将情报数据上传之后，后台会自动调用智能合约，该智能合约是已经被成功部署到数据共享平台上的，情报提供者上传数据操作会触发智能合约运行条件，该操作将在数据共享平台完成智能合约的调用；

第二步，情报提供者上传情报数据相当于对区块链平台发出了事务请求，该事务请求会通过P2P网络广播到全网节点中，全网节点会对该事务请求进行共识，该上传数据得到区块链数据共享平台认证后就是一条可进行查询和购买并获取的数据；

第三步，数据共享平台记录该情报数据后会产生上传记录，包括情报注册时间、情报ID、情报记录区块等信息。

申请人结合说明书附图对本发明的实施例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。