基于深度学习和agent的联动防御系统

摘要

本发明公开了一种基于深度学习和agent的联动防御系统，包括DPDK流量获取模块、协议解析模块、文件还原及加密存储模块、敏感信息检测模块、敏感告警模块、联动防御策略决策模块、联动防御策略决策下发模块、联动防御策略执行模块和联动防御策略验证模块；本发明的实施过程为：检测监控范围内的异常行为，对异常行为生成告警；依据告警信息形成联动防御策略并下发到指定主机的agent；主机的agent接收到联动防御策略后执行策略定义的动作，完成联动防御。本发明使用策略联动机制，将检测结果与主机防御有机地联动，大大降低了联动防御的响应时间，增加了联动防御的有效性，具有明显的、重要的社会意义和实用意义。

说明书

技术领域

本发明涉及一种基于深度学习和agent的联动防御系统，属于安全监测和联动防御技术领域。

背景技术

2017年6月1日，国家正式施行《国家网络安全法》，其中强调敏感信息监测的重要性，数据泄露违规行为必定会给行业的社会形象及经济效益带来严重的负面影响。

数据泄露行为细分包括泄露存储于数据库中的结构数据，企业发展战略、合同、项目发展规划等企业运营过程中涉及商业秘密的办公文件。较为常用的数据泄露违规行为的检测基于敏感关键字匹配，该方法的漏报率和误报率都较高，例如一篇普通文件里面含有“不能说的秘密、规划、下一步、计划”等敏感关键字时，就会被基于敏感关键字匹配程序误判为敏感文件，后期需要耗费大量人力去复核。另一方面，现有的行为阻断方式大多为单体防御响应，即监控系统检测到数据泄露违规行为后产生告警，处置人员在看到告警信息后使用手工手段进行告警处置，当待处置告警量大时，首先操作人员难以有效确认告警信息；其次，操作人员不能快速处置及时有效阻断数据泄露违规行为。

综上所述，传统的数据泄露违规行为检测方法较为机械化，容易产生大量的漏报和误报，且防御响应方式较为单一、滞后，不利于事件的全面检测和及时处理。

发明内容

为解决上述问题，本发明提供一种基于深度学习和agent的联动防御系统，通过镜像流量过滤解析获得传输文件协议中传输的文件，还原并检测是否包含敏感信息，生成告警信息，并生成联动防御策略下发，进而实现数据泄露违规行为检测漏报率、误报率的改善和联动响应时间的减少。

为达到上述目的，本发明采用的技术方案如下：

基于深度学习和agent的联动防御系统，包括DPDK流量获取模块、协议解析模块、文件还原及加密存储模块、敏感信息检测模块、敏感告警模块、联动防御策略决策模块、联动防御策略决策下发模块、联动防御策略执行模块和联动防御策略验证模块；

所述DPDK流量获取模块，在数据平面基于DPDK技术抓取高速网络流数据包；

所述协议解析模块，采用多核多线程，实现网络流分流、流还原和协议解析，过滤出传输文件协议，还原协议中的文件，并将经过协议解析的文件作为文件还原及加密存储模块的输入；

所述文件还原及加密存储模块，针对还原的协议中的文件进行加密存储处理，同时将流量信息特征与还原文件关联，得到关联信息传递给敏感信息检测模块；

所述敏感信息检测模块，实现文件的敏感信息检测，将检测的敏感文件所带的关联信息发送给敏感告警模块；

所述敏感告警模块，根据文件敏感级别，对数据泄露违规行为进行分级告警，将数据泄露违规行为的主体IP和泄露内容，形成告警数据，下发到联动防御策略决策模块；

所述联动防御策略决策模块，依据接收到的告警数据，定位产生数据泄露违规行为的主机IP地址，根据IP地址通知接入控制平台监测/阻断/限制该IP地址的网络要求，生成联动防御策略；

所述联动防御策略决策下发模块，根据联动防御策略，确定接收联动防御策略的主机IP，将联动防御策略下发到该主机的agent；

所述联动防御策略执行模块，实现联动防御策略的接收和执行，主机agent接收到联动防御策略决策下发模块下发的联动防御策略后，识别联动防御策略并执行联动防御策略定义的动作，完成实际泄露违规行为的监测/阻断/限制；

所述联动防御策略验证模块，采用自动处理或者人工验证告警信息的准确与否。

前述的协议解析模块的协议解析过程为：协议解析模块基于协议格式对协议内容进行解析，通过在不同网络层次按照不同的网络协议规范来解析各网络层数据包的头部及其载荷，按照先解析头部，然后去掉头部获取数据内容，再解析下一网络层数据包的头部，获取数据内容的步骤，层层解析，最终还原出完整的协议原始信息。

前述的协议解析模块在进行协议解析之前，在TCP层根据网络流数据包是否分片，网络流数据包的方向和网络流数据包的序号，判断当前网络流数据包是否进行报文重组，将分片网络流数据包送入缓存队列，等分片报文搜集完毕进行重组后再进行协议解析。

前述的流量信息特征包括源IP地址/目的IP地址，源端口/目的端口以及协议特征。

前述的文件还原及加密存储模块基于国密SM4对协议解析模块还原的文件进行加密，并存储在指定加密文件存储位置。

前述的敏感信息检测模块的检测过程为：首先使用与加密对应的解密算法对加密文件进行解密，然后提取解密后文件中的流量特征信息，即词向量，利用余弦相似度获取文件词向量特征，形成词向量矩阵，接着将词向量矩阵作为卷积神经网络CNN的输入，进行卷积、平滑操作，最后通过交叉验证算法确认文件是否为敏感文件。

本发明的有益效果为：

本发明采用主动防御的思想，监控网络信息的传播，不用太多的人为干预，有比较高的效率；

本发明可运用于文档保密部门、网络监管部门和网络服务部门，以自动发现检测范围内或特定目标的提供公众服务的网站，以识别过滤服务内容的敏感信息，这样有助于遏制不良信息的散布，有助于营造安全的网络环境，具有明显的、重要的社会意义和实用意义。

附图说明

图1为本发明系统的结构框图。

具体实施方式

下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示， 本发明的基于深度学习的数据泄露违规行为检测和基于agent的防御策略联动系统，包括DPDK流量获取模块、协议解析模块、文件还原及加密存储模块、敏感信息检测模块、敏感告警模块、联动防御策略决策模块、联动防御策略决策下发模块、联动防御策略执行模块和联动防御策略验证模块，具体如下：

DPDK流量获取模块，在数据平面基于DPDK技术抓取高速网络流数据包。

协议解析模块，采用多核多线程设计，实现网络流分流处理、流还原（分片、重组）和协议解析，过滤出传输文件协议（HTTP、FTP、SMTP）等，还原协议中的文件，并将经过协议解析的文件作为存储模块的输入。

具体解析过程如下：

协议解析模块基于协议格式对协议内容进行解析，通过在不同网络层次按照不同的网络协议规范来解析各网络层数据包的头部及其载荷，按照先解析头部，然后去掉头部获取数据部分的内容，再解析下一网络层数据包的头部，获取数据内容的步骤，层层解析，最终还原出完整的协议原始信息。对需要进行文件还原的协议（主要有HTTP、FTP、SMTP），在TCP层根据数据包是否分片，数据包的方向和数据包的序号，判断当前数据包是否进行报文重组，将分片流量数据包送入缓存队列，等分片报文搜集完毕进行重组，等待下一步解析，直至还原出完整的协议原始信息。

文件还原及加密存储模块，针对还原的协议中的文件进行加密存储处理，同时将流量信息特征（源IP地址/目的IP地址，源端口/目的端口，协议特征等）与还原文件关联，得到关联信息传递给敏感信息检测模块。加密过程基于国密SM4算法，对协议解析模块还原的文件进行加密，并存储在指定加密文件存储位置，以防检测过程中的敏感信息泄露。

敏感信息检测模块，实现文件的敏感信息检测，从而实现数据泄露违规行为的检测，首先使用与加密对应的解密算法对文件还原及加密存储模块的文件进行解密，然后提取解密后文件中的流量特征信息，即词向量（word embedding）。利用余弦相似度获取文件词向量特征，形成词向量矩阵（word2vec），接着将词向量矩阵作为卷积神经网络CNN的输入，通过卷积、平滑等操作，最后通过交叉验证算法确认文件是否为敏感文件。一旦判断为敏感文件将传入的关联信息发送给敏感告警模块。

敏感告警模块，根据文件敏感级别，实现数据泄露违规行为的分级告警，文件敏感级别由使用单位保密办确定，并提供保密特征。关联数据泄露违规行为的主体IP、泄露内容等相关数据，形成告警数据，下发到联动防御策略决策模块。

联动防御策略决策模块，实现联动防御策略的生成，依据接收到的告警数据，定位产生数据泄露违规行为的主机IP地址根据IP地址通知接入控制平台监测/阻断/限制该IP地址的网络要求，生成联动防御策略。

联动防御策略决策下发模块，实现联动防御策略的下发，根据联动防御策略决策模块生成的联动防御策略，确定接收联动防御策略的主机IP，将联动防御策略下发到该主机的agent。

联动防御策略执行模块，实现联动防御策略的接收和执行，主机agent接收到联动防御策略决策下发模块下发的联动防御策略后，识别联动防御策略并执行联动防御策略定义的动作，完成实际泄露违规行为的监测/阻断/限制。

联动防御策略验证模块，采用自动处理或者人工验证告警信息的准确与否。

本发明的具体实施过程包括以下步骤：

步骤1、从官网下载DPDK的安装包，并解压，配置其目标环境变量，运行程序进行抓包；

步骤2、根据数据包是否分片，数据包的方向和数据包的序号，判断当前数据包是否进行重组，重组后会对当前数据包进行协议解析，按照协议过滤出传输文件的协议；

步骤3、将传输文件协议中的文件还原，加密保存到特定的加密区；

步骤4、设置敏感字典，用于存储敏感词汇；

步骤5、对加密的文件根据敏感字典，检测文件中的敏感信息，并确定敏感级别；

步骤6、根据敏感级别进行分级告警。

步骤7、根据分级告警，将告警信息发送给联动防御策略决策模块生成联动防御决策；再经由联动防御决策下发给执行模块，执行告警对应的操作，如接入控制、禁止访问等；最后联动防御策略决策验证模块，采用智能或者人工验证告警信息的准确与否。

本发明不使用加速卡捕获网络的全流量，本发明部署方式采用旁路接入的，在不影响网络体验的情况下能实现良好的网络监测。一旦发现可疑的敏感信息则通知相关人员采取相应的措施。就好似一个网络警察，随时监控网络的一举一动。本发明采用主动防御的思想，监控网络信息的传播，不用太多的人为干预，有比较高的效率。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。