一种用于储存分布式数据节点异常行为检测历史错误方法

摘要

本发明公开了一种用于储存分布式数据节点异常行为检测历史错误方法，涉及数据节点检测领域；为了解决现有方法录入数据范围受限的问题；该方法具体包括检测架构和内置程序，所述检测架构包括第一单元、第二单元和第三单元。本发明通过设置检测架构和内置程序，基于数据节点为储存分布式，检测架构和内置程序亦基于分布式服务器构建，同时采用对象存储模式；第一单元、第二单元和第三单元工作时间不设置对应词序，允许同时工作，能够简化数据在检测架构内部流通占用的空间，提高效率；检测模块依靠实时监测机制基于分布式数据节点性质进行全程监控，能够保证起始时间节点与数据节点运行时间节点一致，使得检测范围更为全面、时效更长。

说明书

技术领域

本发明涉及数据节点检测领域，尤其涉及一种用于储存分布式数据节点异常行为检测历史错误方法。

背景技术

现有的数据节点异常行为检测技术主要存在准确率低和误报率高的特点，且面对海量数据进行处理时，一旦关乎异常行为的错误数据被录入，会导致整个数据库内部的数据可信度大大降低，且对于历史数据查证造成极大困扰。

经检索，中国专利申请号为202010669473.6的专利，公开了一种异常行为检测方法和装置，涉及数据安全防护领域。该方法的一具体实施方式包括：在预定时间间隔内，基于多个数据维度对待检测用户的历史行为数据进行采样，组合多个数据维度的历史行为数据，以生成待检测数组；基于待检测数组生成待检测序列，结合起始概率矩阵、背景显像概率矩阵和转移概率矩阵一同输入隐马尔可夫模型中，以通过模型中的第一算法处理待检测序列，得到最大概率隐藏状态字符串；处理最大概率隐藏状态字符串，得到异常行为序列，计算异常行为序列的异常得分，比对异常得分和预定分值阈值，以识别待检测用户的行为是否异常。上述专利存在以下不足：数据获取阶段依照预设时间和采样方式，使得获取数据覆盖面极大受限，即录入数据库内的数据本身就存在缺失，导致对于历史错误的判断缺乏数据依据。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种用于储存分布式数据节点异常行为检测历史错误方法。

为了实现上述目的，本发明采用了如下技术方案：

一种用于储存分布式数据节点异常行为检测历史错误方法，包括检测架构和内置程序，所述检测架构包括第一单元、第二单元和第三单元，基于数据节点为储存分布式，检测架构和内置程序亦基于分布式服务器构建，同时采用对象存储模式；第一单元、第二单元和第三单元工作时间不设置对应词序，允许同时工作，且相互独立，第一单元包括数据收集、数据存储、库存维护和中置平台，数据收集包括简化机制、分列机制和索引机制，简化机制包括如下步骤：

A1：对数据节点异常行为产生的特征数据和实质内容数据进行收录；

A2：特征数据简化为内置程序标签序列一，实质内容数据做关键词和修饰语句组合式调整简化，并生成标签序列二；

A3：同时将异常行为产生的分布式数据节点周围环境数据进行简化处理，作出环境级别初步判断和环境数据内容简化，拟合生成标签序列三；

分列机制包括标签序列一、标签序列二和标签序列三对应传输通道构建和对应传输速度构建，基于标签序列一、标签序列二和标签序列三传输体量差异，作出传输速度补偿，同时设置延迟时间序列，规定传输终端或后续接收点始端接收标签序列一、标签序列二和标签序列三数据同步；索引机制即标签序列一、标签序列二和标签序列三代表均携带搜索短码，搜索短码为检测架构后续调用数据唯一凭证，且搜索短码信息密钥保存于授权用户账号内部资料库。

优选的：所述数据存储包括针对标签序列一、标签序列二和标签序列三构建单元式数据库，单元式数据库包括一级子库、二级子库和三级子库，与执行存储的数据一一对应，且各级子库之间相互独立，同时存储时基于两个原则：

B1：存储期间独立，数据之间设置隔离墙；

B2：传输导入和导出期间，同一批次数据需同时占用一级子库、二级子库和三级子库，不允许单独调用其中单个子库。

进一步的：所述库存维护基于数据存储基础上，单元式数据库外部配置扩展库，扩展库内部设置有警告线，即原单元式数据库占存超过百分之六十，扩展库启动数据接收工作，同时扩展库内部设置有警示子程序，警示子程序伴随扩展库数据接收工作启动，警示子程序连通内置程序。

进一步优选的：所述中置平台基于数据双向交流构建，包括授权判别机制和自启权限机制，授权判别机制即第一单元执行数据收录工作期间，经授权许可客户拥有进入中置平台的资格，同时中置平台于授权期间具有调控时间段功能；自启权限机制即第一单元受检测架构支配，启动功能开关设置于内置程序内部，同时禁止意外中断情况下第一单元自启。

作为本发明一种优选的：所述第二单元包括检测模块、分析模块和判决模块，检测模块包括实时监测机制、特征化机制和比照机制，实时监测机制基于分布式数据节点性质进行全程监控，起始时间节点与数据节点运行时间节点一致；特征化机制包括如下两个原则：

C1：错误类型特征化，并将特征化数据存入第一单元的单元式数据库中；

C2：节点位置特征化，将数据节点位置进行特征化处理；

比照机制即对发生疑似异常行为的数据节点进行数据比照，具体内容为寻求中置平台调阅许可和单元式数据库简化信息对应。

作为本发明进一步优选的：所述分析模块，即对检测架构覆盖的数据节点发生的异常行为进行分析评估，基于第一单元收录数据判断是否需要进行存储，基于一点原则：疑似异常行为且经检测模块和分析模块共同判断不合符异常的数据节点，其数据和路径滞留信息直接清空。

作为本发明再进一步的方案：所述判决模块，针对检测模块和分析模块更新时效，一旦发生检测架构内部冲突，遵循以下处理步骤：

D1：内置程序发出报错警告，第一单元停止工作，第二单元重复进行数据判断工作，次数为三次；

D2：三次判断依旧无法消除报错警告，检测架构停止运行，内置程序自行改为人工调节，使用者获得管理员权限进行手动判别，权限许可时效为两小时。

在前述方案的基础上：所述第三单元包括整理模块、传输模块和预警模块，整理模块包括如下步骤：

E1：对比历史错误类型，若为新类型错误，则在第一单元的单元式数据库中创建目录，并划分出一级子库、二级子库和三级子库；

E2：若在单元式数据库中发现同类错误，则将数据存入对应一级子库、二级子库和三级子库，并将发生次数在一级子库作累加标注；

E3：生成最终报告。

在前述方案的基础上优选的：所述传输模块包括将最终报告中数据传输至云端，同时在传输端口设置转译子程序，对标签序列一、标签序列二和标签序列三执行转译工作；所述预警模块，依据整理模块生成的最终报告，基于数据模块进行预估，于高频率发生异常行为的数据节点设置预警框架。

本发明的有益效果为：

1.一种用于储存分布式数据节点异常行为检测历史错误方法，通过设置检测架构和内置程序，基于数据节点为储存分布式，检测架构和内置程序亦基于分布式服务器构建，同时采用对象存储模式；第一单元、第二单元和第三单元工作时间不设置对应词序，允许同时工作，且相互独立，能够简化数据在检测架构内部流通占用的空间，提高效率；同时搜索短码为检测架构后续调用数据唯一凭证，且搜索短码信息密钥保存于授权用户账号内部资料库，能够保证数据的隐私性；进一步的，检测模块依靠实时监测机制基于分布式数据节点性质进行全程监控，能够保证起始时间节点与数据节点运行时间节点一致，使得检测范围更为全面、时效更长；通过设置于特征化机制的两个原则能够对后续查找发生异常行为的数据节点提供极大方便，同时错误类型数据化，为后续判断过程提供简化，避免数据复杂化处理，导致效率降低；而传输模块即将最终报告中数据传输至云端，既能够缩短生成数据在检测架构的传输时间，又能够方便存储于云端的数据得到直观调阅，预警模块能够及时提醒用户对相关数据节点进行维护和修改。

附图说明

图1为本发明提出的一种用于储存分布式数据节点异常行为检测历史错误方法的结构示意图；

图2为本发明提出的一种用于储存分布式数据节点异常行为检测历史错误方法的结构示意图；

图3为本发明提出的一种用于储存分布式数据节点异常行为检测历史错误方法的结构示意图；

图4为本发明提出的一种用于储存分布式数据节点异常行为检测历史错误方法的结构示意图。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明。

一种用于储存分布式数据节点异常行为检测历史错误方法，如图1-4所示，包括检测架构和内置程序，所述检测架构包括第一单元、第二单元和第三单元，基于数据节点为储存分布式，检测架构和内置程序亦基于分布式服务器构建，同时采用对象存储模式；第一单元、第二单元和第三单元工作时间不设置对应词序，允许同时工作，且相互独立，第一单元包括数据收集、数据存储、库存维护和中置平台，数据收集包括简化机制、分列机制和索引机制，简化机制包括如下步骤：

A1：对数据节点异常行为产生的特征数据和实质内容数据进行收录；

A2：特征数据简化为内置程序标签序列一，实质内容数据做关键词和修饰语句组合式调整简化，并生成标签序列二；

A3：同时将异常行为产生的分布式数据节点周围环境数据进行简化处理，作出环境级别初步判断和环境数据内容简化，拟合生成标签序列三。

分列机制包括标签序列一、标签序列二和标签序列三对应传输通道构建和对应传输速度构建，基于标签序列一、标签序列二和标签序列三传输体量差异，作出传输速度补偿，同时设置延迟时间序列，规定传输终端或后续接收点始端接收标签序列一、标签序列二和标签序列三数据同步；索引机制即标签序列一、标签序列二和标签序列三代表均携带搜索短码，搜索短码为检测架构后续调用数据唯一凭证，且搜索短码信息密钥保存于授权用户账号内部资料库。

所述数据存储包括针对标签序列一、标签序列二和标签序列三构建单元式数据库，单元式数据库包括一级子库、二级子库和三级子库，与执行存储的数据一一对应，且各级子库之间相互独立，同时存储时基于两个原则：

B1：存储期间独立，数据之间设置隔离墙；

B2：传输导入和导出期间，同一批次数据需同时占用一级子库、二级子库和三级子库，不允许单独调用其中单个子库。

所述库存维护基于数据存储基础上，单元式数据库外部配置扩展库，扩展库内部设置有警告线，即原单元式数据库占存超过百分之六十，扩展库启动数据接收工作，同时扩展库内部设置有警示子程序，警示子程序伴随扩展库数据接收工作启动，警示子程序连通内置程序。

所述中置平台基于数据双向交流构建，包括授权判别机制和自启权限机制，授权判别机制即第一单元执行数据收录工作期间，经授权许可客户拥有进入中置平台的资格，同时中置平台于授权期间具有调控时间段功能；自启权限机制即第一单元受检测架构支配，启动功能开关设置于内置程序内部，同时禁止意外中断情况下第一单元自启。

所述第二单元包括检测模块、分析模块和判决模块，检测模块包括实时监测机制、特征化机制和比照机制，实时监测机制基于分布式数据节点性质进行全程监控，起始时间节点与数据节点运行时间节点一致；特征化机制包括如下两个原则：

C1：错误类型特征化，并将特征化数据存入第一单元的单元式数据库中；

C2：节点位置特征化，将数据节点位置进行特征化处理；

通过以上两个原则能够对后续查找发生异常行为的数据节点提供极大方便，同时错误类型数据化，为后续判断过程提供简化，避免数据复杂化处理，导致效率降低；比照机制即对发生疑似异常行为的数据节点进行数据比照，具体内容为寻求中置平台调阅许可和单元式数据库简化信息对应。

所述分析模块，即对检测架构覆盖的数据节点发生的异常行为进行分析评估，基于第一单元收录数据判断是否需要进行存储，基于一点原则：疑似异常行为且经检测模块和分析模块共同判断不合符异常的数据节点，其数据和路径滞留信息直接清空。

所述判决模块，针对检测模块和分析模块更新时效，一旦发生检测架构内部冲突，遵循以下处理步骤：

D1：内置程序发出报错警告，第一单元停止工作，第二单元重复进行数据判断工作，次数为三次；

D2：三次判断依旧无法消除报错警告，检测架构停止运行，内置程序自行改为人工调节，使用者获得管理员权限进行手动判别，权限许可时效为两小时。

所述第三单元包括整理模块、传输模块和预警模块，整理模块包括如下步骤：

E1：对比历史错误类型，若为新类型错误，则在第一单元的单元式数据库中创建目录，并划分出一级子库、二级子库和三级子库；

E2：若在单元式数据库中发现同类错误，则将数据存入对应一级子库、二级子库和三级子库，并将发生次数在一级子库作累加标注；

E3：生成最终报告。

所述传输模块包括将最终报告中数据传输至云端，同时在传输端口设置转译子程序，对标签序列一、标签序列二和标签序列三执行转译工作；既能够缩短生成数据在检测架构的传输时间，有能够方便存储于云端的数据得到直观调阅；所述预警模块，依据整理模块生成的最终报告，基于数据模块进行预估，于高频率发生异常行为的数据节点设置预警框架；能够及时提醒用户对相关数据节点进行维护和修改。

以下为上述方法和传统方法的结果参数比较：

综合上述表格，能够发现上述方法具有一定的优越性。

本实施例中，通过设置检测架构和内置程序，基于数据节点为储存分布式，检测架构和内置程序亦基于分布式服务器构建，同时采用对象存储模式；第一单元、第二单元和第三单元工作时间不设置对应词序，允许同时工作，且相互独立，能够简化数据在检测架构内部流通占用的空间，提高效率；同时搜索短码为检测架构后续调用数据唯一凭证，且搜索短码信息密钥保存于授权用户账号内部资料库，能够保证数据的隐私性；进一步的，检测模块依靠实时监测机制基于分布式数据节点性质进行全程监控，能够保证起始时间节点与数据节点运行时间节点一致，使得检测范围更为全面、时效更长；通过设置于特征化机制的两个原则能够对后续查找发生异常行为的数据节点提供极大方便，同时错误类型数据化，为后续判断过程提供简化，避免数据复杂化处理，导致效率降低；而传输模块即将最终报告中数据传输至云端，既能够缩短生成数据在检测架构的传输时间，又能够方便存储于云端的数据得到直观调阅，预警模块能够及时提醒用户对相关数据节点进行维护和修改。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。