一种基于大数据的数据脱敏方法和Hbase脱敏处理系统

摘要

本发明提供了一种基于大数据的数据脱敏方法和系统，应用于Hbase脱敏处理系统，Hbase脱敏处理系统包括Hbase协处理系统，该方法包括：Hbase协处理系统截获业务用户对Hbase的数据访问请求；Hbase协处理系统根据数据访问请求确定业务用户的标识信息和目标操作对象；Hbase协处理系统根据标识信息获取业务用户的至少一条脱敏策略信息；Hbase协处理系统在至少一条脱敏策略信息中查找是否存在与目标操作对象匹配的至少一条目标脱敏策略信息；若存在，则Hbase协处理系统从Hbase获取目标操作对象对应的目标数据；Hbase协处理系统根据至少一条目标脱敏策略信息中的至少一个目标脱敏规则对目标数据进行动态脱敏处理；Hbase协处理系统将动态脱敏后的目标数据返回至业务用户。

说明书

技术领域

本发明涉及大数据脱敏处理技术领域，特别是涉及一种基于大数据的数据脱敏方法和一种Hbase脱敏处理系统。

背景技术

随着大数据时代的到来，大数据中蕴藏的巨大价值得以挖掘，同时也带来了隐私信息保护方面的难题，如何在实现大数据高效共享的同时，保护敏感信息不被泄露，也将是数据脱敏必须解决的难题。

Hbase是一个分布式的、面向列的开源数据库，而针对Hbase数据库中大数据访问的动态脱敏问题，目前尚未提出有效的解决方案。

发明内容

本发明提供了一种基于大数据的数据脱敏方法和一种Hbase脱敏处理系统，以解决现有技术中无法对Hbase数据库中的访问数据进行动态脱敏的问题。

为了解决上述问题，根据本发明的一个方面，本发明公开了一种基于大数据的数据脱敏方法，应用于Hbase脱敏处理系统，所述Hbase脱敏处理系统包括Hbase协处理系统，所述方法包括：

所述Hbase协处理系统截获业务用户对Hbase的数据访问请求；

所述Hbase协处理系统根据所述数据访问请求确定所述业务用户的标识信息和目标操作对象；

所述Hbase协处理系统根据所述标识信息获取所述业务用户的至少一条脱敏策略信息，所述脱敏策略信息包括用户的标识信息、操作对象和至少一个脱敏规则；

所述Hbase协处理系统在所述至少一条脱敏策略信息中查找是否存在与所述目标操作对象匹配的至少一条目标脱敏策略信息；

若存在，则所述Hbase协处理系统从所述Hbase获取所述目标操作对象对应的目标数据；

所述Hbase协处理系统根据所述至少一条目标脱敏策略信息中的至少一个目标脱敏规则对所述目标数据进行动态脱敏处理；

所述Hbase协处理系统将动态脱敏后的目标数据返回至所述业务用户。

根据本发明的另一方面，本发明还公开了一种Hbase脱敏处理系统，包括：

Hbase协处理系统；

所述Hbase协处理系统，用于截获业务用户对Hbase的数据访问请求；

所述Hbase协处理系统，用于根据所述数据访问请求确定所述业务用户的标识信息和目标操作对象；

所述Hbase协处理系统，用于根据所述标识信息获取所述业务用户的至少一条脱敏策略信息，所述脱敏策略信息包括用户的标识信息、操作对象和至少一个脱敏规则；

所述Hbase协处理系统，用于在所述至少一条脱敏策略信息中查找是否存在与所述目标操作对象匹配的至少一条目标脱敏策略信息；

所述Hbase协处理系统，还用于若在所述至少一条脱敏策略信息中查找到与所述目标操作对象匹配的至少一条目标脱敏策略信息，则从所述Hbase获取所述目标操作对象对应的目标数据；

所述Hbase协处理系统，还用于根据所述至少一条目标脱敏策略信息中的至少一个目标脱敏规则对所述目标数据进行动态脱敏处理；

所述Hbase协处理系统，还用于将动态脱敏后的目标数据返回至所述业务用户。

与现有技术相比，本发明包括以下优点：

本发明借助于Hbase协处理系统将访问Hbase的数据访问请求进行拦截，以确定业务用户的标识信息和目标操作对象，然后在预先制定的脱敏策略信息中查找与所述标识信息和目标操作对象对应的目标脱敏策略信息，并采用目标脱敏策略信息中的目标脱敏规则来对待访问的目标数据进行脱敏处理，最后将脱敏处理后的数据返回至业务用户，实现了对Hbase数据库的访问数据的动态脱敏，保证了Hbase数据库的数据安全。

附图说明

图1是本发明的一种基于大数据的数据脱敏方法实施例的步骤流程图；

图2是本发明的一种Hbase脱敏处理系统实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种基于大数据的数据脱敏方法实施例的步骤流程图，应用于Hbase脱敏处理系统，所述Hbase脱敏处理系统包括Hbase协处理系统，具体可以包括如下步骤：

步骤101，所述Hbase协处理系统截获业务用户对Hbase的数据访问请求；

其中，该Hbase协处理系统实现了协处理器接口以及数据脱敏功能。在一个具体实例中，该Hbase协处理系统可以设置在Hbase协处理器上。

当业务用户想要访问Hbase数据库中的大数据时，本发明实施例的Hbase协处理系统会拦截业务用户的数据访问请求。

其中，业务用户所使用的客户端安装有Linux操作系统和Hbase客户端，当业务用户以自己的用户名登录该Hbase客户端后，就可以访问Hbase集群来获取数据，其中，Hbase集群包括多个RegionServer节点，多个RegionServer节点之间的信息共享。

步骤102，所述Hbase协处理系统根据所述数据访问请求确定所述业务用户的标识信息和目标操作对象；

其中，该数据访问请求可以包括该业务用户的标识信息，以及目标操作对象。

其中，该业务用户的标识信息可以是业务用户的用户名、用户ID等标识信息。

该目标操作对象可以是该业务用户想要访问的Hbase数据库中目标元数据所指向的数据目标。

例如：目标元数据为Hbase数据库A中数据表A的b列，则目标操作对象则为Hbase数据库A中数据表A的b列中的数据。

步骤103，所述Hbase协处理系统根据所述标识信息获取所述业务用户的至少一条脱敏策略信息；

其中，本发明实施例会预先制定脱敏策略信息；

脱敏策略信息包括用户的标识信息(即作用的人)、操作对象(即作用的数据目标)和至少一个脱敏规则(即作用方式)；

其中，在一条脱敏策略信息中，针对某个业务用户需要访问的某个操作对象可以涉及多个脱敏规则。

其中，在执行步骤103时，可以通过以下子步骤来实现：

S11，所述Hbase协处理系统根据所述标识信息获取所述业务用户的至少一条脱敏策略信息；

其中，本发明实施例预先针对不同的业务用户制定了各自的脱敏策略信息，其中，一个业务用户的脱敏策略信息不限于一条，可以是多条，而一条脱敏策略信息中涉及的脱敏规则也不限于一个，可以是多个。此外，一个业务用户的多条脱敏策略信息可以存储在一个文件中，从而加快策略的检索速度。

举例来说，一个业务用户的策略信息可以存储在一个XML文件中，该业务用户的每条脱敏策略信息就是该XML文件中的一个xml节点。每次添加新内容都会给XML文件计算出一个新的哈希值，让Hbase协处理系统可以通过判断hash值来知道这个XML文件是否被更改过了。

其中，Hbase协处理系统可以包括脱敏策略解析组件，该脱敏策略解析组件可以根据当前需要访问数据的业务用户的标识信息，来获取对应该标识信息的至少一条脱敏策略信息。

举例来说，该业务用户的标识为C，那么就可以在预先存储的很多脱敏策略信息中查找该C业务用户的脱敏策略信息，可能有多条脱敏策略信息，包括脱敏策略信息1、脱敏策略信息2和脱敏策略信息3。

S12，所述Hbase协处理系统对所述业务用户的每条脱敏策略信息进行解析，确定每条脱敏策略信息中所包括的用户的标识信息、操作对象和至少一个脱敏规则。

其中，该脱敏策略解析组件还可以对脱敏策略信息1、脱敏策略信息2和脱敏策略信息3分别进行解析，来确定每条脱敏策略信息中所包含的业务用户的标识信息、操作对象以及至少一个脱敏规则。

步骤104，所述Hbase协处理系统在所述至少一条脱敏策略信息中查找是否存在与所述目标操作对象匹配的至少一条目标脱敏策略信息；

举例来说，在查找到的该业务用户的3条脱敏策略信息中，脱敏策略信息1包括标识C、Hbase数据库A中数据表A的b列的数据、脱敏规则1和脱敏规则2；脱敏策略信息2包括标识C、Hbase数据库A中数据表B的b列的数据、脱敏规则3和脱敏规则4；脱敏策略信息3包括标识C、Hbase数据库A中数据表A的c列的数据、脱敏规则5和脱敏规则6。

而参照上述步骤102，在举例中目标操作对象为Hbase数据库A中数据表A的b列中的数据，因此，这里只有脱敏策略信息1与该目标操作对象相匹配。

步骤105，若存在，则所述Hbase协处理系统从所述Hbase获取所述目标操作对象对应的目标数据；

其中，由于3个脱敏策略信息中存在与目标操作对象匹配的目标脱敏策略信息，因此，需要对该目标操作对象对应的目标数据进行访问控制。这里，先要从Hbase数据库A中数据表A的b列中获取目标数据。

步骤106，所述Hbase协处理系统根据所述至少一条目标脱敏策略信息中的至少一个目标脱敏规则对所述目标数据进行动态脱敏处理；

其中，Hbase协处理系统可以包括数据脱敏处理组件，该数据脱敏处理组件就可以分别按照脱敏规则1、脱敏规则2来对获取到的目标数据进行动态脱敏处理。

其中，脱敏规则为针对数据脱敏时制定的规则，包括替换、重排、加密、截断、掩码和日期偏移取整等方法。

步骤107，所述Hbase协处理系统将动态脱敏后的目标数据返回至所述业务用户。

借助于本发明上述实施例的技术方案，本发明借助于Hbase协处理系统将访问Hbase的数据访问请求进行拦截，以确定业务用户的标识信息和目标操作对象，然后在预先制定的脱敏策略信息中查找与所述标识信息和目标操作对象对应的目标脱敏策略信息，并采用目标脱敏策略信息中的目标脱敏规则来对待访问的目标数据进行脱敏处理，最后将脱敏处理后的数据返回至业务用户，实现了对Hbase数据库的访问数据的动态脱敏，保证了Hbase数据库的数据安全。

可选地，在一个实施例中，所述Hbase脱敏处理系统还包括Hbase脱敏业务系统，在步骤101之前，根据本发明实施例的方法还包括：

所述Hbase脱敏业务系统采集Hbase中每个数据表的元数据信息并存储；

所述Hbase脱敏业务系统根据所述每个数据表的元数据信息确定操作对象，所述操作对象包括所述Hbase的数据表中存储的数据的元数据信息；

所述Hbase脱敏业务系统定期采集业务用户的标识信息；

所述Hbase脱敏业务系统对所述操作对象制定至少一个脱敏规则；

所述Hbase脱敏业务系统根据所述操作对象、制定的所述至少一个脱敏规则和定期采集的所述业务用户的标识信息，生成针对每个业务用户的至少一条脱敏策略信息；

所述Hbase脱敏业务系统将针对每个业务用户的至少一条脱敏策略信息下发至HDFS系统。

其中，在一个具体实例中，该Hbase脱敏业务系统可以是脱敏系统服务器。

在一个具体的实例中，该Hbase脱敏业务系统可以包括用户管理组件、脱敏规则组件、元数据采集组件、脱敏策略组件和业务用户同步组件；

其中，用户管理组件，用于用户管理和角色分配。

所述元数据采集组件可以采集Hbase中每个数据表的元数据信息并存储，例如每个Hbase数据库中每个数据表的元数据信息；

所述脱敏策略组件就可以根据所述元数据采集组件采集到的所述每个数据表的元数据信息来确定(或者说指定)操作对象。

其中，所述操作对象包括所述Hbase的数据表中存储的数据的元数据信息(例如某个Hbase数据库中某个数据表的某行)；

此外，所述业务用户同步组件还可以定期采集业务用户的标识信息；

例如采集到了三个业务用户的标识信息，分别以业务用户1、业务用户2、业务用户3表示。

所述脱敏规则组件则可以对指定的所述操作对象制定至少一个脱敏规则，其中，所述脱敏规则组件主要用于对脱敏规则的定义和管理；

例如，对操作对象1制定脱敏规则1，对操作对象2制定脱敏规则2，对操作对象31制定脱敏规则3。

所述脱敏策略组件就可以根据上述指定的操作对象、针对该操作对象制定的至少一个脱敏规则以及定期采集的所述业务用户的标识信息，来生成针对每个业务用户的至少一条脱敏策略信息；

例如，脱敏策略信息1包括：业务用户1、操作对象1和脱敏规则1；脱敏策略信息2包括：业务用户2、操作对象2和脱敏规则2；脱敏策略信息3包括：业务用户3、操作对象3和脱敏规则3。

最后，所述脱敏策略组件就可以将针对每个业务用户的至少一条脱敏策略信息下发至HDFS系统。

其中，步骤103中获取的至少一条脱敏策略信息就是从HDFS系统中获取到的。

可选地，在另一个实施例中，在步骤101之前，根据本发明实施例的方法还可包括：

所述Hbase协处理系统监测Hbase中数据表的元数据信息是否发生变化；

若监测到发生变化，则所述Hbase协处理系统通知所述Hbase脱敏业务系统对Hbase中数据表的元数据信息进行数据同步；

所述Hbase脱敏业务系统采集Hbase中存在变化的数据表的元数据信息，并根据所述存在变化的数据表的元数据信息对存储的相应数据表的元数据信息进行数据同步。

具体而言，该Hbase协处理系统可以包括元数据监控组件。

该元数据监控组件是一种触发机制，用于监测Hbase中数据表的元数据信息是否发生变化，在监测到发生变化时，就可以通知所述Hbase脱敏业务系统中的元数据采集组件进行数据同步，这样，元数据采集组件就可以采集Hbase中存在变化的数据表的元数据信息，并根据所述存在变化的数据表的元数据信息对存储的相应数据表的元数据信息进行数据同步(即更新)。

这样，就可以使本发明实施例的脱敏策略信息中所指定的操作对象都是与Hbase数据库中的数据表的元数据信息相同步的，避免对数据的错误脱敏。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

与上述本发明实施例所提供的方法相对应，参照图2，示出了本发明一种Hbase脱敏处理系统200实施例的结构框图，具体可以包括Hbase协处理系统21，可选地，还可以进一步包括Hbase脱敏业务系统22；

所述Hbase协处理系统21，用于截获业务用户对Hbase的数据访问请求；

所述Hbase协处理系统21，用于根据所述数据访问请求确定所述业务用户的标识信息和目标操作对象；

所述Hbase协处理系统21，用于根据所述标识信息获取所述业务用户的至少一条脱敏策略信息，所述脱敏策略信息包括用户的标识信息、操作对象和至少一个脱敏规则；

所述Hbase协处理系统21，用于在所述至少一条脱敏策略信息中查找是否存在与所述目标操作对象匹配的至少一条目标脱敏策略信息；

所述Hbase协处理系统21，还用于若在所述至少一条脱敏策略信息中查找到与所述目标操作对象匹配的至少一条目标脱敏策略信息，则从所述Hbase获取所述目标操作对象对应的目标数据；

所述Hbase协处理系统21，还用于根据所述至少一条目标脱敏策略信息中的至少一个目标脱敏规则对所述目标数据进行动态脱敏处理；

所述Hbase协处理系统21，还用于将动态脱敏后的目标数据返回至所述业务用户。

可选地，

所述Hbase脱敏业务系统22，用于采集Hbase中每个数据表的元数据信息并存储；

所述Hbase脱敏业务系统22，还用于根据所述每个数据表的元数据信息确定操作对象，所述操作对象包括所述Hbase的数据表中存储的数据的元数据信息；

所述Hbase脱敏业务系统22，还用于定期采集业务用户的标识信息；

所述Hbase脱敏业务系统22，还用于对所述操作对象制定至少一个脱敏规则；

所述Hbase脱敏业务系统22，还用于根据所述操作对象、制定的所述至少一个脱敏规则和定期采集的所述业务用户的标识信息，生成针对每个业务用户的至少一条脱敏策略信息；

所述Hbase脱敏业务系统22，还用于将针对每个业务用户的至少一条脱敏策略信息下发至HDFS系统。

可选地，

所述Hbase协处理系统21，还用于监测Hbase中数据表的元数据信息是否发生变化；

所述Hbase协处理系统21，还用于若监测到Hbase中数据表的元数据信息发生变化，则通知所述Hbase脱敏业务系统22对Hbase中数据表的元数据信息进行数据同步；

所述Hbase脱敏业务系统22，还用于采集Hbase中存在变化的数据表的元数据信息，并根据所述存在变化的数据表的元数据信息对存储的相应数据表的元数据信息进行数据同步。

可选地，

所述Hbase协处理系统21，还用于根据所述标识信息获取所述业务用户的至少一条脱敏策略信息；

所述Hbase协处理系统21，还用于对所述业务用户的每条脱敏策略信息进行解析，确定每条脱敏策略信息中所包括的用户的标识信息、操作对象和至少一个脱敏规则。

对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种基于大数据的数据脱敏方法和一种Hbase脱敏处理系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。